En 1925, Jolivet obtient le Certificat d’aptitude à l’enseignement, mais dans le domaine musical, il ne bénéficie d’aucune formation concrète. Son intérêt pour les arts plastiques, en particulier le cubisme, l’amène à côtoyer le peintre Georges Valmier. Également baryton, ce dernier présente Jolivet à son ami Paul Le FlemPaul Le Flem (1881-1984) est un compositeur français, mais également professeur de contrepoint à la Schola Cantorum, chef de chœur et critique musical. en 1927. Dès lors, durant six ans, Jolivet suit l’enseignement plus qu’opportun de ce professeur qui lui inculque les bases nécessairesAprès avoir pris connaissance des quelques essais de composition que je lui avais soumis, il comprit la nécessité de m’imposer une rigueur de méthode. André Jolivet à propos de Paul Le Flem dans ses Entretiens avec Antoine Goléa. à la composition : l’harmonie, le contrepoint, la fugue, le choral… Le Flem entraîne également son élève à de nombreux concerts symphoniques où Jolivet découvre entre autres Arnold Schönberg et Béla Bartók. Le jeune homme poursuit son travail de composition : des mélodies (Chewing-gum, 1928, Quatre Mélodies sur des poésies anciennes, 1931), des pièces pour piano (Trois Temps, 1930)... La première représentation publique d’une de ses œuvres en 1928 ainsi que l’édition de ses premières partitions favorisent ses débuts dans le monde musical parisien.

En 1929, Jolivet épouse la violoniste Martine Barbillon. De cette union (qui ne durera que trois ans) naît en 1930 la petite Françoise-Martine. Ce nouvel univers familial inspire à Jolivet plusieurs pièces pour violon : Air pour bercer (1930) dédiée à sa fille, Grave et Gigue (1930), la Sonate pour violon et piano (1932).

À l’occasion de la création française d’Amériques de Varèse en mai 1929, Jolivet, recommandé par Paul Le Flem, rencontre ce compositeur audacieux en qui il voit son nouveau maîtreAvec la complicité agissante de Le Flem, Jolivet gagna la confiance de Varèse, qui le soumit cependant à un drôle de test : écrire une réduction à quatre mains de son œuvre Octandre. Au bout d’une semaine, la réduction faite et acceptée, André Jolivet devenait l’élève de Varèse. Hilda Jolivet dans Avec… André Jolivet.. Bien que leurs rencontres soient moins formelles qu’avec Le Flem, elles n’en sont pas moins enrichissantes : Les points essentiels que j’ai retenus de la fréquentation de Varèse de 1929 à 1933 sont l’acoustique, le rythme et l’orchestration. (André Jolivet, extrait de ses Entretiens avec Antoine Goléa).

Fort de l’enseignement de ses deux maîtres, Jolivet compose en opérant une synthèse des deux influences. En témoignent sa Sonate pour violon et piano, mais surtout son Quatuor à cordes, fruit de ses années d’apprentissage : J’y ai utilisé toutes mes connaissances en contrepoint, les principes de composition traditionnelle que je tenais de Le Flem, un certain nombre de données acoustiques que m’avait appris Varèse, et ce que j’avais retenu de la technique de Schoenberg et de son application par Alban Berg. (André Jolivet, extrait de ses Entretiens avec Antoine Goléa). Jolivet se positionne alors comme un compositeur non-conformiste, revendiquant une certaine indépendance.

En 1933, il épouse en secondes noces Hilda Guighui, jeune institutrice d’origine algérienne, dont il aura trois enfants.

En 1935, Jolivet participe à la création d’une nouvelle société de concerts : la Spirale. Consacrée à la musique de chambre, La Spirale a pour objectif de mettre en valeur la notion d’échange, en programmant des musiques du monde entier (musique américaine, hongroise, autrichienne…). Les difficultés financières finiront par avoir raison de cette société dont les activités prendront fin en 1937. Néanmoins, sa participation active dans la programmation des concerts aura permis à Jolivet d’enrichir ses contacts et de lui ouvrir de nouveaux horizons.

C’est au sein d’une autre association que Jolivet va poursuivre ses activités. En 1936, le groupe Jeune France voit le jour, composé de quatre jeunes compositeurs français : Yves Baudrier, Daniel-Lesur, Olivier Messiaen, et bien sûr André Jolivet. Contrairement à La Spirale, ce groupe se consacre essentiellement à la musique symphonique, tandis que ses préoccupations humanistesLes tendances de ce groupement seront diverses : elles s’uniront pour susciter et propager une musique vivante dans un même élan de sincérité, de générosité, de conscience artistique. (Manifeste joint au programme du premier concert) rejoignent les propres aspirations de Jolivet. Malheureusement, la guerre éloignera les membres du groupe qui ne parviendront pas à redonner un second souffle à leur association.

Les années d’avant-guerre voient la montée en puissance du Front populaire. Bien que Jolivet adhère à l’idéologie du parti (notamment dans l’idée d’une politique d’accès des masses à la culture), il reste en marge des commandes officielles, refusant de simplifier son langage musical pour satisfaire un plus large public. En 1939, la guerre éclate et mobilise Jolivet qui participe notamment à la bataille de Gien (du 15 au 19 juin 1940). Bouleversé par l’expérience de la mort, il intègre alors une dimension religieuse dans ses compositions (Les Trois Complaintes du soldat, Messe pour le jour de la paix, 1940).

Durant les années d’Occupation, Jolivet utilise ses nombreux contacts pour se rapprocher de plusieurs grandes institutions : il compose pour l’Opéra (Guignol et Pandore, 1943), pour la Comédie-Française (Iphigénie à Delphes, 1943, Le Malade imaginaire, 1944), pour la radio et le cinéma (La Parole est d’argent, 1943, Les Ultra Sons, 1944) ou encore pour le Conservatoire de Paris (Le Chant de Linos, 1944). Ces œuvres vont contribuer à accroître sa notoriété auprès du public, et faire de lui un personnage important dans le paysage musical.