De retour de Rome, il commence à se faire un nom à Paris.  Après s’être fait remarquer grâce à son Quatuor en sol mineur, son oratorio Job, crée en 1900, est salué par le public parisien. Son poème symphonique La Procession nocturne, créé en 1899, remporte un grand succès et contribue à faire connaître le jeune musicien. Mais c’est surtout son opéra Mârouf, savetier du Caire, créé en 1914 à l’Opéra de Paris, qui lui apporte la gloire. Dans un style mêlant les innovations de Wagner et une couleur locale orientale et pittoresque, conforme à la tradition romantique, Rabaud propose une partition originale et séduisante, qui restera longtemps à l’affiche des théâtres lyriques. Durant l’entre-deux-guerres, il se distingue encore en 1924 par un poème symphonique, L’Appel de la mer, ainsi que par des musiques d’accompagnement de drames filmésLe Miracle et les loups en 1924, Le Joueur d’échecs en 1925 et des œuvres lyriques comme Rolande et le mauvais garçon (1934).
Parallèlement à son activité de compositeur, Rabaud mène une carrière de chef d’orchestre dès son retour de la Villa Médicis, à la fin des années 1890. Il dirige notamment l’orchestre de l’Opéra Comique et de l’Opéra de Paris de 1908 à 1918, avant de prendre la direction de l’Orchestre symphonique de Boston, où il succède au grand chef allemand Karl MuckRabaud fut ainsi le premier chef français à la tête de l’orchestre de Boston, avant d’autres chefs renommés comme Pierre Monteux ou Charles Munch.. Tels ses prédécesseurs Auber et Thomas, Rabaud est un musicien respecté qui bénéficie de la reconnaissance des institutions artistiques officielles, comme en témoigne son élection à l’Institut de France en 1918, puis sa nomination à la tête du Conservatoire de Paris, où il succède à Gabriel Fauré en 1920 et qu’il dirige jusqu’en 1941.
Sa gestion efficace de l’établissement parisien pendant les années 1920 et 1930 fut cependant remise en cause par son attitude pour le moins ambiguë en 1940-1941 : ne sachant trop comment agir avec les autorités nazies qui gouvernaient Paris à cette époque, Rabaud prit la décision de dresser une liste des professeurs et des élèves juifs du Conservatoire. Même s’il a tenté en vain de protéger dans une certaine mesure les professeurs et les élèves qu’il avait signalés, il est certain que de tels actes n’ont pu que ternir son image à la fin de son existence.
Remplacé en 1941 par Claude Delvincourt, Rabaud se retire peu à peu de la vie musicale, non sans livrer encore quelques partitions (notamment Le Jeu de l’amour et du hasard, pour la pièce de Marivaux en 1948). Il meurt à Paris en septembre 1949.