Né le 20 janvier 1929 à Washington DC (États-Unis), élevé dans le ghetto, Jimmy Cobb développe son goût pour le jazz grâce à une voisine qui lui offre plusieurs disques. Plus tard, il fait l’acquisition d’une batterie dont il joue en autodidacte, hormis quelques leçons prises auprès de Jack Dennett, percussionniste du National Symphonic Orchestra. Intégrant la communauté des musiciens locaux, il obtient son premier engagement avec le ténor Buck Hill et travaille avec l’altiste (futur Ellingtonien) Rick Henderson, le baryton Leo Parker ou encore Carl Drinkard, pianiste attitré de Billie Holiday qui lui donne l’occasion, à 18 ans, d’accompagner la chanteuse. Par le biais du saxophoniste Charlie Rouse, sorti des rangs du big band de Billy Eckstine et intégré au cercle des jazzmen new-yorkais, il s’initie au répertoire du be-bop. Ses modèles sont alors les trois batteurs dominants du jazz moderne : Max Roach, Kenny Clarke et Art Blakey.

En 1950, il quitte Washington pour New York à la faveur d’un engagement avec le saxophoniste Earl Bostic, qui partage l’affiche de ses concerts avec Dinah Washington. Au sein d’un trio qui comprend le contrebassiste Keter Betts et le pianiste Wynton Kelly, Cobb accompagne la chanteuse dont il devient le compagnon jusqu’en 1955. Après leur séparation, il mène une carrière freelance, intégrant notamment le quintette de Cannonball Adderley, qu’il a encouragé à quitter sa Floride natale (Cannonball’s Sharpshooters, 1958). Après des engagements auprès de Stan Getz et Dizzy Gillespie, il est finalement choisi par Miles Davis, sur la recommandation de Cannonball Adderley, et participe ainsi à quelques-uns des « classiques » enregistrés par le trompettiste à cette période, en petite et grande formation, en studio comme en concert. Avec le pianiste Wynton Kelly et le contrebassiste Paul Chambers, il forme au sein du quintette de Miles Davis une section rythmique considérée comme l’une des plus soudées du genre. En 1963, les trois musiciens quittent le trompettiste et travaillent notamment avec le guitariste Wes Montgomery (Full House, 1962 ; Boss Guitar, 1963 ; Smokin’ at the Half Note, 1965) et divers autres solistes (Joe Henderson, George Coleman). Jimmy Cobb restera lié à ses deux partenaires jusqu’à leur disparition (Chambers en 1969, Kelly en 1971).

Pendant les années 1970, l’essentiel de son activité se déroule auprès de la chanteuse Sarah Vaughan (Live in Japan, 1973). Accompagnateur recherché pour l’efficacité et la clarté de son jeu, il tourne et enregistre avec d’anciens et de nouveaux représentants du be-bop tels que Red Garland (au Japon en 1980), Sonny Stitt (Last Sessions, 1982), Richie Cole, Art Farmer ou encore Ricky Ford. Particulièrement apprécié des pianistes (Kenny Drew en 1981, Tommy Flanagan en 1986, John Hicks en 1988, Kenny Barron en 1989), il forme la deuxième version du Great Jazz Trio de Hank Jones avec Eddie Gomez, qui signe plusieurs disques entre 1982 et 1987. Fidèle à la mémoire de « Cannonball », il est le batteur attitré du groupe de son frère Nat Adderley jusqu’à sa disparition en 2000.

Son statut d’ancien lui vaut d’être sollicité par des musiciens plus jeunes désireux de partager son expérience, comme Roy Hargrove, avec qui il enregistre à plusieurs reprises. C’est ainsi que naît le groupe Cobb’s Mob, à l’initiative du guitariste Peter Bernstein, alors élève à la New School, par lequel passe Brad Mehldau à ses débuts. À partir des années 2000, Jimmy Cobb s’affiche volontiers en dépositaire d’une certaine tradition du jazz, emmenant sur la route deux groupes placés sous l’égide de Miles Davis : le So What Band, qui rejoue le répertoire de Kind of Blue, et Four Generations of Miles, dans lequel il est associé à trois autres « anciens » compagnons de route du trompettiste : Sonny Fortune, Mike Stern et Buster Williams.

Jimmy Cobb est mort le 24 mai 2020 à l’âge de 91 ans.