Par la suite, installé à New York, John Scofield revient à des formes plus proches de la tradition du jazz, constituant un quartet avec le batteur Adam Nussbaum (1978) et un trio avec Steve Swallow (1979) avec lesquels il joue et enregistre en Europe. Il collabore également avec David Liebman avec lequel il approfondit sa compréhension de la démarche de John Coltrane. Scofield s’impose alors, aux côtés de Pat Metheny, John Abercrombie, Pat Martino et Allan Holdsworth, comme l’une des figures d’une génération de guitaristes virtuoses qui, avec des résultats différents, transpose à la guitare les apports du jazz modal et développe un jeu inspiré de celui des saxophonistes.

En 1982, sur la recommandation de son ami Mike Stern, il est engagé par Miles Davis qui désire intégrer un second guitariste à son groupe. Sur scène comme en studio, la contribution de John Scofield au come-back du trompettiste est décisive : à l’en croire, c’est au contact de son guitariste blanc que Miles Davis retrouve l’envie de renouer avec le blues. Trois ans plus tard, son goût pour le jazz funk amène Scofield à former un groupe avec Dennis Chambers (ancien batteur de Parliament Funkadelic) et le bassiste Gary Grainger et à signer une série d’albums très électriques devenus des références du genre (Electric Outlet, Still Warm, Pick Hits Live, etc. pour le label Grammavision). Très sollicité, il participe à un nombre considérable de disques et de concerts allant du groupe Bass Desires du contrebassiste Marc Johnson (1985) à l’Orchestre national de jazz de François Jeanneau (1986).

À l’orée des années 1990, alors qu’il rejoint le label Blue Note, le parcours de Scofield penche à nouveau du côté d’un jazz plus straight-ahead. Enregistré avec Charlie Haden et Jack DeJohnette, Time On My Hands marque ses retrouvailles avec Joe Lovano. Leur quartet avec le batteur Bill Stewart révèle l’influence des conceptions d’Ornette Coleman et donne l’occasion à John Scofield d’étaler ses talents d’improvisateur, qui le situent à l’égal de Bill Frisell et Pat Metheny – deux guitaristes auxquels il se confronte volontiers en studio. En 1992, il participe à So Near, So Far, l’hommage remarqué de Joe Henderson à Miles Davis. Sa sonorité se défait de ses effets les plus typés (il abandonne le stereo chorus) et son jeu se distingue par sa capacité à associer un phrasé aux contours originaux avec un façonnement permanent et efficace du son grâce à un large panel d'effets qui ne semblent jamais gratuits.

L’attrait de Scofield pour les racines du jazz et sa rencontre avec l’organiste Larry Goldings l’amènent à renouer avec l’esprit des combos soul jazz de la fin des années 1960. Après un disque avec une figure du genre (Eddie Harris en 1994), ce penchant s'accentue avec l’enregistrement d’un album avec des rénovateurs du genre (le trio Medeski Martin and Wood) et la constitution d’un groupe de jeunes musiciens adeptes du funk et familiers des techniques issues des musiques électroniques et du hip-hop (Bump, 1999) avec lequel il rencontre, aux États-Unis, un véritable succès public. La carrière du guitariste alterne ainsi désormais avec une fraîcheur intacte les phases d’exploration résolument tournées vers le groove et les ressources électriques de la guitare (en 2004, il invite ainsi le Norvégien Bugge Wesseltoft, figure de l’électro-jazz à la Cité de la musique) avec d’autres pendant lesquelles il semble se ressourcer auprès d’anciens et de nouvelles figures du jazz : Brad Mehldau et Billy Higgins en 2001 ; le all-star ScoLoHoFo en 2003 ; trio avec Steve Swallow et Bill Stewart ; hommage à Tony Williams… En 2005, il publie un album dédié à Ray Charles qui réaffirme son ancrage dans le blues et le rhythm’n’blues, rappelant que chez ce musicien au talent polymorphe et aux amours musicales multiples, l’abstraction peut céder la place sans ambages à l’expression la plus viscérale.