La modestie et la discrétion qui caractérisent Jim Hall n’ont pas empêché ce musicien de tenir un rôle déterminant dans l’évolution de la guitare dans le jazz. Par son intelligence des formes, son obsession de la clarté et l’exigence de son style, il a non seulement hissé la guitare au rang des plus importants solistes – s’inspirant de ces derniers plus que des musiciens jouant de son instrument – mais encore apporté une sensibilité introspective et subtile, sans guère d’équivalent avant lui, et qui a rencontré un écho considérable chez ses pairs.

De 1956 à 1960, Jim Hall fait partie d’une autre formation singulière de la Côte Ouest, le trio de Jimmy Giuffre. D’abord constitué avec une contrebasse (album The Jimmy Giuffre 3, 1956), le trio trouve toute son originalité lorsque celle-ci est remplacée par le trombone de Bob Brookmeyer (album Trav’lin’ Light, 1958). Les directions de Giuffre amènent Hall à affiner son phrasé, son attaque et sa pensée mélodique dans un contexte essentiellement polyphonique, et développent sa prédilection pour les contextes étroits et exigeants en matière d’improvisation. Parallèlement, Hall se lie d’amitié avec Brookmeyer qui a recours à lui pour ses propres disques (Traditionalism Revisited, 1957) et restera l’une de ses fidèles partenaires. Jim Hall fait également la connaissance de John Lewis qui le fait venir à New York, l’invite sur ses disques et l’associe à plusieurs projets liés au développement du Troisième Courant, comme l’Orchestra U.S.A ou la Lenox School of Jazz.

En 1960, Hall remplace Herb Ellis auprès de la chanteuse Ella Fitzgerald. Sa carrière prend une dimension internationale (Mack The Knife, Ella in Berlin, 1960). Au cours d’une tournée de la chanteuse en Amérique du Sud, il découvre au Brésil la bossa nova qu’il sera, avec Stan Getz, l’un des premiers à assimiler au jazz, notamment dans certains disques de l’altiste Paul Desmond (Bossa Antigua, 1964). Capable de s’exprimer aussi bien dans des formes élaborées que dans des contextes plus spontanés, comme auprès du saxophoniste Ben Webster (At the Renaissance, 1960), Jim Hall se distingue comme l’un de ceux qui, dans la continuité de Tal Farlow et Jimmy Raney, contribuent à faire de la guitare un instrument pleinement soliste du jazz. En 1962, Hall est ainsi sollicité par Sonny Rollins, qui sort d’une retraite musicale, pour former un quartet sans piano qui marque l’un des sommets de la carrière du saxophoniste (The Bridge, 1962), puis par le trompettiste Art Farmer (1962-1964) pour un quartet qui fait également date.

Après avoir appartenu à l’orchestre maison du Merv Griffin Show à la télévision, l’activité de Jim Hall est surtout marquée par ses duos avec les contrebassistes Ron Carter (Alone Together, 1972) et Red Mitchell, et la constitution d’un trio avec Don Thompson (piano et contrebasse) et Terry Clarke (batterie) avec lequel le guitariste tourne régulièrement dans son pays, en Europe et au Japon (Jim Hall Live !, 1975) où son talent est désormais apprécié à sa juste mesure. Privilégiant l’intimité des « Dialogues » (titre d’un de ses disques paru en 1995) et la subtilité des échanges, Jim Hall a donné sa préférence au format du trio, dans lequel il ne craint pas d’intégrer un pianiste (Gil Goldstein puis Larry Goldings). Son goût pour la conversation musicale l’a amené à collaborer avec plusieurs d’entre eux, dans la lignée du duo fameux qu’il forma en studio avec Bill Evans en 1962 et 1966 : George Shearing (1981), Michel Petrucciani (1986), et plus récemment Enrico Pieranunzi (2004) et Geoff Keezer (2005). De même, il a signé en 2001 un album constitué uniquement de duos avec des contrebassistes : Dave Holland, Christian McBride, Charlie Haden, George Mraz et Scott Colley, ce dernier étant devenu l’un de ses accompagnateurs réguliers. Nouant des relations privilégiées avec un certain nombre de solistes, il a régulièrement joué et enregistré avec le trompettiste Tom Harrell (These Rooms, 1988) et les saxophonistes Chris Potter, Joe Lovano (Grand Slam, 2000) et Greg Osby (The Invisible Hand, 1999, sous la direction de ce dernier).

Bien qu’il apparaisse essentiellement comme un soliste, Jim Hall a développé une œuvre de compositeur et d’arrangeur qui est loin d’être négligeable, ainsi qu’en témoignent les disques Textures (1996) et By Arrangement (1998) ainsi que ses partitions pour quartet de jazz et quatuor à cordes écrites à l’occasion de l’obtention du Jazzpar Prize en 1994. Elles font suite à des collaborations avec le violoniste Itzhak Perlman sous la direction d’André Previn (1981). Hall est aussi l’auteur de Peace Movement, concerto pour guitare jazz et orchestre créé en 2004. Enfin, ses duos, accompagnés ou non, avec de nombreux guitaristes qui sont redevables, plus ou moins littéralement, à son influence – John Scofield, John Abercrombie, Pat Metheny (pour tout un album en 1999), Mike Stern, Peter Bernstein, Bill Frisell… – témoignent d’une aura intacte et d’une influence durable quant à l’évolution et à la place de la guitare dans le jazz contemporain.