Dans Le Flambeur, Caan va camper en 1974 un professeur de fac dévoré par la passion du jeu et va même donner la réplique à Barbra Streisand dans la comédie musicale Funny Lady, un an plus tard. Un autre rôle marquant fut celui de Misery, adapté du livre de Stephen King, dans lequel il incarnait un écrivain séquestré par une femme diabolique incarnée par (Kathy Bates).

Fort de son passé de sportif, James Caan décroche au milieu des années 70 des rôles physiques. Il fait ses propres cascades dans le futuriste et violent  opus de Norman Jewison : Rollerbal. Et, pour les besoins de Tueur d’élite, film d’espionnage de Sam Peckinpah, il pratique les arts martiaux.

Après avoir connu un passage à vide au début des années 80, il retrouve les faveurs du public grâce à Coppola dans Jardins de pierre, un drame qui se situe durant le conflit au Vietnam. S’il a tourné souvent des rôles de durs comme dans The Yards, l’homme savait aussi jouer de son image en s’autoparodiant en parrain mafieux dans Elfe, en 2003. Ensuite, l’acteur a un peu délaissé le cinéma pour faire un retour gagnant à la télévision où il est apparu dans de nombreuses séries comme dans la saison 2 de Magic City.

C’est Bette Midler qui salué son jeu après tourné avec lui, alors qu’elle était au départ réticente, dans un drame musical : For The Boys. Elle avait alors déclaré : C’est un maître du petit geste, du battement de cils ; tout était d’une justesse exquis».