1970'li yıllar boyunca Hollwood'da önde gelen isimlerden biri olan Caan'ın kariyeri onyılları buluyor. Caan, bir kez Oscar'a, bir kez Emmy'ye, dört kere de Altın Küre ödüllerine aday gösterilmişti.
Partileri seven yaşam tarzıyla tanınan New Yorklu oyuncu dört kez evlendi ve beş çocuğu vardı. Bronx semtinde bir kasabın çocuğu olarak dünyaya gelen Caan, başta Amerikan futbolu oynamak istiyordu. Hofstra Üniversitesi'nde öğrenciyken oyunculuğa başladı ve burada Baba'nın yönetmeni Francis Ford Copolla'yla tanıştı.
Televizyon ve sinemadaki küçük rollerden sonra Caan, büyük çıkışını 1965'te iki Howard Haws filminde, Red Line 7000 ve El Dorado'da oynamasıyla yaptı. Ancak Caan'ı herkese tanıtan film 1972 tarihli Baba oldu. Caan'ın başta Michael Corleone rolü için seçmelere girdiği ve stüdyo yöneticileri tarafından istenen isim olduğu belirtilmişti.
Ancak Coppola'nın ısrarı üzerine, bu rol Al Pacino'ya verildi. Caan, Michael'ın ağabeyi Sonny'yi canlandırırken, karakterin ölüm sahnesinde silahla vurulmasını oynmak için vücuduna 140'tan fazla küçük patlayıcı yerleştirmişti. Caan bu rolle, yardımcı erkek oyuncu kategorisinde tek Oscar adaylığını aldı.
James Caan, 1980'li yılların başında bir dönem kamuoyu önünden uzaklaştı. Aktör bu dönemi uyuşturucu kullanımı ve kızkardeşinin ölümü nedeniyle "çok korkutucu günlerdi" diye tanımlıyordu. Caan Hollwood'un yanı sıra 30 yıldır karate de yapıyordu.