Carragher memulai karirnya di Akademi Liverpool dan membuat debut profesionalnya pada musim 1996-1997. Ia menjadi pemain reguler tim utama pada musim berikutnya. Awalnya bermain sebagai bek sayap, Carragher pindah menjadi bek tengah setelah kedatangan manajer Rafael BenÃtez pada tahun 2004 dan menemukan performa terbaiknya di posisi tersebut. Ia berhasil meraih dua Piala FA, tiga Piala Liga, dua Community Shield, satu Liga Champions, satu Piala UEFA, dan dua Piala Super bersama Liverpool.
Di level internasional, Carragher memegang rekor nasional untuk jumlah caps terbanyak di level U-21 dan melakukan debut senior pada tahun 1999. Ia mewakili Inggris pada UEFA Euro 2004 dan Piala Dunia FIFA 2006, sebelum mengumumkan pensiun dari sepak bola internasional pada tahun 2007. Namun, ia kembali sementara dari pensiun untuk mewakili Inggris pada Piala Dunia FIFA 2010, sebelum akhirnya pensiun lagi dengan total 38 caps untuk timnas Inggris.
Setelah pensiun pada tahun 2013, Carragher bergabung dengan Sky Sports sebagai komentator dan pundit. Pada bulan Juli 2020, CBS Sports mengumumkan bahwa Carragher akan bergabung dengan tim siaran studio Liga Champions mereka.