James Michael Collins lahir di Newport dan bersekolah di St Joseph's Roman Catholic High School. Ia merupakan teman sekolah dari pemain dan manajer Newport County, Michael Flynn, yang dua tahun lebih tua dari Collins.
Di klub, Collins memulai karirnya di Cardiff City setelah bergabung dengan klub tersebut pada usia 15 tahun. Ia membuat debutnya untuk Cardiff pada usia 17 tahun dalam pertandingan Piala FA melawan Bristol Rovers pada 19 November 2000. Namun, cedera jari kaki yang dideritanya membatasi penampilannya dalam musim debutnya. Collins bermain sebagai bek dan penyerang di awal karirnya dengan Cardiff City, namun manajer Lennie Lawrence kemudian memutuskan untuk memainkannya sebagai bek. Ia mencetak enam gol dalam 86 penampilan untuk Cardiff City dan memenangkan penghargaan Pemain Muda Wales tahun 2005.
Pada Juli 2005, Collins bergabung dengan West Ham United bersama dengan rekan setimnya di Cardiff, Danny Gabbidon, dalam transfer senilai £3,5 juta untuk membantu Cardiff mengurangi pengeluaran mereka. Collins melakukan debutnya untuk West Ham dalam pertandingan Piala Liga melawan Sheffield Wednesday pada 20 September 2005. Ia mencetak gol pertamanya untuk West Ham dalam hasil imbang 1-1 melawan Portsmouth pada Boxing Day 2005. Collins bermain bersama Anton Ferdinand sebagai pasangan bek tengah pada akhir musim 2006-2007. Namun, cedera yang dideritanya pada Januari 2008 membuatnya absen selama sembilan bulan sebelum kembali bermain pada Oktober 2008.
Pada 1 September 2009, Collins bergabung dengan Aston Villa dengan kontrak empat tahun. Ia membuat debut liga untuk Villa pada 13 September 2009. Collins bermain untuk Aston Villa selama enam musim sebelum kembali ke West Ham pada tahun 2012. Setelah itu, ia juga bermain untuk klub seperti Ipswich Town dan Crawley Town sebelum mengumumkan pensiun dari sepak bola pada Oktober 2020.