Bartley lahir di Stockport, Greater Manchester, dan memiliki keturunan Jamaika. Dia bermain sepak bola muda untuk Fletcher Moss Rangers sebelum bergabung dengan Bolton Wanderers dan kemudian bergabung dengan Arsenal pada tanggal 31 Juli 2007. Dia menjadi kapten tim cadangan Arsenal dan juga menjadi bagian dari tim yang memenangkan Premier Academy League dan FA Youth Cup pada tahun 2009.
Bartley melakukan debut profesionalnya untuk Arsenal pada tanggal 9 Desember 2009, dalam pertandingan Liga Champions yang berakhir dengan kekalahan tandang melawan Olympiacos. Bartley kemudian dipinjamkan ke Sheffield United selama tiga bulan pada bulan Februari 2010. Dia bermain secara teratur selama masa peminjamannya di Bramall Lane dan kembali ke Arsenal setelah bermain 14 kali.
Pada musim berikutnya, Bartley kembali dipinjamkan ke Sheffield United untuk satu musim penuh. Pada akhir September, Bartley mengalami patah tulang pipi dalam bentrokan dengan penyerang Nottingham Forest, Dele Adebola. Setelah absen selama sebulan, dia kembali dan menjadi pemain inti hingga jendela transfer Januari, ketika "Blades" menandatangani Neill Collins. Bartley khawatir kehilangan tempatnya di tim dan meminta untuk pergi. Permintaannya disetujui dan Bartley pindah dengan status pinjaman ke klub Scottish Premier League, Rangers, pada hari terakhir jendela transfer. Dia melakukan debut untuk Rangers pada tanggal 12 Februari 2011 dalam kemenangan 6-0 atas Motherwell di Ibrox. Bartley mempertahankan tempatnya di tim dan mencetak gol pertamanya di level senior dalam kemenangan 1-0 atas St Mirren pada tanggal 6 Maret 2011. Cedera ligamen lutut yang dideritanya saat melawan PSV Eindhoven di Liga Europa membuatnya absen hingga akhir musim, sehingga dia melewatkan kemenangan Rangers di final Piala Liga Skotlandia atas Celtic dan sisa musim. Dia kembali ke Arsenal pada akhir Maret, tetapi menyatakan keinginannya untuk kembali ke Rangers.
Pada musim 2011-2012, Bartley menjadi pemain pengganti pada menit ke-74 untuk Laurent Koscielny dalam putaran terakhir Emirates Cup, sebuah kompetisi persahabatan pra-musim. Dia mencetak gol bunuh diri pada menit ke-84, saat Arsenal kalah dalam kompetisi tersebut dari New York Red Bulls. Pada tanggal 3 Agustus 2011, Bartley menandatangani kontrak baru dengan Arsenal. Keesokan harinya, dia kembali dipinjamkan ke Rangers untuk musim tersebut.
Bartley bergabung dengan Swansea City pada tanggal 16 Agustus 2012 dengan biaya transfer yang diyakini sekitar £1 juta. Dia menandatangani kontrak selama tiga tahun. Dia melakukan debutnya dalam babak kedua Piala Liga pada tanggal 28 Agustus melawan Barnsley. Swansea menang dengan skor 3-1. Setelah cedera yang dialami Chico Flores, Bartley dianggap sebagai penggantinya untuk Final Piala Liga 2013, namun akhirnya dia tidak masuk dalam skuad.
Pada tanggal 2 Juli 2013, Bartley setuju untuk dipinjamkan selama satu musim ke klub Championship, Birmingham City. Meskipun dia hanya bermain sedikit di level senior dalam setahun terakhir dan tidak mengikuti pra-musim penuh, manajer Lee Clark memilihnya untuk pertandingan pembuka, bermain bersama rekan pinjaman Dan Burn dan kapten berpengalaman Paul Robinson dalam susunan tiga bek; Birmingham kalah 1-0 di kandang melawan Watford.