Carter-Vickers memulai karirnya di Akademi Tottenham Hotspur. Dia melakukan debutnya pada musim 2016-2017, bermain di kompetisi piala. Dari tahun 2017 hingga 2021, dia menghabiskan waktu dengan dipinjamkan ke klub Championship seperti Sheffield United, Ipswich Town, Swansea City, Stoke City, Luton Town, dan Bournemouth.

Pada tahun 2021, dia dipinjamkan ke Celtic di Scottish Premiership di mana dia memenangkan liga dan Piala Liga Skotlandia. Dia secara permanen bergabung dengan Celtic pada bulan Juni 2022. Dia termasuk dalam Tim PFA Scotland untuk musim 2021-2022 dan 2022-2023.

Carter-Vickers bergabung dengan akademi Tottenham Hotspur pada usia 11 tahun setelah menarik perhatian para pencari bakat saat bermain di tim muda Catholic United. Dia dipercepat melalui akademi, dan di bawah manajer Mauricio Pochettino, dia pertama kali masuk skuad pertandingan melawan tim Ligue 1 AS Monaco di Liga Europa UEFA pada 10 Desember 2015. Carter-Vickers tampil dalam International Champions Cup 2016, memulai pertandingan melawan Juventus dan Atlético Madrid, dan diberikan nomor jersey 38 untuk musim 2016-2017. Pada 21 September 2016, dia melakukan debut di tim utama klub dalam babak ketiga Piala EFL melawan Gillingham, yang dimenangkan oleh Spurs dengan skor 5-0. Dia juga tampil dalam dua pertandingan Piala FA pada Januari 2017, pertama melawan Aston Villa dan kemudian Wycombe Wanderers.

Carter-Vickers dipinjamkan ke Sheffield United, klub yang baru promosi ke Championship, pada tanggal 25 Agustus 2017. Pada debutnya dan pertandingan liga karir pertamanya, Carter-Vickers mencetak satu-satunya gol dalam pertandingan, gol kemenangan pada menit ke-33 melawan Bolton Wanderers. Setelah bermain 18 pertandingan untuk Sheffield United dan mencetak satu gol, Carter-Vickers dipanggil kembali dan kembali ke Tottenham pada 15 Januari 2018. Pada 19 Januari 2018, Ipswich Town meminjam Carter-Vickers hingga akhir musim. Dia melakukan debutnya untuk Ipswich Town melawan Bolton Wanderers pada 20 Januari 2018. Carter-Vickers bermain 17 kali untuk Ipswich Town saat mereka finis di posisi tengah klasemen ke-12. Swansea City meminjam Carter-Vickers hingga akhir musim pada 25 Agustus 2018. Di Swansea, dia membentuk pasangan dengan Mike van der Hoorn sebagai bek tengah setelah cedera yang dialami oleh Joe Rodon. Total, dia tampil dalam 33 pertandingan di semua kompetisi untuk Swansea, mengesankan terutama karena kemampuan umpannya dari posisi bek tengah. Pada 8 Agustus 2019, Carter-Vickers bergabung dengan Stoke City dengan status pinjaman untuk musim 2019-2020. Dia tampil dalam 15 pertandingan sebelum dipanggil kembali oleh Spurs pada 2 Januari 2020, dan kemudian dipinjamkan selama enam bulan ke Luton Town empat minggu kemudian. Karena musim diperpanjang karena wabah COVID-19, pinjaman Carter-Vickers ke Luton diperpanjang hingga akhir musim. Pada 16 Oktober 2020, Carter-Vickers bergabung dengan AFC Bournemouth dengan status pinjaman selama satu musim. Dia mencetak gol pertamanya untuk Bournemouth dalam kemenangan 2-1 melawan Bristol City pada 3 Maret 2021.

Pada 19 Agustus 2021, Carter-Vickers membuat penampilan pertamanya untuk Tottenham sejak tahun 2017, dimulai di bawah manajer baru Nuno Espírito Santo dalam pertandingan perdana klub di UEFA Europa Conference League, yang berakhir dengan kekalahan 0-1 melawan Paços de Ferreira.

Pada 31 Agustus 2021, Carter-Vickers bergabung dengan Celtic di Scottish Premiership dengan status pinjaman hingga akhir musim 2021-2022. Dia mencetak gol pada debutnya dengan tendangan yang mengenai pemain lawan dari luar kotak penalti dalam kemenangan 3-0 melawan Ross County pada 13 September. Pada 3 April 2022, Carter-Vickers mencetak gol kemenangan dalam kemenangan 2-1 melawan Rangers di Ibrox Stadium. Ini membuat Celtic unggul enam poin dari rival mereka di puncak klasemen Premiership. Dia tampil dalam 45 pertandingan untuk Celtic dan membantu klub meraih gelar liga.