Tavernier bergabung dengan Rangers pada tahun 2015 dan langsung meraih dua trofi dalam musim pertamanya. Ia mencetak gol yang membawa Rangers meraih gelar Scottish Championship, dan menjadi man of the match saat mereka memenangkan Scottish Challenge Cup dengan mencetak gol voli dari jarak jauh di final. Pada awal musim 2018-2019, Tavernier diangkat sebagai kapten klub dan berhasil memimpin Rangers meraih gelar Scottish Premiership pada tahun 2021 dan Scottish Cup pada musim berikutnya. Ia juga menjadi pencetak gol terbanyak saat Rangers menjadi runner-up di UEFA Europa League 2021-2022. Hingga saat ini, Tavernier telah melakukan lebih dari 400 penampilan untuk klub dan mencetak lebih dari 100 gol. Ia juga dinobatkan sebagai PFA Scotland Players' Player of the Year pada tahun 2021 dan diinduksi ke dalam Rangers Hall of Fame pada tahun 2023. Dengan total 125 gol dalam karirnya, Tavernier menjadi bek dengan peringkat ke-7 dalam sejarah sepak bola profesional yang mencetak gol terbanyak.
Tavernier lahir di Bradford, West Yorkshire, dan bergabung dengan sistem pemuda Leeds United pada usia sembilan tahun setelah direkrut dari klub lokal Farsley Celtic. Ia menghabiskan enam musim di Leeds, termasuk satu musim bermain sebagai penjaga gawang sebelum pindah ke posisi gelandang tengah.
Pada tahun 2008, Tavernier pindah ke Newcastle United. Ia melakukan debut di tim utama dalam kekalahan 0-2 melawan Peterborough United di babak ketiga Piala Liga pada 22 September 2009, dan bermain selama 90 menit penuh. Pada 7 Januari 2011, Tavernier dipinjamkan ke Gateshead di Conference Premier selama 28 hari bersama rekan setimnya di Newcastle, Jóan Símun Edmundsson. Ia melakukan debutnya keesokan harinya dalam hasil imbang 1-1 melawan Kidderminster Harriers. Pinjaman Tavernier di klub tersebut diperpanjang hingga 9 April. Pelatih Gateshead, Ian Bogie, mengomentari bahwa Tavernier memiliki masa depan yang cerah dalam sepak bola. Tavernier dipanggil kembali oleh Newcastle pada tanggal 24 Maret karena suspensi yang dialami oleh James Perch, pemain cadangan di posisi bek, dalam pertandingan tim cadangan. Tavernier menjadi cadangan dalam kemenangan 4-1 Newcastle atas Wolverhampton Wanderers pada 2 April. Pada 11 Agustus 2011, Tavernier dipinjamkan ke tim League One, Carlisle United, dalam pinjaman awal selama satu bulan yang kemudian diperpanjang hingga pertengahan November. Seperti pelatih Gateshead, pelatih Carlisle, Greg Abbott, juga terkesan dengan penampilan Tavernier. Tavernier kembali ke Newcastle setelah pinjaman yang sukses di mana ia tampil dalam 17 pertandingan. Tavernier kemudian dipinjamkan ke tim League One lainnya, Sheffield Wednesday, pada 21 November, hingga 9 Januari 2012. Pada 31 Januari 2012, Tavernier dipinjamkan ke tim League One ketiga, Milton Keynes Dons, hingga akhir musim. Pinjaman Tavernier di MK Dons berakhir lebih awal setelah Alan Pardew memanggilnya kembali pada bulan April. Tavernier melakukan debutnya di kompetisi Eropa pada 23 Agustus 2012, bermain penuh dalam hasil imbang 1-1 Newcastle melawan Atromitos di babak kualifikasi UEFA Europa League. Ia tampil dalam tujuh pertandingan untuk tim tersebut di empat kompetisi selama musim itu, dan melakukan debut di Premier League pada 29 September dengan masuk menggantikan Steven Taylor di menit ke-56 dalam hasil imbang 2-2 melawan Reading. Pada 26 Juli 2013, Tavernier dipinjamkan ke Shrewsbury Town selama sebulan, namun ia kembali ke klub induknya lebih awal karena cedera tulang metatarsal yang sudah ada sebelumnya. Tavernier dipinjamkan ke Rotherham United pada 28 November 2013 dalam pinjaman darurat jangka pendek. Dua hari setelah debutnya di New York Stadium, Tavernier mencetak gol pertamanya dalam karirnya untuk mengakhiri kemenangan 4-1 melawan Gillingham. Ia mencetak lima gol dalam 27 pertandingan, semuanya sebagai starter, di Rotherham United.