Wheater memulai karir profesionalnya di Middlesbrough pada tahun 2004 setelah lulus dari tim muda klub tersebut. Selama musim 2006-2007, ia menghabiskan tiga periode peminjaman di Doncaster Rovers, Wolverhampton Wanderers, dan Darlington. Cedera yang dialami oleh Jonathan Woodgate pada awal musim berikutnya membuat Wheater menjadi pemain reguler untuk Middlesbrough. Ia kemudian membuat total 140 penampilan di liga untuk klub tersebut sebelum pindah ke Bolton Wanderers pada Januari 2011. Setelah delapan setengah tahun bersama klub tersebut, Wheater menghabiskan dua musim bersama Oldham Athletic sebelum kembali ke Darlington pada tahun 2022.
Wheater telah mewakili Inggris di tingkat U-16, U-17, U-18, U-19, dan U-21. Ia dipanggil ke tim senior pada tahun 2008, namun tidak bermain.
Di Middlesbrough, Wheater merupakan produk dari sistem pemuda klub dan dipromosikan ke tim utama pada usia 17 tahun untuk musim 2004-2005 setelah meraih kesuksesan di Piala FA Youth. Ia dan rekan-rekannya Andrew Taylor, Matthew Bates, dan Adam Johnson adalah bagian dari tim yang memenangkan Piala FA Youth 2004. Wheater juga pernah dipinjamkan ke Wolverhampton Wanderers dan Doncaster Rovers sebelum akhirnya mendapatkan tempat tetap di tim utama Middlesbrough.
Wheater mengalami musim terbaiknya pada musim 2007-2008, menjadi pemain reguler di bawah arahan Gareth Southgate dan menjadi kekuatan yang mengesankan di lini belakang. Ia mencetak empat gol di semua kompetisi selama musim tersebut. Pada akhir tahun, ia memenangkan penghargaan Young Player of the Year dan Player of the Year dari North East Football Writers' Association atas kontribusinya. Meskipun Middlesbrough terdegradasi pada akhir musim 2008-2009, Wheater memutuskan untuk tetap bersama klub untuk membantu mereka mendapatkan promosi kembali.
Pada musim 2009-2010, Wheater diangkat menjadi kapten tim meskipun usianya masih 22 tahun. Namun, saat manajer baru Gordon Strachan datang, Wheater memilih untuk menyerahkan ban kapten kepada Gary O'Neil yang lebih berpengalaman agar ia dapat fokus pada pengembangan permainannya. Wheater mencetak gol liga pertamanya dalam 18 bulan pada tanggal 6 Februari melawan Ipswich Town untuk menyelamatkan hasil imbang. Ia mencetak gol terakhirnya dalam seragam Middlesbrough pada tanggal 15 Januari 2011 dalam kemenangan 4-0 melawan Bristol City.