Sebagai pemain internasional penuh untuk Jerman sejak tahun 2009, Khedira telah mengumpulkan 77 caps untuk tim nasional. Ia telah berpartisipasi dalam tiga Piala Dunia FIFA dan dua Kejuaraan Eropa UEFA bersama Jerman, dan menjadi bagian dari skuad yang mencapai semifinal pada Piala Dunia FIFA 2010, serta Kejuaraan Sepak Bola Eropa UEFA 2012 dan 2016; ia juga berhasil memenangkan Piala Dunia FIFA 2014.
Khedira memulai karir klubnya di VfB Stuttgart sejak tahun 1995 setelah sebelumnya bermain di TV Oeffingen. Pada bulan-bulan pertama musim 2006-2007, ia dipanggil masuk ke skuad Bundesliga VfB oleh manajer Armin Veh. Debutnya dilakukan pada tanggal 1 Oktober 2006 melawan Hertha BSC, menggantikan Antônio da Silva pada akhir pertandingan yang berakhir imbang 2-2. Ia mencetak dua gol pertamanya pada tanggal 29 Oktober dalam kemenangan 3-0 melawan Schalke 04 di Mercedes-Benz Arena. Pada tanggal 29 Januari 2007, ia menandatangani kontrak profesional pertamanya di VfB, berlaku hingga Juni 2009. Di pertandingan terakhir musim pada tanggal 19 Mei, Khedira mencetak gol kemenangan saat Die Schwaben berhasil mengalahkan Energie Cottbus dengan skor 2-1 dan menjadi juara untuk pertama kalinya dalam 15 tahun. Pada tanggal 9 Juli 2008, ia memperpanjang kontraknya hingga musim panas 2011. Di musim berikutnya, ia mencetak 7 gol terbanyak dalam 27 pertandingan liga, termasuk kedua gol dalam hasil imbang 2-2 melawan Bayern Munich pada tanggal 13 Desember.
Pada tanggal 30 Juli 2010, Khedira pindah ke Real Madrid setelah tampil dalam 98 pertandingan Bundesliga dengan biaya yang tidak diungkapkan, dengan menandatangani kontrak hingga 2015. Khedira melakukan debutnya pada tanggal 13 Agustus dalam pertandingan persahabatan melawan Bayern Munich, yang dimenangkan oleh Real Madrid dengan skor 4-2 lewat adu penalti untuk Piala Franz-Beckenbauer. Debutnya di liga dilakukan enam belas hari kemudian, dalam hasil imbang 0-0 melawan Mallorca. Ia tampil dalam 40 pertandingan di musim pertamanya di Spanyol dan memenangkan gelar klub pertamanya pada tanggal 20 April 2011 saat timnya berhasil memenangkan final Copa del Rey melawan rival El Clásico, FC Barcelona. Ia mencetak gol kompetitif pertamanya untuk Real Madrid di Liga Champions pada tanggal 18 Oktober 2011 melawan Olympique Lyonnais. Ia mencetak gol pertamanya di Copa del Rey melawan Málaga CF dalam kemenangan kandang 3-2 ketika Real Madrid tertinggal 0-2, dan gol pertamanya di liga melawan RCD Espanyol dalam kemenangan kandang 5-0. Pada tanggal 21 April 2012, Khedira mencetak gol liga keduanya, melawan Barcelona; gol tersebut merupakan gol ke-108 Real Madrid dalam satu musim di liga, yang mengalahkan rekor La Liga sebelumnya sebanyak 107 gol, juga dibuat oleh Real Madrid pada musim 1989-1990. Pada tanggal 24 Mei 2014, Khedira menjadi starter dalam pertandingan final Liga Champions UEFA melawan Atletico Madrid, di mana Real Madrid berhasil memenangkan pertandingan dengan skor 4-1.
Pada tanggal 9 Juni 2015, klub Italia Juventus mengumumkan bahwa Khedira telah menandatangani kontrak empat tahun secara gratis. Pindahannya selesai pada tanggal 1 Juli, di awal musim 2015-2016. Pada tanggal 1 Agustus, Khedira harus ditarik keluar lapangan setelah hanya bermain selama 25 menit dalam pertandingan persahabatan pra-musim melawan Marseille karena cedera hamstring dan dinyatakan tidak bisa bermain dalam Supercoppa Italiana seminggu kemudian melawan Lazio. Dua hari kemudian, Juventus mengkonfirmasi bahwa itu sebenarnya adalah robekan otot di paha kanannya, dan bahwa ia akan absen selama sekitar dua bulan. Ia kembali beraksi pada tanggal 30 September saat ia menjadi starter dalam pertandingan fase grup Liga Champions dengan kemenangan 2-0 atas Sevilla. Pada tanggal 4 Oktober, Khedira membuat debutnya di Serie A, menjadi starter dan mencetak gol terakhir dalam kemenangan kandang 3-1 melawan