Khumalo memulai karier klubnya di University of Pretoria setelah lulus dari akademi Arcadia Shepherds pada tahun 2005. Ia bermain selama dua musim di klub tersebut, mencetak empat gol dalam 50 penampilan. Penampilannya yang impresif di University of Pretoria menarik perhatian beberapa klub Premier Division di Afrika Selatan dan pada tahun 2007 ia bergabung dengan SuperSport United.
Setelah tiba di SuperSport United, Khumalo segera menjadi pemain penting dalam tim yang dilatih oleh Gavin Hunt dan kemudian diangkat sebagai kapten klub. Selama tiga musim berikutnya, ia membantu klub meraih tiga gelar Premier Division secara beruntun dan menjadi pemain termuda yang pernah mengangkat trofi liga, pada usia 23 tahun. Masa kepemimpinan Khumalo di klub ini juga bersamaan dengan SuperSport United menjalin kerjasama dengan klub Liga Primer, Tottenham Hotspur. Pada tahun 2010, Khumalo menandatangani kontrak pra-kesepakatan untuk bergabung dengan klub berbasis di London tersebut pada bulan Januari tahun berikutnya.
Pada 26 Oktober 2010, diumumkan bahwa Khumalo akan bergabung dengan Tottenham Hotspur pada bulan Januari 2011 dari klub mitra SuperSport United setelah berhasil menjalani uji coba pada bulan September, dengan syarat izin kerja dan dengan biaya transfer sebesar £1,5 juta. Tottenham mengkonfirmasi penyelesaian transfer Khumalo dari SuperSport United pada 7 Januari 2011.
Selama berada di Tottenham Hotspur, Khumalo beberapa kali dipinjamkan ke klub lain seperti Preston North End, Reading, Doncaster Rovers, dan Colchester United. Namun, ia tidak pernah tampil dalam pertandingan resmi untuk Tottenham Hotspur selama 4,5 tahun berada di klub tersebut. Pada akhir musim 2014-2015, Khumalo dilepas oleh Tottenham Hotspur.
Pada 4 Agustus 2015, diumumkan bahwa Khumalo telah bergabung kembali dengan SuperSport United setelah meninggalkan Tottenham Hotspur tanpa pernah tampil dalam pertandingan resmi selama empat tahun. Setelah itu, ia pindah ke Bidvest Wits sebelum akhirnya memutuskan untuk pensiun dari sepak bola pada 21 September 2021.
Di level internasional, Khumalo pernah masuk dalam skuad tim nasional Afrika Selatan untuk Piala Konfederasi FIFA 2009 dan Piala Dunia FIFA 2010. Meskipun tidak tampil secara reguler untuk tim nasional, Khumalo tetap dianggap sebagai salah satu bek terbaik dari Afrika Selatan.