Yanga-Mbiwa bergabung dengan Montpellier sebagai pemain muda pada tahun 2005 dan melakukan debut sepak bola profesionalnya pada tanggal 23 Februari 2007 dalam kekalahan 1-0 tandang melawan Bastia. Dia tampil sebagai pemain utama dan bermain selama 90 menit, serta mendapatkan kartu kuning. Setelah musim berakhir, dia menandatangani kontrak profesional pertamanya yang berdurasi tiga tahun hingga 2010. Dia resmi dipromosikan ke skuad senior dan diberikan nomor punggung 3. Yanga-Mbiwa awalnya digunakan sebagai pemain cadangan pada awal musim 2007-2008, tetapi pada bulan September 2007, meskipun baru berusia 18 tahun, manajer Montpellier, Rolland Courbis, menunjuk Yanga-Mbiwa sebagai pemain utama untuk sisa musim 2007-2008. Yanga-Mbiwa tidak mengecewakan dengan tampil dalam 41 pertandingan total dan mencetak satu gol. Dia tampil dalam setiap pertandingan Montpellier termasuk Coupe de la Ligue dan Coupe de France, di mana Montpellier mencapai babak 16 besar dan 32 besar, secara berturut-turut. Satu-satunya golnya musim itu terjadi pada tanggal 12 Mei 2008 melawan FC Gueugnon, di mana dia mencetak gol kemenangan di injury time untuk memberikan Montpellier kemenangan 2-1.
Yanga-Mbiwa tetap menjadi pemain utama pada musim 2008-2009, dan meskipun bersaing dengan pemain muda lainnya seperti Mickaël Nelson dan Abdel El Kaoutari, dia terus mengesankan dengan tampil dalam 33 pertandingan total dan mencetak satu gol melawan Angers dalam hasil imbang 3-3 di injury time. Gol penyama kedudukan tersebut terjadi hanya beberapa detik setelah Angers unggul dengan gol dari Malik Couturier. Pada tanggal 20 Maret 2009, saat Montpellier berjuang untuk promosi, Yanga-Mbiwa mengalami cedera serius dalam pertandingan melawan Brest yang membuatnya absen selama hampir dua bulan. Dia kembali ke tim pada tanggal 8 Mei 2009 dan bermain dalam empat pertandingan terakhir membantu Montpellier meraih promosi ke Ligue 1 di hari terakhir musim. Meskipun promosi ke Ligue 1, manajer Rolland Courbis mengundurkan diri dari jabatannya karena akan masuk penjara, dan manajer baru René Girard datang. Girard menyatakan bahwa salah satu prioritasnya adalah mempertahankan Yanga-Mbiwa, dan pada tanggal 2 Juni 2009, hal tersebut terwujud dengan Montpellier memperpanjang kontrak pemain tersebut hingga 2012. Yanga-Mbiwa melakukan debut Ligue 1 dalam pertandingan pembuka musim melawan Paris Saint-Germain dan bermain sepanjang pertandingan dalam hasil imbang 1-1. Pada tanggal 12 Mei 2010, Yanga-Mbiwa menambah satu tahun lagi kontraknya setelah setuju dengan perpanjangan kontrak bersama klub.
Pada tanggal 22 Januari 2013, Yanga-Mbiwa pindah ke Newcastle United dengan biaya transfer sebesar £8,5 juta. Dia menandatangani kontrak selama lima setengah tahun di St James' Park, di mana dia menggunakan nomor punggung 13. Dia melakukan debutnya untuk Newcastle pada tanggal 29 Januari 2013 sebagai pemain pengganti pada babak kedua dalam kemenangan 2-1 melawan Aston Villa.
Pada tanggal 1 September 2014, Yanga-Mbiwa bergabung dengan klub Italia, AS Roma, dengan status pinjaman selama satu musim, dengan opsi untuk pindah secara permanen dengan biaya £5,5 juta ditambah biaya pinjaman sebesar £1 juta. Dia melakukan debutnya sebagai pemain pengganti pada menit ke-77 dalam pertandingan Liga Champions melawan CSKA Moscow pada tanggal 17 September. Empat hari kemudian, dia bermain dalam pertandingan Serie A pertamanya, menjadi starter dalam kemenangan 2-0 melawan Cagliari. Pada tanggal 27 Januari 2015, Newcastle United mengumumkan bahwa Yanga-Mbiwa akan bergabung dengan Roma secara permanen setelah memenuhi syarat kontrak dalam perjanjian pinjaman antara kedua klub. Pada tanggal 25 Mei 2015, Yanga-Mbiwa mencetak satu-satunya golnya bersama Roma dan gol kemenangan dalam kemenangan 2-1 melawan rival klub Lazio dalam Derby della Capitale, yang memastikan Roma finish di peringkat kedua dalam musim Serie A 2014-2015 serta meraih tiket ke Liga Champions.
Follow