Mathieu juga pernah menjadi pemain internasional untuk Prancis dari tahun 2011 hingga 2016. Ia dipilih untuk mewakili Prancis di UEFA Euro 2016, namun harus mundur karena cedera.
Karier klub Mathieu dimulai di Sochaux, klub terbesar di wilayah Franche-Comté. Pada usia 16 tahun, AC Milan tertarik untuk merekrutnya, namun pelatih Sochaux, Jean Fernandez, menyarankan agar ia tetap tinggal karena secara mental ia belum cukup kuat. Mathieu melakukan debutnya di Ligue 1 pada musim 2002-2003, dan segera memberikan dampak dengan mencetak gol pertamanya dalam pertandingan ketiganya. Ia tampil mengesankan dalam dua musim berikutnya, membantu Sochaux memenangkan Coupe de la Ligue pada tahun 2004. Performa gemilangnya menarik minat klub-klub Italia seperti Juventus, serta klub-klub Inggris seperti Newcastle United, Everton, dan Southampton.
Setelah mengumumkan keinginannya untuk pindah ke klub lain dan hanya memiliki satu tahun kontrak tersisa, Sochaux setuju untuk mendengarkan tawaran untuk Mathieu. Akhirnya, ia sepakat untuk bergabung dengan Toulouse setelah menyetujui kontrak empat tahun. Mathieu melanjutkan penampilan positifnya di Toulouse, membantu klub ini lolos ke Liga Champions UEFA. Namun, musim 2007-2008 menjadi musim yang buruk bagi Mathieu dan Toulouse, dengan Mathieu mengalami patah tulang di kakinya dan Toulouse hanya finis satu peringkat di atas zona degradasi. Hal ini membuat Mathieu mempertimbangkan masa depannya dengan klub tersebut. Meskipun mendapat minat besar dari klub Italia seperti Roma, Toulouse menolak untuk membiarkan Mathieu pergi. Mathieu akhirnya menolak perpanjangan kontrak dan meninggalkan klub pada akhir musim 2008-2009. Meski situasi transfer masih berlangsung, Mathieu tetap profesional dalam bermain. Ia tampil dalam 31 pertandingan liga selama musim 2008-2009, berkontribusi pada kesuksesan Toulouse di liga dan Piala Prancis.
Pada tanggal 10 Juni 2009, Mathieu bergabung dengan klub La Liga, Valencia, dengan kontrak tiga tahun. Debutnya untuk klub ini terjadi dalam kemenangan 2-0 melawan Sevilla FC. Pada tanggal 1 Mei 2014, Mathieu mencetak gol yang seolah-olah akan membawa Valencia melaju ke Final Liga Europa UEFA 2014 ketika ia mencetak gol melalui assist dari Ricardo Costa, membuat skor menjadi 3-0 melawan Sevilla (3-2 secara agregat), namun akhirnya Valencia kalah.