Karier klub Rivière dimulai ketika ia bermain di departemen luar negeri Prancis, yaitu di Martinique, untuk klub lokal Espoir Sainte-Luce di komune Sainte-Luce. Penampilannya dalam Coupe Nationale des 14 ans, yang diadakan di akademi Clairefontaine, menarik minat klub-klub Prancis di daratan utama seperti Paris Saint-Germain, Lyon, dan Saint-Étienne. Rivière kemudian bergabung dengan Saint-Étienne dengan alasan sejarah klub tersebut, ia mengatakan, "ASSE legendaris di Martinique. Mereka adalah klub besar. Keluarga saya senang melihat saya bergabung di sini. Ayah saya, yang mengikuti sepak bola dengan baik, sering membicarakannya."
Di awal karier di Saint-Étienne, Rivière memiliki Frédéric Piquionne, mantan penyerang Saint-Étienne dan rekan setimnya dari Martinique, sebagai mentor. Rivière melakukan debutnya di tim cadangan pada usia 16 tahun. Pada musim panas tahun 2008, ia menandatangani kontrak profesional pertamanya yang berdurasi tiga tahun, menjadikannya pemain Saint-Étienne hingga tahun 2011. Selama tahun 2008, Rivière tidak mendapatkan waktu bermain di tim utama; ia hanya bermain di tim cadangan. Ia melakukan debut profesionalnya pada tanggal 3 Januari 2009 dalam pertandingan Coupe de France melawan Bordeaux. Ia memulai pertandingan dan bermain selama 90 menit penuh dengan Saint-Étienne memenangkan pertandingan 1-0 berkat gol dari Bafétimbi Gomis di menit ke-74. Ia melakukan debut di liga pada tanggal 31 Januari dalam pertandingan melawan rivalnya, Lyon, masuk sebagai pemain pengganti di menit ke-72; pertandingan berakhir dengan skor imbang 1-1. Rivière mencetak gol pertamanya untuk Saint-Étienne pada tanggal 13 Mei 2009 dalam kemenangan 4-2 klub tersebut atas Le Havre. Karena kepergian Gomis, cedera pada penyerang Ilan dan Kevin Mirallas, serta kedatangan terlambat dari Gonzalo Bergessio, Rivière memulai musim 2009-2010 sebagai penyerang pilihan pertama klub. Pada tanggal 15 Agustus, Rivière mencetak gol pertamanya musim ini dalam kekalahan 3-1 klub tersebut dari Toulouse. Setelah Bergessio masuk ke tim, Rivière berpindah ke posisi sayap. Pada tanggal 9 Januari 2010, ia mencetak gol pembuka dalam kemenangan 4-1 Saint-Étienne atas Lorient di piala. Pekan berikutnya, ia mencetak gol kemenangan dalam kemenangan 2-1 atas Grenoble. Pada bulan Februari dan Maret, Rivière tampil gemilang dengan mencetak lima gol dalam tujuh pertandingan dan juga memberikan assist untuk satu gol. Saint-Étienne hanya kalah satu dari tujuh pertandingan yang dimainkan selama periode tersebut, yang mengangkat klub tersebut keluar dari zona degradasi. Rivière mencetak gol pembuka dalam pertandingan melawan Lyon dan Lille, yang berakhir dengan skor imbang, dan mencetak gol kemenangan dalam pertandingan melawan Montpellier. Pada tanggal 5 Mei, Rivière mencetak gol kemenangan lagi, kali ini melawan Boulogne. Hasil 1-0 tersebut menjamin Saint-Étienne mendapatkan tiket untuk bermain di Ligue 1 musim berikutnya dan juga menurunkan Boulogne. Pada tanggal 22 Juli 2010, Rivière menandatangani perpanjangan kontrak tiga tahun dengan Saint-Étienne hingga Juni 2014. Sebelum menandatangani perjanjian tersebut, ia diminati oleh klub Ligue 1 Toulouse dan klub Jerman 1899 Hoffenheim.
Pada tanggal 12 Juli 2011, klub Prancis Toulouse mengonfirmasi bahwa Rivière telah bergabung dengan klub tersebut dengan kontrak empat tahun dari Saint-Étienne. Biaya transfernya mencapai €6 juta.
Pada tanggal 30 Januari 2013, Rivière bergabung dengan Monaco dengan kontrak empat setengah tahun dengan biaya transfer yang dilaporkan sekitar €4 juta. Ia mencetak gol pertamanya untuk Monaco dalam debutnya dalam kemenangan tandang 2-0 melawan Arles pada tanggal 4 Februari 2013. Ia juga mencetak gol dalam pertandingan pertama Monaco kembali ke Ligue 1 pada tanggal 10 Agustus 2013, masuk menggantikan James Rodríguez di menit ke-72 dan mencetak gol kurang dari sepuluh menit kemudian, membantu klub tersebut meraih kemenangan 2-0.