Karir klub Gillet dimulai di sistem pemuda Standard Liège dan dia dipanggil ke tim utama pada usia 17 tahun. Pada tahun 1996, dia melakukan debutnya di Belgian First Division dan musim berikutnya dia tampil dalam dua pertandingan lainnya. Pada musim panas tahun 1999, Gillet pindah ke Monza, yang saat itu bermain di Serie B. Sebagai pemain inti, dia tampil dalam 33 pertandingan.

Setelah bermain empat pertandingan pada bulan Agustus bersama Monza, menjelang akhir jendela transfer, Gillet pindah ke Bari di Serie A, yang membayar 5 juta lire. Musim pertamanya di kasta tertinggi, meskipun tampil dalam 20 pertandingan dan beberapa penampilan cemerlang di bawah mistar gawang, diwarnai dengan kasus doping. Setelah pertandingan Bari-Reggina pada tanggal 21 Januari, dia menjadi pemain pertama di Italia yang didakwa karena hasil tes positif menggunakan Nandrolone dan dijatuhi hukuman diskualifikasi selama empat bulan oleh pengadilan olahraga.

Selama sepuluh tahun berikutnya, Gillet tampil dalam 317 pertandingan untuk Bari di Serie A dan Serie B, kecuali saat dipinjamkan sebentar ke Treviso pada musim 2003-2004 karena beberapa ketidaksepakatan dengan pelatih saat itu, Marco Tardelli. Pada tanggal 13 Maret 2008, dia memperpanjang kontraknya dengan Bari hingga tahun 2011.

Pada tahun 2007, Antonio Conte tiba di Bari, dan Gillet mengubah perannya di tim dan bermain sebagai penjaga gawang sweeper. Tim tersebut berhasil meraih kemenangan di Serie B, kembali ke kasta tertinggi setelah absen selama tujuh tahun. Pada musim 2009-2010, penampilannya kembali terkonfirmasi di level tertinggi, hanya kebobolan tujuh gol dalam 12 pertandingan pertama; dengan pasangan bek Andrea Ranocchia dan Leonardo Bonucci, mereka menjadi salah satu tim dengan jumlah gol terkecil di Eropa.

Pada tanggal 18 Maret 2010, Gillet memperpanjang kontraknya dengan Bari hingga tahun 2014, dan pada tanggal 12 September 2010 melawan Napoli, dia resmi menjadi pemain dengan penampilan terbanyak untuk Bari setelah mencapai 319 penampilan untuk klub tersebut, mengalahkan legenda Bari, Giovanni Loseto. Karena itu, walikota Bari memberikan kunci kota kepada penjaga gawang Belgia tersebut sebagai tanda kesetiaan kepada klub dan kota tersebut. Gillet tetap menjadi penjaga gawang yang tangguh: menyelamatkan dua penalti dari Francesco Totti, dalam dua pertandingan antara Bari dan Roma, dan satu dari Robert Acquafresca dari Cagliari. Namun, pada akhir musim, Bari sekali lagi terdegradasi ke Serie B.

Pada tahun 2011, setelah Bari terdegradasi ke Serie B, Gillet menyatakan keinginannya untuk mengakhiri karirnya di Serie A dan pindah ke Bologna dengan nilai transfer sebesar 1,4 juta euro. Pada konferensi pers perpisahannya, Gillet dengan haru berpisah dari rumah adopsinya di Bari dan para penggemarnya. Di musim pertamanya di Bologna, Gillet segera menunjukkan kemampuan penjaga gawangnya dan cepat diterima oleh para penggemar Bologna. Penampilannya dalam 29 pertandingan liga membantu Bologna finis di peringkat 9 dalam Serie A musim 2011-2012, yang merupakan hasil terbaik klub dalam satu dekade.

Pada tanggal 5 Juli 2012, Gillet pindah ke Torino dengan nilai transfer sebesar 1,7 juta euro, di mana dia dipertemukan kembali dengan mantan pelatihnya di Bari, Giampiero Ventura. Dia melakukan debutnya pada tanggal 26 Agustus melawan Siena dalam pertandingan yang berakhir imbang tanpa gol. Dia tampil dalam 37 pertandingan untuk Torino pada musim 2012-2013. Namun, pada tanggal 6 Juni 2013, setelah skandal pengaturan skor Bari, dia didakwa melakukan kecurangan olahraga dan pada tanggal 16 Juli dia dijatuhi hukuman diskors selama tiga tahun tujuh bulan karena perannya dalam pertandingan Bari-Treviso pada tanggal 11 Mei 2008; dan Salernitana-Bari pada tanggal 23 Mei 2009. Pada tanggal 24 Januari 2014, TNAS mengurangi hukuman diskualifikasinya menjadi 13 bulan (lima di antaranya sudah dia jalani). Gillet kembali bermain pada tanggal 17 Agustus 2014 dalam pertandingan persahabatan tiga tim di Mondovì melawan Bra dan Virtus Mondovi. Pada tanggal 22 Agustus, dia dipanggil kembali oleh Ventura.