Poulsen memulai karirnya di Esbjerg fB sebagai pemain muda dan berhasil naik ke tim senior. Ia melakukan debutnya pada tanggal 9 September 2001 dalam pertandingan melawan Midtjylland, masuk sebagai pemain pengganti pada menit ke-64, dalam kemenangan 2-0. Pada musim 2002-2003, Poulsen mencetak gol pertamanya dalam kekalahan 4-3 melawan Køge pada tanggal 11 Agustus 2002. Ia kemudian mencetak dua gol lagi, yang pertama melawan Køge pada tanggal 27 Oktober 2002 dan yang kedua melawan AGF pada tanggal 6 April 2003. Poulsen membantu klub menghindari degradasi meski mengalami cedera sepanjang musim tersebut. Pada musim 2003-2004, Poulsen terus mendapatkan tempat di tim utama dan bermain di posisi gelandang. Ia mencetak gol pertamanya pada tanggal 24 Agustus 2003 dalam kemenangan 3-2 melawan AaB. Poulsen kemudian mencetak empat gol dalam beberapa pertandingan berikutnya. Pada musim 2004-2005, Poulsen membantu Esbjerg fB mencapai semifinal Piala UEFA Intertoto sebelum akhirnya kalah dari Schalke 04. Poulsen terus mendapatkan tempat di tim utama dan mencetak lima gol pada musim tersebut. Pada musim 2005-2006, Poulsen mencetak gol pertamanya pada tanggal 24 Juli 2005 dalam kekalahan 2-1 melawan FC Midtjylland. Poulsen terus menjadi pemain utama di tim Esbjerg fB dan bermain dalam beberapa pertandingan penting di Piala UEFA.