Karir klub Palermo dimulai di Estudiantes de La Plata sebelum dia pindah ke Boca Juniors. Dia memulai karirnya di Estudiantes pada tahun 1992 dan bermain di sana selama lima tahun sebelum bergabung dengan Boca Juniors. Di awal karirnya bersama Boca Juniors, Palermo mengalami kesulitan. Namun, dia mencetak gol pertamanya dalam kemenangan 2-1 melawan Independiente pada tanggal 30 September 1997. Pada tahun 1999, performa bagus Palermo di Boca Juniors dan tim nasional Argentina menarik minat klub-klub Eropa seperti Lazio, Real Betis, dan Milan. Namun, pada tanggal 13 November 1999, Palermo mengalami cedera parah pada ligamen anterior cruciate lutut kanannya saat bermain melawan Colón. Meskipun cedera, Palermo berhasil mencetak gol ke-100nya dalam Divisi Utama Argentina sebelum meninggalkan lapangan. Dia membutuhkan waktu enam bulan untuk pulih dari cederanya. Pada tanggal 24 Mei 2000, Palermo kembali bermain dan mencetak gol dalam pertandingan perempat final Copa Libertadores melawan River Plate, yang berakhir dengan kemenangan 3-0 bagi Boca Juniors. Pada tahun yang sama, Palermo mencetak dua gol dalam kemenangan 2-1 Boca Juniors atas Real Madrid dalam Piala Interkontinental, yang menarik perhatian klub-klub sepak bola di Spanyol.
Setelah meninggalkan Boca Juniors, Palermo pindah ke Spanyol untuk bergabung dengan Villarreal pada Januari 2001. Dia mencatat debutnya pada tanggal 5 Februari dalam kemenangan 2-0 melawan Alavés. Palermo mencetak enam gol dalam 17 pertandingan pertamanya untuk Villarreal. Namun, pada tanggal 29 November 2001, Palermo mengalami cedera serius pada kaki kirinya setelah terjatuh dari dinding beton kecil saat merayakan golnya. Cedera tersebut membuatnya absen hingga April 2002. Palermo kembali bermain dan mencetak gol dalam kemenangan 2-1 melawan Real Zaragoza pada tanggal 5 Mei 2002. Pada musim 2002-2003, Palermo mencetak tujuh gol untuk Villarreal, namun dia meninggalkan klub tersebut pada Agustus 2003 setelah klub tersebut merekrut pemain baru di lini depan. Setelah meninggalkan Villarreal, Palermo bergabung dengan Real Betis di Spanyol.