Karir profesional Karimi dimulai dengan Fath Tehran, di mana ia melakukan debut tim utama pada tahun 1996, pada usia 18 tahun. Kemudian ia bermain selama tiga musim bersama Persepolis, memenangkan liga Iran dua kali dan Hazfi Cup sekali dengan klub tersebut. Pada bulan Juli 2001, Karimi menandatangani kontrak dua tahun dengan klub UAE Pro League Al-Ahli Dubai. Selama menjadi pemain Al-Ahli, Karimi memenangkan dua gelar Piala, dan menjadi pencetak gol terbanyak pada musim 2003-2004, sebuah prestasi yang mengesankan untuk seorang gelandang. Setelah meninggalkan klub pada tahun 2005 pada usia 26 tahun, Karimi pindah ke Eropa untuk bermain di Bayern Munich. Di klub tersebut, ia meraih kesuksesan relatif dengan memenangkan Bundesliga dan DFB-Pokal pada musim 2005-2006. Di akhir karirnya, ia kembali bergabung dengan mantan pelatihnya Felix Magath dan memenangkan Piala Jerman kedua dengan Schalke 04. Karimi mengakhiri karir bermainnya di Iran dengan Persepolis dan Tractor Sazi, dan dengan klub terakhir tersebut ia memenangkan Hazfi Cup pada musim terakhir kariernya.
Di sepak bola internasional, Karimi melakukan debutnya untuk Iran pada tanggal 13 Oktober 1998, pada usia 19 tahun. Ia melakukan total 127 penampilan dalam karirnya, tampil dalam lima turnamen besar, termasuk Asian Games 1998, Piala Asia 2000, 2004, dan 2007, serta Piala Dunia FIFA 2006. Terkenal dengan kemampuan menguasai bola, dribel, dan kemampuan mencetak gol, ia sering disebut sebagai Maradona Asia dan The Magician. Dalam video yang memperkenalkan tim nasional sepak bola Iran dalam Piala Dunia 2018 oleh FIFA, ia digambarkan sebagai "Salah satu dari dua pemain terbaik dalam sejarah sepak bola Iran". Ia dianggap sebagai salah satu pemain sepak bola Asia terbaik sepanjang masa. Pada tahun 2017, AFC menobatkan Karimi sebagai "salah satu ikon sejarah sepak bola Asia". Karimi dikenal sebagai salah satu atlet paling populer dalam sejarah Iran. Pada bulan April 2015, ia diakui sebagai pemain sepak bola paling populer Iran (dari tahun 1991 hingga 2015) dalam sebuah jajak pendapat oleh program televisi Navad.