Karir kepelatihan Ballardini dimulai sebagai pelatih tim junior Bologna, dan kemudian Cesena dan A.C. Milan. Ia kemudian bekerja sebagai pelatih tim junior Parma dari tahun 2002 hingga 2004. Ia kemudian ditunjuk oleh Sambenedettese sebagai pelatih kepala baru untuk musim 2004-2005, yang berakhir dengan tempat keempat yang mengesankan dan partisipasi dalam playoff promosi, namun kalah dari Napoli di babak semifinal. Ia kemudian dipilih oleh Massimo Cellino sebagai pelatih kepala baru Cagliari untuk musim Serie A 2005-2006 mereka, namun dipecat hanya beberapa minggu setelah itu, pada tanggal 11 November, dan digantikan oleh Nedo Sonetti. Ballardini memulai musim 2006-2007 sebagai pelatih kepala tim Serie B Pescara, di mana ia hanya bertahan hingga bulan Oktober, setelah awal yang sangat buruk di liga. Ia secara mengejutkan diumumkan sebagai pelatih baru tim Serie A terakhir Cagliari pada tanggal 27 Desember 2007, menggantikan Sonetti, yang ironisnya menggantikannya selama periode pertamanya sebagai pelatih tim Sardinia. Di bawah kepemimpinannya sebagai pelatih kepala, Cagliari secara dramatis meningkatkan hasil mereka, memenangkan 32 poin dalam 21 minggu, sehingga naik ke atas tabel dan berhasil lolos dari degradasi sebelum waktu yang ditentukan. Namun, Ballardini gagal mencapai kesepakatan dengan ketua Cagliari Massimo Cellino untuk perpanjangan kontrak, dan mereka akhirnya memutuskan untuk berpisah pada tanggal 28 Mei.
Pada tanggal 4 September 2008, Palermo mengumumkan bahwa mereka telah memberhentikan pelatih kepala Stefano Colantuono, dan mengangkat Ballardini sebagai pelatih kepala baru Rosanero dengan kontrak satu tahun. Dalam pertandingan debutnya bersama Palermo, Ballardini membawa tim Sisilia itu meraih kemenangan kandang yang sangat mengesankan 3-1 atas A.S. Roma, dan kemudian berhasil memimpin kekalahan pertama Juventus musim itu, dengan skor 2-1 di Turin, ini menjadi kali pertama Palermo menang di kandang Juventus dalam 47 tahun. Kemampuannya dalam memulihkan Palermo, membawa mereka ke posisi teratas liga, cepat mendapat pujian dari media. Pada tanggal 7 Oktober, hanya dua hari setelah kemenangan Rosanero di Turin, Palermo mengumumkan telah sepakat memperpanjang kontrak dua tahun dengan Ballardini. Setelah beberapa minggu rumor mengenai kemungkinan kepergian Ballardini dari Palermo pada akhir musim, pada tanggal 30 Mei pelatih kepala Rosanero tersebut mengumumkan bahwa ia telah setuju selama 10 hari untuk memberikan jawaban yang pasti kepada klub mengenai niatnya. Kemudian pada hari yang sama, ketua Palermo Maurizio Zamparini mengumumkan bahwa Ballardini meminta untuk dibebaskan dari posisinya karena tidak ingin terus melayani sebagai pelatih kepala Palermo. Beberapa hari kemudian, pada tanggal 5 Juni, Palermo mengumumkan Walter Zenga sebagai pelatih kepala baru, sehingga mengakhiri spekulasi mengenai masa depan Ballardini bersama Rosanero. Meskipun dipecat sebagai pelatih kepala setelah peristiwa ini, Ballardini masih memiliki kontrak selama dua tahun lagi dengan klub Sisilia tersebut.
Akhirnya, setelah rumor yang lama menghubungkan nama Ballardini sebagai pelatih Lazio berikutnya setelah kepergian Delio Rossi, ia diangkat sebagai manajer baru klub Roma pada tanggal 15 Juni 2009. Ia menandatangani kontrak dua tahun dengan opsi perpanjangan satu tahun senilai €750.000 per tahun. Pada pertandingan kompetitif pertamanya sebagai pelatih kepala Lazio, Ballardini membawa klub meraih kemenangan dalam Supercoppa Italiana 2009, saat timnya menang 2-1 atas juara Italia yang sedang mundur, Inter, dalam pertandingan satu leg yang dimainkan di Stadion Nasional Beijing, China. Namun, Ballardini tidak berhasil mengulangi kemenangan ini di level Serie A dan gagal lolos ke babak gugur Liga Europa 2009-2010. Kemudian, pada bulan Januari dan Februari, beberapa hasil yang mengecewakan membuat Lazio berada di peringkat ke-18, dalam bahaya terdegradasi, sehingga ketua klub Claudio Lotito memecat Ballardini dan menunjuk Edy Reja sebagai pelatih kepala baru.
Pada tanggal 8 November 2010, Ballardini kembali ke dunia kepelatihan, menerima tawaran sebagai pelatih kepala h