Setelah pensiun sebagai pemain, Allardyce beralih ke dunia manajemen. Ia pertama kali menangani klub Irlandia, Limerick, pada tahun 1991, dan membawa klub tersebut meraih gelar Divisi Pertama Liga Irlandia pada musim 1991-1992. Ia kemudian kembali ke Inggris sebagai pelatih muda di Preston North End, dan juga sempat menjadi manajer sementara. Pada bulan Juli 1994, ia mendapatkan pekerjaan manajemen permanen pertamanya di Inggris bersama Blackpool, tetapi dipecat setelah dua tahun karena gagal mencapai promosi dengan selisih tipis. Ia kemudian menangani Notts County dari Januari 1997 hingga Oktober 1999, dan membawa klub tersebut meraih gelar Divisi Ketiga pada musim 1997-1998. Allardyce kembali ke Bolton Wanderers sebagai manajer, dan membawa klub tersebut promosi dari Divisi Pertama melalui babak play-off pada tahun 2001, serta mencapai final Piala Liga dan lolos ke kompetisi UEFA. Setelah itu, ia menangani Newcastle United dari Mei 2007 hingga Januari 2008, dan Blackburn Rovers selama dua tahun sejak Desember 2008. Pada bulan Juni 2011, ia ditunjuk sebagai manajer West Ham United, dan membawa klub tersebut promosi dari Championship melalui babak play-off pada tahun 2012, sebelum akhirnya meninggalkan West Ham pada bulan Mei 2015 karena mendapat kritik dari para penggemar terkait gaya bermainnya. Pada bulan Oktober 2015, ia ditunjuk sebagai manajer Sunderland dan berhasil menyelamatkan klub dari degradasi. Ia kemudian menjadi manajer tim nasional Inggris untuk periode singkat pada bulan Juli 2016, sebelum akhirnya menangani Crystal Palace lima bulan kemudian. Setelah membantu Palace menghindari degradasi musim itu, ia mengumumkan pengunduran dirinya pada bulan Mei 2017. Sejak itu, ia pernah menangani Everton dari 2017 hingga 2018, West Bromwich Albion dari 2020 hingga 2021, dan Leeds United pada Mei 2023.
Allardyce sering dikritik karena dianggap sebagai manajer yang cenderung menggunakan strategi sepak bola dengan bola panjang oleh beberapa analis, meskipun ia membantah persepsi ini sebagai "benar-benar salah". Ia mengambil pendekatan yang berpusat pada teknologi dan statistik dalam taktik dan pelatihannya, dan dipuji karena keterampilan organisasinya dan kemampuannya dalam manajemen tim.
Allardyce juga pernah dikritik karena dugaan korupsi dan dua kali menjadi subjek investigasi media yang dilakukan secara sembunyi-sembunyi. Pada September 2006, ia dan putranya, Craig, terlibat dalam sebuah dokumenter BBC Panorama yang mengungkapkan adanya suap, tuduhan yang mereka tolak. Pada September 2016, wartawan Daily Telegraph yang menyamar sebagai pengusaha merekam percakapan Allardyce yang menawarkan bantuan untuk menghindari peraturan kepemilikan pihak ketiga oleh FA dan setuju dengan kontrak senilai £400.000. Setelah investigasi Daily Telegraph, Allardyce mengundurkan diri sebagai manajer tim nasional Inggris secara saling setuju dengan Football Association pada tanggal 27 September.