Selain berkarir di klub, Olsson juga telah menjadi pemain internasional penuh untuk Swedia sejak tahun 2010. Ia telah memenangkan lebih dari 50 caps untuk tim nasional Swedia dan mewakili negaranya di UEFA Euro 2012, 2016, dan Piala Dunia FIFA 2018.
Di Blackburn Rovers, Olsson memulai debutnya di UEFA Cup pada musim 2007-2008 sebagai pengganti Stephen Warnock. Debutnya di Premier League terjadi pada pertandingan melawan Derby County pada 30 Desember 2007. Pada musim tersebut, ia dinobatkan sebagai Pemain Muda Terbaik Blackburn Rovers. Olsson mencetak gol pertamanya untuk klub pada 24 September 2008 dalam pertandingan Piala Liga melawan Everton. Pada Januari 2010, ia mencetak gol spektakuler dengan tendangan overhead dalam kekalahan 4-6 melawan Aston Villa di babak semifinal Piala Liga.
Pada Juni 2010, Olsson menandatangani kontrak baru selama lima tahun dengan Blackburn Rovers. Ia terus bermain untuk klub tersebut hingga musim 2014-2015. Selama bermain untuk Blackburn Rovers, Olsson mencatatkan 32 penampilan dan mencetak dua gol.
Karir klub Olsson selanjutnya meliputi periode di Norwich City dan Swansea City sebelum kembali ke Swedia. Dalam perjalanan kariernya, Olsson telah menunjukkan kemampuan yang luar biasa sebagai bek kiri yang andal dan telah menjadi salah satu pemain kunci bagi timnas Swedia.