Setelah pensiun sebagai pemain, Karanka memulai karir kepelatihannya pada akhir 2000-an. Ia bekerja sebagai asisten manajer di Real Madrid selama masa kepelatihan José Mourinho dari tahun 2010 hingga 2013. Pada tahun 2013, ia ditunjuk sebagai manajer klub Championship, Middlesbrough. Ia berhasil membawa klub tersebut promosi ke Premier League pada tahun 2016 sebelum akhirnya dipecat pada tahun berikutnya.
Selanjutnya, Karanka melatih klub Nottingham Forest dan Birmingham City di Championship sebelum mengambil alih Granada di Spanyol dan Maccabi Tel Aviv di Liga Premier Israel dalam periode singkat.
Sebagai pemain, Karanka bermain untuk Athletic Bilbao dan Real Madrid. Ia memulai karirnya di Athletic Bilbao dan kemudian pindah ke Real Madrid di mana ia tampil sebagai pemain cadangan. Selama bermain di Real Madrid, ia tampil dalam 33 pertandingan Liga Champions, termasuk final edisi 1999-2000 melawan Valencia CF yang dimenangkan Real Madrid dengan skor 3-0. Namun, Karanka melewatkan sebagian besar musim 1998-1999 karena masalah jantung.
Karanka juga pernah bermain untuk tim nasional Spanyol, meskipun hanya satu kali tampil di level senior. Ia bermain pada 26 April 1995 melawan Armenia dalam kualifikasi Euro 1996. Selain itu, ia juga bermain untuk tim U-21 Spanyol dan menjadi bagian dari tim yang menjadi runner-up di Kejuaraan Eropa U-21 1996 dan Olimpiade Musim Panas 1996 di Atlanta.
Sebagai pelatih, Karanka memulai karirnya dengan melatih tim nasional U-16 Spanyol. Pada tahun 2010, ia kembali ke Real Madrid sebagai asisten manajer di bawah kepemimpinan José Mourinho. Namun, ia meninggalkan klub tersebut setelah kedatangan Carlo Ancelotti yang membawa staf kepelatihannya sendiri.
Pada tahun 2013, Karanka ditunjuk sebagai manajer Middlesbrough di Championship, menggantikan Tony Mowbray. Ia berhasil membawa timnya mencapai final play-off setelah kemenangan agregat 5-1 atas Brentford. Namun, ia dipecat setelah musim berikutnya.