Ramage lahir di Ashington, Inggris, dan merupakan putra dari Iain Ramage, mantan pemain rugby semi-profesional dan wasit internasional SRU, yang pernah menjadi asisten wasit pada Piala Dunia 1999 dan 2003. Ia tumbuh di Berwick-upon-Tweed, Inggris, namun pindah ke daerah Newcastle pada usia dua belas tahun dan bersekolah di Valley Gardens Middle School dan Whitley Bay High School. Sebagai seorang anak, Ramage bermain untuk Cramlington Juniors, klub sepak bola lokal, sebelum kemudian bergabung dengan akademi Newcastle United, di mana ia bermain bersama teman sekolahnya di Valley Gardens, Steven Taylor. Ramage juga tumbuh dengan mendukung Newcastle United. Ia menikah dengan Tanisha dan memiliki dua anak.
Di Newcastle United, Ramage bermain di tim remaja yang sama dengan Taylor, Michael Chopra, dan Adam Rundle di bawah arahan Alan Irvine, sebelum kemudian dilatih oleh mantan pemain Newcastle, Kenny Wharton dan Peter Beardsley. Ia kemudian berpasangan dengan Taylor di lini pertahanan tengah ketika mereka naik ke tim utama. Di tim cadangan, Ramage dilatih oleh mantan pemain Newcastle lainnya, Tommy Craig. Pada Maret 2003, Ramage memenangkan Jackie Milburn Trophy, penghargaan yang diberikan setiap tahun kepada bintang muda sepak bola di wilayah utara Inggris. Ia naik melalui sistem pemuda Newcastle dan menjadi kapten tim cadangan sebelum akhirnya masuk ke skuad tim utama. Ramage melakukan debutnya di tim utama sebagai pemain pengganti dalam pertandingan leg kedua babak 16 besar UEFA Cup melawan Olympiacos pada 16 Maret 2005, yang dimenangkan oleh Newcastle dengan skor 4-0, sehingga klub melaju ke babak selanjutnya dengan agregat 7-1. Pertandingan liga pertamanya dimainkan di Old Trafford dalam kekalahan 2-1 melawan Manchester United pada 24 April 2005. Ia kemudian mendapatkan beberapa kesempatan bermain di tim utama akibat cedera pemain belakang lainnya di skuad Newcastle. Pada akhir musim 2004-2005, Ramage tampil sebanyak lima kali di semua kompetisi. Pada 1 Juni 2005, ia menandatangani kontrak tiga tahun dengan klub tersebut, yang membuatnya bertahan hingga tahun 2008. Pada awal musim 2005-2006, Ramage tidak masuk dalam starting eleven Newcastle United dalam dua bulan pertama musim tersebut. Ia melakukan penampilan pertamanya di musim tersebut dalam pertandingan melawan rival, Sunderland, pada 23 Oktober 2005, dan membantu klub meraih kemenangan dengan skor 3-2.