 
            Koo memulai karir sepak bola pada usia sepuluh tahun ketika sebuah sekolah dasar di dekatnya membuka klub sepak bola. Selama karir muda awalnya, dia lebih sering bermain sebagai bek, terutama sebagai pemain sweeper. Namun, dia tidak terlalu menonjol dan fakta bahwa dia menderita anemia juga menghambatnya untuk mendapatkan perhatian. Pada tahun 2006, sebagai anggota Boin High School, Koo berpartisipasi dalam Kompetisi Sepak Bola Sekolah Menengah Baekrok yang diadakan setiap tahun di Pulau Jeju. Dengan penampilan yang luar biasa, dia berhasil membawa Boin High School menjadi runner-up dan menarik perhatian Jung Hae-seong, yang saat itu menjadi manajer Jeju United.
Pada tahun 2007, Koo dipilih oleh Jeju United dalam draft K League. Dia kesulitan untuk membuat kesan dalam dua tahun pertamanya di Jeju karena sering mengalami cedera. Namun, dia perlahan-lahan mulai masuk ke tim utama, terutama bermain sebagai gelandang bertahan. Pada Januari 2010, dia dikabarkan diundang oleh Blackburn Rovers untuk mengikuti uji coba, tetapi transfer tersebut tidak terjadi. Dia menghabiskan musim yang hebat pada tahun 2010 di Jeju, membawa klubnya mencapai posisi runner-up yang belum pernah terjadi sebelumnya. Kontribusinya juga membuatnya meraih penghargaan pribadi seperti Top Assists Award, FANtastic Player Award, dan Best XI.
Pada 30 Januari 2011, Koo berhasil pindah ke VfL Wolfsburg selama jendela transfer musim dingin, dengan menandatangani kontrak selama tiga setengah tahun dengan biaya yang tidak diungkapkan. Pada 12 Februari 2011, Koo melakukan debutnya bersama Wolfsburg melawan Hamburger SV, masuk sebagai pemain pengganti pada menit ke-64 dalam kekalahan kandang 1-0. Namun, dia mengalami kesulitan bersaing untuk mendapatkan tempat di starting line-up selama setahun.
Pada 31 Januari 2012, dia dipinjamkan ke klub pesaing liga, FC Augsburg. Pada 18 Februari, dia mencetak gol penyama kedudukan dari luar kotak penalti, tetapi Augsburg kalah 4-1 dari Bayer Leverkusen. Pada 17 Maret, dia mencetak gol penyama kedudukan dengan lob dari luar kotak penalti, dan golnya berkontribusi pada kemenangan 2-1 melawan Mainz 05. Pada 24 Maret, dia memberikan assist untuk gol penyama kedudukan, membawa timnya bermain imbang 1-1 melawan Werder Bremen. Pada 31 Maret, dia mencetak gol pembuka dengan tembakan rendah dari luar kotak penalti, berkontribusi pada kemenangan 2-1 melawan 1. FC Köln. Pada 7 April, dia mencetak gol penyama kedudukan melalui kaki Manuel Neuer, tetapi golnya tidak dapat mencegah kekalahan 2-1 dari Bayern Munich. Pada 5 Mei, dia mencetak gol kemenangan dengan sundulan dalam kemenangan 1-0 melawan Hamburger SV. Selama masa peminjamannya, dia mencetak lima gol dan memberikan dua assist dalam 15 penampilan, menjadi pencetak gol terbanyak Augsburg, meskipun hanya bermain setengah musim untuk mereka. Dia berperan penting dalam membantu Augsburg lolos dari degradasi dalam musim debut mereka di Bundesliga. Di musim keduanya di Augsburg, Koo sering mengalami cedera, tetapi tetap membantu klubnya bertahan dari degradasi dalam jumlah pertandingan yang terbatas. Dalam pertandingan DFB-Pokal, dia terlibat dalam insiden dengan gelandang Bayern Munich, Franck Ribéry. Setelah tendangan bebas yang diperselisihkan, dia menghadapi Ribéry dan menyentuh wajahnya, sebagai respons, Ribéry menampar Koo. Wasit Thorsten Kinhöfer memberikan kartu kuning kepada Koo dan mengusir Ribéry. Direktur Bayern Munich, Karl-Heinz Rummenigge, menuntut agar pengusiran itu dibatalkan, sementara pelatih Bayern, Jupp Heynckes, menyalahkan Koo dan Ribéry, menyatakan bahwa meskipun Koo telah memprovokasi Ribéry, Ribéry seharusnya belajar untuk tidak merespons dengan kekerasan.