Karier klub Austin dimulai di liga non-profesional. Austin lahir di Hungerford, Berkshire, dan ia berlatih dengan tim muda Reading saat masih muda. Namun, ia dilepas karena dianggap terlalu kecil. Setelah itu, Austin bermain untuk tim lokal Kintbury Rangers dan tim kota kelahirannya, Hungerford Town. Pada tahun 2008, Austin pindah ke Poole Town, tim semi-profesional di Wessex League Premier Division, sambil bekerja sebagai tukang batu. Pada musim 2008-2009, Austin mencetak 46 gol dalam 46 penampilan untuk Poole di semua kompetisi. Pada awal musim 2009-2010, Austin mencetak 18 gol dalam 11 pertandingan.
Pada bulan September 2009, Austin mendapatkan kesempatan untuk mencoba di Swindon Town setelah kepala pencari bakat Swindon Town, Ken Ryder, "menemukan Charlie bermain untuk Poole Town... dan ia mencetak empat gol... dan pada minggu berikutnya ia mencetak tiga atau empat gol." Setelah ditonton dalam tiga pertandingan oleh tim pencari bakat Swindon Town, Austin diminta untuk mencoba selama seminggu di Swindon Town. Austin tampil impresif dalam pertandingan uji coba pertamanya melawan Swansea dan mencetak hat-trick. Setelah itu, ia ditandatangani oleh Danny Wilson dengan biaya yang tidak diungkapkan dan diberikan kontrak hingga akhir musim. Austin melakukan debutnya untuk Swindon Town pada tanggal 6 Oktober dalam pertandingan imbang 1-1 melawan Exeter di Football League Trophy 2009-2010, menggantikan Ben Hutchinson sebagai pemain pengganti di menit ke-88. Austin melakukan debutnya di Football League saat masuk sebagai pemain pengganti di menit ke-70 dalam pertandingan melawan Norwich City pada tanggal 24 Oktober 2009, dan pada tanggal 21 November 2009, ia mencetak gol profesional pertamanya hanya dalam tiga menit setelah memulai pertandingan melawan Carlisle United. Ia kembali mencetak gol pada debutnya di kandang tiga hari kemudian melawan Huddersfield Town, mencetak gol kemenangan pada menit ke-59 untuk kemenangan 2-1. Setelah membentuk kemitraan serangan yang sukses dengan Billy Paynter dan mencetak 10 gol dalam 11 penampilan sebagai starter, Austin diberi kontrak tambahan selama dua setengah tahun oleh klub pada bulan Februari 2010. Pada tanggal 14 Mei 2010, Austin mencetak gol pertama saat Swindon unggul tipis 2-1 dalam leg pertama semifinal play-off League One melawan Charlton Athletic. Pada leg kedua di Charlton, Swindon melaju ke final di Wembley setelah adu penalti di mana Austin mencetak gol. Namun, Swindon kalah 1-0 dari Millwall dalam final; Austin mendapatkan peluang untuk menyamakan kedudukan pada menit ke-72, namun tembakannya melebar setelah bola berubah arah di permukaan lapangan Wembley saat ia menendang bola. Pada akhir musim pertamanya sebagai pemain profesional, Austin mencetak 20 gol dalam 32 penampilan. Meskipun mengalami cedera bahu pada bulan September, Austin mencetak 17 gol dalam 27 pertandingan pada awal musim 2010-2011. Performanya membuatnya mendapatkan panggilan ke tim nasional Inggris.