Packwood lahir di Concord, Massachusetts, dari ayah Inggris dan ibu Amerika. Sebelum pindah ke Inggris pada Agustus 2007, ia mengenyam pendidikan di Nashoba Brooks School dan Fenn School, dan kemudian melanjutkan pendidikannya di Bromsgrove School di Inggris.
Karir klub Packwood dimulai ketika ia bergabung dengan akademi Birmingham City pada Agustus 2007, pada usia 14 tahun. Ia kemudian naik tingkat melalui tim akademi, bermain untuk U18 dan Reserves bahkan ketika masih menjadi siswa sekolah, dan akhirnya menjadi kapten U18 pada musim 2010-2011. Pada bulan Juli 2011, Packwood menandatangani kontrak profesional pertamanya, kontrak dua tahun yang berakhir pada Juli 2013. Ketika Stephen Carr dan Jonathan Spector absen karena cedera, Packwood melakukan debut di tim utama pada 14 Agustus 2012, bermain sebagai bek kanan dalam pertandingan Piala Liga melawan Barnet. Ia tetap bermain dalam pertandingan pembuka musim 2012-2013 Kejuaraan Liga Inggris, yang berakhir imbang 1-1 melawan Charlton Athletic. Namun, Packwood harus ditarik keluar lapangan setelah menderita patah tulang tibia dan fibula saat melakukan duel udara yang tampaknya tidak berbahaya dalam pertandingan Piala FA melawan Leeds United pada 5 Januari 2013. Ia menjalani dua prosedur operasi dalam beberapa hari setelah cedera, dan waktu pemulihannya diperkirakan antara sembilan hingga dua belas bulan. Meskipun cedera, kontrak Packwood diperpanjang selama satu tahun tambahan, hingga musim panas 2014. Packwood kembali bermain setelah kurang dari delapan bulan absen, bermain setengah pertama dalam pertandingan Liga Pengembangan Profesional Birmingham pada 26 Agustus. Ia beberapa kali bermain untuk tim pengembangan, dan pada 17 Oktober ia dipinjamkan ke klub Liga Dua Bristol Rovers selama sebulan untuk meningkatkan kebugarannya. Debutnya dilakukan dua hari kemudian, dan ia menjadi pemain terbaik dalam kekalahan 0-1 di kandang melawan Wycombe Wanderers. Setelah empat pertandingan, pinjaman tersebut diperpanjang hingga 11 Januari 2014, dengan syarat bahwa ia dapat dipanggil kembali dalam waktu 24 jam. Ia bermain empat pertandingan lagi sebelum Birmingham kehilangan bek kiri Mitch Hancox karena cedera, dan dengan bek lainnya Paul Robinson dan Dan Burn mendekati kemungkinan skorsing, Packwood dipanggil kembali pada 11 Desember. Ia kembali ke tim utama Birmingham pada 25 Januari, menjadi pemain terbaik dalam kekalahan 1-2 di kandang melawan Swansea City dalam putaran keempat Piala FA. Ia menjadi pemain reguler di posisi bek tengah, dan penampilannya membuatnya meraih penghargaan Pemain Muda Bulanan Liga Inggris pada Februari 2014. Pada 26 Juni 2014, Packwood menandatangani kontrak baru selama satu tahun dengan opsi perpanjangan satu tahun lagi. Penampilan terakhirnya di tim utama Birmingham terjadi pada 30 September dalam kemenangan 3-1 tandang melawan Millwall. Setelah itu, ia dipinjamkan ke klub Liga Satu Colchester United pada 24 November hingga 1 Januari 2015. Ia langsung menjadi pemain inti dalam pertandingan melawan Milton Keynes Dons, namun ia diusir keluar lapangan karena melakukan pelanggaran.