Perjalanan karier Ahmad Sembiring Usman dimulai pada tahun 2006 saat ia bergabung dengan Persipur Purwodadi. Setahun kemudian, ia pindah ke Persiter Ternate sebelum akhirnya bergabung dengan Arema Malang pada tahun 2008. Di Arema Malang, ia bermain selama dua musim sebelum pindah ke Persisam Samarinda pada tahun 2009. Ahmad Sembiring Usman kemudian kembali ke Persiba Balikpapan pada tahun 2011 sebelum bergabung dengan PS Barito Putera pada tahun 2012. Pada tahun 2014, ia kembali ke Persiba Balikpapan dan masih bermain untuk klub tersebut hingga saat ini.
Salah satu momen penting dalam karier Ahmad Sembiring Usman adalah ketika ia bermain untuk Persiba Balikpapan. Ketenangan dan akurasi tendangannya kepada rekan satu tim membuat pelatih Barito, Salahuddin, tertarik untuk mendatangkan Ahmad Sembiring Usman ke Barito Putera. Pelatih yang sukses mengantarkan Barito juara Divisi Utama 2011-2012 tersebut berminat untuk memperkuat Laskar Antasari di Liga Super Indonesia 2013 yang dilaksanakan pada bulan Januari 2013.