Di masa mudanya, Djohar juga pernah menjadi pemain sepak bola dan wasit sepak bola tingkat nasional. Ia dipilih sebagai ketua PSSI dalam kongres luar biasa PSSI pada tanggal 9 Juli 2011 di Surakarta.
Karir sepak bola Djohar dimulai sebagai pemain untuk PSL Langkat pada periode 1968 hingga 1969. Karirnya kemudian berlanjut ke level yang lebih tinggi di negara ini, PSMS Medan dari tahun 1973 hingga 1976. Setelah pensiun, ia menjadi wasit sepak bola, baik untuk tingkat nasional maupun internasional dari tahun 1976 hingga 1987. Ia juga menjadi inspektur pertandingan sepak bola nasional.
Pada tahun 2000, ia bekerja dengan cabang PSSI Wilayah Sumatera Utara. Pada tahun 2003, ia menjadi sekretaris jenderal KONI. Pada tahun 2011, Djohar dipilih menjadi ketua PSSI sebagai hasil dari kongres luar biasa PSSI di Surakarta.
Masa jabatannya di PSSI ditandai dengan tuduhan pada akhir tahun 2011, ketika liga baru bernama IPL (Indonesian Premier League) dibentuk untuk menggantikan ISL (Indonesia Super League) yang dibuat oleh rezim sebelumnya sebagai liga teratas. Hal ini dikenal sebagai dualisme sepak bola Indonesia di mana dua liga yang berbeda bersaing sebagai liga teratas dan tidak mengakui satu sama lain. Asosiasi sepak bola ilegal yang memberontak bernama Komite Penyelamat Sepak Bola Indonesia (KPSI), yang dipimpin oleh La Nyalla Mattalitti dan diisi oleh sebagian besar orang dari rezim sebelumnya, berhasil mengancam sebagian besar pemain tim nasional, yang bermain di ISL yang kini dikelola KPSI, untuk menjauh dari tim nasional yang diakui FIFA. Mereka bahkan membuat "tim nasional" mereka sendiri, bermain dalam beberapa pertandingan persahabatan melawan tim amatir di Australia. Tim ini diisi dengan pemain-pemain ISL, seperti Cristian Gonzáles, Firman Utina, dan mantan kapten nasional Ponaryo Astaman, dan dilatih oleh mantan pelatih nasional Alfred Riedl. Hal ini memaksa PSSI mengganti semua pemain senior di tim nasional dengan pemain dari IPL. PSSI mengirim tim nasional yang baru dibentuk ke Riffa untuk menghadapi tim nasional Bahrain dalam kualifikasi Piala Dunia 2014 pada tanggal 29 Februari 2012, hanya untuk kalah dengan skor 0-10. Ini adalah kekalahan terburuk bagi tim nasional sepak bola Indonesia sejak penampilan internasional pertama tim pada tahun 1934.
Alasan yang sama memaksa tim untuk diisi oleh sebagian besar pemain non-ISL selama Kejuaraan AFF 2012. Hanya satu pemain ISL yang menerima panggilan tim nasional. Dia adalah mantan kapten nasional Bambang Pamungkas, yang ingin menandai turnamen ini sebagai yang terakhir bagi tim nasional. Meskipun tereliminasi di babak grup dan mencatat rekor terburuk mereka dalam Kejuaraan AFF - terutama karena hasil imbang melawan Laos, yang biasanya dikalahkan oleh Indonesia - mereka berhasil mencatat kemenangan pertama mereka dalam Kejuaraan AFF melawan Singapura dengan satu gol dari Andik Vermansyah. Singapura kemudian akan memenangkan gelar Kejuaraan AFF keempat mereka dalam turnamen tersebut.
Saat ini, Djohar mencalonkan diri sebagai anggota Dewan Perwakilan Rakyat sebagai kandidat di daerah Sumatera Utara II dengan partai oposisi utama Gerindra.
Follow