Mehmedi pindah ke Swiss bersama keluarganya pada usia 2 tahun dan segera bergabung dengan klub lokal Bellinzona sebelum kemudian bergabung dengan FC Winterthur, di mana ia kemudian diincar oleh Zürich. Pada tahun 2006, ia pindah ke Zürich dan melalui sistem pemuda klub tersebut sebelum akhirnya bergabung dengan tim senior pada tahun 2008.

Karier klub Mehmedi dimulai di FC Zürich pada usia 17 tahun. Dalam waktu dua tahun, ia sudah termasuk dalam skuad tim utama dan pada tahun 2010, ia menjadi pemain reguler dalam tim utama. Mehmedi melakukan debutnya di tim senior pada tanggal 20 Juli 2008 dan mencetak dua gol dalam sebelas penampilan, serta memenangkan Swiss Super League pada musim debutnya bersama klub tersebut. Selama bermain di Zürich, Mehmedi mencetak sembilan belas gol dan memberikan sembilan assist.

Pada jendela transfer Januari 2012, Mehmedi pindah ke Dynamo Kyiv. Namun, ia lebih sering bermain sebagai pemain pengganti selama musim dan setengah bersama Kyiv. Untuk mendapatkan lebih banyak waktu bermain dan masuk kembali ke tim nasional Swiss, Mehmedi pindah ke tim Bundesliga, SC Freiburg, pada tahun 2013. Pada tanggal 26 Mei 2014, Freiburg memutuskan untuk membeli Mehmedi dengan harga €6 juta setelah ia tampil baik dengan mencetak 12 gol dalam 32 pertandingan selama masa pinjamannya di tim Bundesliga tersebut.

Setelah Freiburg terdegradasi dari Bundesliga, Mehmedi bergabung dengan Bayer Leverkusen pada tanggal 11 Juni 2015. Pada tanggal 31 Januari 2018, ia kemudian pindah ke VfL Wolfsburg dengan kontrak empat tahun seharga €8 juta. Pada tanggal 14 Januari 2022, Mehmedi bergabung dengan klub Turki, Antalyaspor, dan pada akhir musim 2022-2023, ia memutuskan untuk mengakhiri karir profesionalnya dengan alasan ingin lebih banyak menghabiskan waktu bersama keluarganya dan mengejar karir kepelatihan.

Mehmedi juga telah mewakili Swiss dalam berbagai tingkatan. Ia menjadi anggota penting dari tim U-21 Swiss dalam Kejuaraan Sepak Bola Eropa U-21 UEFA 2011 dan menerima sepatu perak dengan mencetak tiga gol dalam turnamen tersebut. Ia juga terpilih dalam Tim Terbaik Turnamen. Mehmedi juga bermain untuk tim nasional Swiss senior, membuat debutnya melawan Inggris dalam pertandingan kualifikasi UEFA Euro 2012. Ia mencetak gol pertamanya untuk Swiss dalam kemenangan 5-3 atas Jerman. Pada tanggal 15 Juni 2014, ia mencetak gol penyama kedudukan dalam pertandingan pembuka Piala Dunia FIFA 2014 melawan Ekuador yang berakhir dengan kemenangan 2-1 bagi Swiss.