Valdivia lahir di Maracay, Venezuela pada tahun 1983 dari pasangan orang tua Chile, Luis Valdivia dan Elizabeth Toro. Ayahnya bekerja sebagai koresponden untuk maskapai penerbangan LAN, yang ia lakukan sejak tahun 1974. Pada tahun 1985, keluarga Valdivia kembali ke tanah air mereka dan menetap di komune La Florida, Santiago. Kemungkinan karena tahun-tahun yang dihabiskan di Venezuela, Valdivia tertarik pada olahraga bisbol. Setelah pindah ke Chili, ia mengembangkan minatnya pada sepak bola.
Valdivia bergabung dengan akademi sepak bola Colo-Colo pada tahun 1993. Ia dipromosikan ke tim utama pada tahun 2003, saat berusia sembilan belas tahun. Namun, ia merasa tidak termotivasi oleh rekan-rekannya, seperti kapten Marcelo Espina, dan perilakunya di luar lapangan.
Setelah tidak mendapatkan tempat di tim utama Colo-Colo, Valdivia dipinjamkan ke Universidad de Concepción, klub lain di Liga Primera División Chile. Ia melakukan debut profesionalnya untuk Concepción pada tanggal 16 Maret 2003, masuk sebagai pemain pengganti pada paruh kedua pertandingan yang berakhir dengan kekalahan 2-1 saat melawan Cobresal. Pada pertandingan pertamanya sebagai starter pada tanggal 6 April, ia mencetak gol terakhir dalam kemenangan 3-1 saat melawan Unión Española. Setelah pertandingan tersebut, Valdivia menjadi pemain inti yang tak terbantahkan bagi klub tersebut, dengan sumbangsih gol pembuka dalam kemenangan 4-3 saat melawan Universidad de Chile pada tanggal 16 Juni. Pada musim pertamanya di Concepción, ia mencetak tujuh gol dalam 30 pertandingan.
Setelah itu, Valdivia kembali dipinjamkan, kali ini ke klub Segunda División, Rayo Vallecano, di mana ia hanya bermain lima pertandingan dan tidak berhasil mencetak gol. Setelah masa pinjaman di klub Swiss, Servette, Valdivia hampir bergabung dengan Boca Juniors yang bersedia membayar 1,5 juta dolar AS untuknya, namun pembicaraan tentang transfer tersebut tidak berhasil dan akhirnya ia kembali ke Colo-Colo.
Pada tahun 2005, ia kembali ke Colo-Colo. Pada tahun yang sama, ia juga mengejar karier jurnalistik di Universitas Amerika, namun tidak berhasil menyelesaikannya. Kemudian, pada tahun 2006, Valdivia membantu klubnya meraih gelar Torneo Apertura.