Charles Desmond menikah dengan Helen Ryan, namun sayangnya Helen meninggal pada tahun 1958. Pasangan ini dikaruniai empat orang anak, yaitu Charles Ryan, Sheila (Landon), Kathleen (Hughes), dan Patricia (Williams). Pada Januari 1940, Charles diangkat oleh Gubernur Herbert H. Lehman sebagai hakim Mahkamah Agung New York untuk mengisi kekosongan jabatan. Pada November 1940, ia terpilih sebagai hakim Mahkamah Banding New York melalui tiket Partai Demokrat dan Partai Buruh Amerika, dan terpilih kembali pada tahun 1954 melalui tiket Partai Demokrat, Partai Republik, dan Partai Liberal. Pada tahun 1959, Charles terpilih tanpa lawan sebagai Ketua Mahkamah Banding. Ia pensiun dari jabatannya pada akhir tahun 1966 ketika mencapai batas umur konstitusional 70 tahun.
Setelah pensiun, Charles Desmond tinggal di peternakannya di Eden, New York. Ia kembali berpraktik sebagai pengacara pribadi dan mengajar di Fakultas Hukum University at Buffalo. Charles Desmond meninggal dunia di Mercy Hospital, Buffalo.