Gus Yahya sendiri sedari kecil belajar di Pesantren, bermula dari Pendidikan formal di Pesantren Raudlatut Tholibin Rembang, Jawa Tengah. Lalu berlanjut ke Pondok Pesantren KH Ali Maksum di Krapyak, Yogyakarta. Saat itu ia juga kuliah di Fisipol Universitas Gajah Mada (UGM) Yogyakarta.
Selama masa kuliah, Gus Yahya aktif di organisasi Himpunan Mahasiswa Islam (HMI) Cabang Yogyakarta. Kakak kandung Menteri Agama Yaqut Cholil Qoumas itu sempat bermukim selama setahun di Mekkah, Arab Saudi untuk mengaji.
Gus Yahya dikenal dekat dengan Gus Dur. Dirinya pernah ditunjuk menjadi Juru Bicara Presiden sewaktu Gus Dur berkuasa pada 1999-2001.
Setelah itu, Gus Yahya sempat aktif di PKB, tapi kemudian memilih lebih menekuni bidang pendidikan. Mantan Anggota Dewan Pertimbangan Presiden (Wantimpres) 2014-2019 ini kerap menjadi pembicara internasional di luar negeri.
Seperti pada Juni 2018, Gus Yahya menjadi pembicara dalam forum American Jewish Committee (AJC) di Israel menyuarakan menyerukan konsep rahmat, sebagai solusi bagi konflik dunia, termasuk konflik yang disebabkan agama.