Sekitar 1850-an, ketika usianya menjelang tiga puluh, Kiai Muhammad Khalil belajar kepada Kiai Muhammad Nur di Pondok Pesantren Langitan, Tuban, Jawa Timur. Dari Langitan, ia pindah ke Pondok Pesantren Cangaan, Bangil, Pasuruan, dan Pondok Pesantren Keboncandi. Selama belajar di pondok-pesantren ini, ia belajar pula kepada Kiai Nur Hasan yang menetap di Sidogiri, 7 kilometer dari Keboncandi.
Saat menjadi santri, Muhammad Khalil telah menghafal beberapa matandan yang ia kuasai dengan baik adalah matan Alfiyah Ibnu Malik yang terdiri dari 1.000 bait mengenai ilmu nahwu. Selain itu, ia adalah seorang hafidz (hafal Alquran) dengan tujuh cara menbacanya (kiraah).
Pada 1276 Hijrah 1859, Kiai Muhammad Khalil melanjutkan pelajarannya ke Makkah. Di sana, ia bersahabat dengan Syekh Nawawi Al-Bantani. Ulama-ulama Melayu di Makkah yang seangkatan dengannya adalah Syekh Nawawi al-Bantani (lahir 1230 Hijrah/1814 Masehi), Syekh Muhammad Zain bin Mustafa al-Fathani (lahir 1233 Hijrah/1817 Masehi), Syekh Abdul Qadir bin Mustafa al-Fathani (lahir 1234 Hijrah/1818 Masehi), dan Kiai Umar bin Muhammad Saleh Semarang.