Ibunya bernama Raudhah, seorang wanita kaya yang berasal dari keluarga Pesantren Sidoresmo Wonokromo Surabaya. Ayahnya bernama KH. Mas Achmad Marzoeqi, seorang pionir Islam, ahli agama yang terkenal di Jawa Timur pada masanya. Dia berasal dari keturunan bangsawan Astatinggi Sumenep, Madura. Dia dikenal sebagai imam tetap dan khatib di Masjid Ampel, suatu jabatan terhormat pada saat itu.
Nyantri pada Kyai Kholil Bangkalan
Masa kecilnya dilalui dengan belajar agama pada ayahnya sendiri. Di samping itu, dia juga belajar di Pesantren Sidoresmo, dengan Kiai Muhammad Thaha sebagai gurunya. Pada tahun 1906, ketika Mas Mansur berusia sepuluh tahun, dia dikirim oleh ayahnya ke Pondok Pesantren Demangan, Bangkalan, Madura. Di sana, dia mengkaji Al-Qur’an dan mendalami kitab Alfiyah ibn Malik kepada Kiai Khalil. Belum lama dia belajar di sana kurang lebih dua tahun, Kia Khalil meninggal dunia, sehingga Mas Mansur meninggalkan pesantren itu dan pulang ke Surabaya.
Belajar di Mekkah dan Mesir
Sepulang dari Pondok Pesantren Demangan pada tahun 1908, oleh orang tuanya disarankan untuk menunaikan ibadah haji dan belajar di Makkah pada Kiai Mahfudz yang berasal dari Pondok Pesantren Termas Pacitan Jawa Timur. Setelah kurang lebih empat tahun belajar di sana, situasi politik di Saudi memaksanya pindah ke Mesir. Penguasa Arab Saudi, Syarif Hussen, mengeluarkan instruksi bahwa orang asing harus meninggalkan Makkah supaya tidak terlibat sengketa itu. Pada mulanya ayah Mas Mansoer tidak mengizinkannya ke Mesir, karena citra Mesir (Kairo) saat itu kurang baik di mata ayahnya, yaitu sebagai tempat bersenang-senang dan maksiat. Meskipun demikian, Mas Mansoer tetap melaksanakan keinginannya tanpa izin orang tuanya. Kepahitan dan kesulitan hidup karena tidak mendapatkan kiriman uang dari orang tuanya untuk biaya sekolah dan biaya hidup harus dijalaninya. Oleh karena itu, dia sering berpuasa Senin dan Kamis dan mendapatkan uang dan makanan dari masjid-masjid. Keadaan ini berlangsung kurang lebih satu tahun, dan setelah itu orang tuanya kembali mengiriminya dana untuk belajar di Mesir.
