Sewaktu Jepang masuk Indonesia, dia pulang ke Malang. Sejak itu, mulai aktif di organisasi kepemudaan Ansor. Bahkan, menjadi Ketua GP Ansor Cabang Malang, menjadi Komandan Laskar Sabilillah di Malang pada 1949, dan sempat menjadi tangan kanan KH Masykur, Panglima Sabilillah