Pondok Pesantren (Ponpes) Loteng Karangduak (Kelurahan Karangduak) merupakan pesantren tertua. Pondok pesantren yang berdiri di kampung Pasarsore kelurahan Karangduak ini pada masa lampau pernah menjadi pusat jujukan para ‘ulama besar Sumenep. Diceritakan beberapa tokoh kiyai besar Sumenep telah menjejakkan kakinya di pesantren ini demi mengenyam ilmu di situ.