Objek wisata ini berada d i atas pegunungan yang bernama Gunung Payudan, tepatnya di Desa Payudan Daleman Kecamatan Guluk-Guluk Kabupaten Sumenep kurang lebih 30 Km ke Arah Barat Kota Sumenep. Bagi masyarakat Sumenep Khususnya, Gua Payudan mempunyai arti penting mengingat gua ini memiliki keterkaitan dengan sejarah raja-raja Sumenep abad 14 sampai 17.
Gua ini tidak hanya bernilai sebuah obyek wisata Alam (goa) saja, tetapi juga mengandung makna religi dan sejarah didalamnya.Goa payudan pada jaman dahulu kala, pada masa kerajaan merupakan tempat bertapa / bersemedi sebagian raja-raja Sumenep. Adapun raja-raja Sumenep yang pernah bertapa di Goa ini adalah:
Potre Koneng, adalah Putri dari Pangeran Soccadiningrat II Raja Sumenep yang berkuasa sekitar tahun 1366 sampai 1386 yang keratonnya pada waktu itu masih berada di Desa Banasare Kecamatan Rubaru. Potre koneng ini mempunyai suami yang juga raja di Sepudi yang bernama Adi Poday sekitar tahun 1399-1415 yang masih cucu dari sunan Ampel Surabaya.
Pangeran Jokotole, adalah Pangeran yang bergelar Pangeran Soccadiningrat III Raja Sumenep pada Tahun 1415-1460. beliau adalah Putra tertua dari Pasangan Potre Koneng dengan Adipoday. Jokotole tidak hanya di kenal di wilayah Madura saja, tetapi sudah keluar Madura seperti Jawa dan Bali. Konon Jokotole merupakan raja yang sangat disegani karena keahlian ilmu kanoragannya. Hal ini terbukti pada jaman kerajaan Majapahit, Jokotole mampu mengalahkan Blambangan yang pada akhirnya di jadikan Menantu raja majapahit yaitu Raja Brawijaya.
Pangeran Jimat, Raja Sumenep tahun 1731-1744, adalah putra Pangeran Rama (Pangeran Cakra Negara II) Ke Lesap, Raja Sumenep tahun 1749-1750, beliau berkuasa hanya sebentar karena tewas terbunuh ketika berperang melawan raja dari bangkalan. Adapun Ke Lesap sendiri adalah keturunan dari Bangkalan. Bindara Saod. CR. Tumenggung Tirtonegoro) Raja Sumenep tahun 1750-1762
Untuk menuju / mengunjungi tempat ini tidak begitu sulit, dari Sumenep naik angkutan umum menuju ganding lalu ganti angkutan menuju Pasean atau batu Ampar, kemudian turun di pertigaan Desa Payudan Daleman. Sedang dari pertigaan bisa menaiki dokar (Andong) atau jalan kaki sekitar 2 Km sampai ke Lokasi Goa.
Tangga naik menuju halaman / pelantaran Goa perlu diberi pagar atau pegangan penyangga untuk mengurangi resiko kecelakaan pada pengunjung. Hal ini penting dan harus segera dilakukan mengingat tangga menuju lokasi sangat berbahaya dan curam dan licin.Goa memiliki tiga lantai; pertama adalah halaman Goa dengan ukuran kurang lebih 27m x 10m, lantai kedua (diatasnya) yaitu berukuran sekitar 35 m2 dan biasa digunakan sebagai ruang tamu (Lobbi); sedangkan lantai diatasnya yaitu lantai ketiga difungsikan untuk Sholat.