Kondisi yang semacam ini memberikan tekanan psikologis kepada para pengembara, jiwa mereka menjadi tertekan dan akhirnya menjadi gila. Fakta ini menunjukkan bahwa jauh sebelum datangnya Andang Taruna diGiliyang telah ditempati oleh beberapa pendatang dari luar, meraka datang dengan berbagai macam alasan, pelarian, tempat singgah para saudagar yang melintasi selat Madura. Realitas historis yang tercatat dalam sejarah Sumenep menunjukkan bahwa abad ke 13 telah banyak orang Cina, Tiongkok, India, dan Bugis Makasar melakukan perniagaan di Madura.
Sebenarnya hubungan perdagangan antara mancanegara telah terjalin pada masa kerajaan Singosari, Majapahit. Arya Wiraraja sebagai penguasa kerajaan Sumenep, telah banyak menjalin kontrak perdagangan dengan saudagar luar Nusantara, jalinan ini terus berlanjut sampai pada pemerintahan adipati selanjutnya. secara geografis selat Madura merupakan jalan utama menjuku selat malaka, oleh karena itu Madura termasuk pelabuhan yang penting dalam proses perniagaan Nusantara.
Setelah Sumenep menyerahkan otoritas politik kekuasaan pada VOC, timbullah beberapa kontrak perdangan yang lebih ekstrim yaitu pemerintah Sumenep harus menajaga keamanan pelayaran VOC ketika mereka melewati selat Madura menuju malaka. tetapi perjalan mereka mendapat banyak halangan dari penduduk Sumenep yang kontra terhadap kebijakan politik hindia belanda dengan cara memumgut pajak secara tidak wajar. Bahkan kapal-kapal mereka dirampas, pusat-pusat pertahannan di pesisir pantai dihancurkan, dan pioner dari perlwan masyarakat tersebut salah satunya dibintangi oleh orang-orang bugis makasar.
Dari data ini dapat kita ambil kesimpulan bahwa sebelum datangnya, Giliyang telah ditempati orang dengan hitungan yang sangat terbatas, karena kondisi tempat yang masih sepi dan sunyi menyebabkan kehidupan mereka seakan terjepit oleh katakutan, tentu saja kondisi jiwa raganya sehingga mereka menjadi stess. Dari realitas ini timbullah sebuah anggapan bahwa Giliyang tempo dulu adalah tempat pembuangan orang gila. Sebenarnya kalau dicermati bukan tempat orang gila melainkan mereka para pengungsi serta para saudagar yang singgah dipulau ini untuk memenuhi hajat mereka tetapi kondisi yang tidak bersahabat itulah kemudian menyebabkan mereka menjadi stess.
Beberapa tahun kemudian, datanglah seorang pengembara dari Timur ( Sulawesi Selatan) dialah Andang Taruna dan Jaya Prana. Tidak pasti, motif yang melatarbelakangi kehijrahan mereka ke Giliyangtetapi. Secara politik dapat kita melihat bahwa memasuki abad ke tujuh belas (XVII), huru hara di Makasar makin memanas hingga meletus perang besar antara pasukan Goa-Tallo yang saat itu berada dalam kekuasaan Sultan Hasanudin dengan Arung Laka Raja Bone yang dibantu oleh VOC. Peperangan ini berakhir dengan ditandataginya perjanjian bongaya (1667 M) dan di hancurkannya benteng Sombo Opu di Makasar.
