Beberapa puluh tahun kemudian surau kecil dengan tatakan batu bata dengan empat tiang dan beratapkan daun tebu tersebut ditemukan oleh warga.
Hingga akhirnya musala tersebut dibangun menjadi masjid. Tempat tersebut sempat dijuluki oleh warga sebagai masjid tiban.
Pada tahun 1967 Masjid Rahmat sempat direnovasi dan diresmikan oleh Presiden RI pertama Soekarno. Hingga sekarang masjid tersebut menjadi jujukan umat Islam. Di bulan-bulan tertentu, masjid tersebut banyak diziari warga sekitar Surabaya, seperti Gresik dan Lamongan.
Tidak jauh dari Masjid Rahmat, terdapat makam Wiroseroyopun yang dikenal sebagai Mbah Karimah dimakamkan tak jauh dari lokasi Masjid Rahmat. Di dalam masjid juga terdapat sebuah sumur yang konon tak pernah kering.
Masjid ini juga memiliki radio Islam pertama bernama Yasmara yang digunakan sebagai syiar agama Islam. Hingga sekarang adzan Masjid Rahmat atau Kembang Kuning digunakan sebagai rujukan penanda adzan.
