Masjid Gambiran ini tidak lepas dari peran sejarah perkembangan islam di Pati. Yaitu seorang tokoh yang disebut oleh warga sekitar bernama Mbah Cungkrung yang diyakini adalah murid dari Kanjen Sunan Bonang yang menyebarkan ajaran islam di gambiran dan sekitarnya pada Abad 16. Bangunan ini mengalami beberapa renovasi dan penambahan elemen berupa serambi depan. 75 % kandungan asli dari bangunan ini masih dipertahankan. Kubah kuno yang masih berfungsi baik menjadi tetenger dari masjid ini.
Kaligrafi peninggalan Masjid Agung Pati diselamatkan dan menjadi salah satu warisan satu satunya peninggalan setelah direhab total tahun 1980 an. Tertera tahun 1847 sebagai peresmian Masjid Agung Pati. Memiliki peran sentral dalam perkembangan islam di Pati dan sekitarnya.