İshak Paşa Sarayı'nın hikayesi birkaç efsaneye dayanmaktadır: 1. Gülbahar ile Ahmet Efsanesi: Bayazıt Valisi Mahmut Paşa’nın kızı Gülbahar, zindanda tutulan çoban Ahmet’e aşık olur. 2. Perişan Hanım ile Halil Bey Efsanesi: İshak Paşa’nın kızı Perişan Hanım, saraya çalışan bir usta olan Halil Bey’e aşık olur. Saray, 1685 yılında Çolak Abdi Paşa tarafından başlanmış ve 1784 yılında İshak Paşa tarafından tamamlanmıştır.