Kütahya Kalesi'nin hikayesi şu şekilde anlatılır: Bir zamanlar Kütahya'da, minareden boylu, olağanüstü, dev gibi iri ve güçlü adamlar yaşarmış. Lider, Nemrut Kayası'ndan parçalar kestirerek, oda büyüklüğünde kaya parçalarını elden ele geçirmiş ve Gulam Köyü yakınlarında işleyerek, şimdiki Hisar Tepe'ye taşımış. Kalenin yapımı uzun sürmüş. Bu sırada, bin yaşına yaklaşmış olan başkanın bir oğlu varmış.