Eskihisar Kalesi, Bizans İmparatorluğu döneminde, Komnenos Hanedanı (1081-1185) zamanında inşa edilmiştir. Kalenin inşası şu kişiler tarafından gerçekleştirilmiştir: I. Manuel Komnenos: İç surlar, onun döneminde, 12. yüzyılda yapılmıştır. İznik İmparatoru II. Ducas-Vatatzes: Peçe duvarları, 1241 yılında onun zamanında inşa edilmiştir. Paleologoslar Dönemi (1261-1453): Dış surlar ve güneydoğu köşesindeki burç bu dönemde yapılmıştır.