Arpaz Kalesi'nin hikayesi şu şekildedir: Arpaz Kalesi, Aydın'ın Nazilli ilçesine bağlı Esenköy'de, bir Karya kenti olan Harpasa Kalesi'nin eteklerinde kurulmuştur. Kalenin inşa nedeni, Arpazlı Hacı Hasan Bey'in, II. Mahmut zamanında konağını ve mal varlığını Çakırcalı Mehmet Efe ve Atçalı Kel Mehmet Efe gibi bölgenin tanınmış efelerine karşı korumak istemesidir. Kalenin diğer özellikleri arasında bir bey konağı, güvenlik kulesi, ambar, ahırlar ve müştemilat bulunması yer alır.