Yayla Kalesi'nin hikayesi şu şekilde özetlenebilir: Yayla Kalesi, köyün güneyinde, yaklaşık 3 km uzakta, Saros Körfezi kıyısındadır. Kalenin günümüze ulaşan sur kalıntılarının mimari verileri ve tarihi kaynak bilgileri sonucunda, Roma döneminde, muhtemelen M.Ö. 2. yüzyılda kurulduğu ve daha sonra Bizans İmparatorluğu'na geçtiği düşünülmektedir. M.S. 11. yüzyıldan itibaren surlarında tamirat yapılarak Bizans ticari faaliyetleri için kullanıldığı, 14. yüzyılda Katalanların eline geçtiği, 15. yüzyıl ortalarında ise Osmanlı İmparatorluğu tarafından fethedildiği tezi güçlü bir ihtimal olarak öne çıkmaktadır. Yayla Kalesi'nin bir kale değil, bir yerleşim merkezi, bir ticaret ve liman kenti olduğu da düşünülmektedir. Yayla Kalesi, Cenevizler döneminden kalma tarihi bir yapı olup, lodos ve define avcıları nedeniyle tahribata uğramaktadır.