Fethiye'ye bağlı Kayaköy'ün "hayalet şehir" olarak adlandırılmasının sebebi, 1923-1924 yıllarında gerçekleşen nüfus mübadelesi sırasında terk edilmiş olmasıdır 12.

Türkiye Cumhuriyeti'nin kuruluş yıllarında, bölgede yaşayan Rumlar, batı Trakya’daki Türkler ile mübadele edilmiş, bunun sonucunda köy boşaltılmıştır 23.

Mübadeleden sonra köye, Rumeli topraklarından gelen Müslümanlar yerleştirilmiş, ancak onlar da köyün dik arazi koşulları nedeniyle burada değil, çevredeki daha düz yerlerde yaşamayı tercih etmişlerdir 4.

Köydeki evlerin ahşap olan kapı, pencere ve üst örtü sistemlerinin doğal etkenler ile tahrip olması ve 1957 senesinde yaşanan 7.3 şiddetindeki Fethiye depremi de köyün hayalet bir şehir görünümü almasına katkıda bulunmuştur 24.