Kayaköy'de kimse yaşamıyor çünkü köy, 1923 yılında Türkiye ve Yunanistan arasındaki nüfus mübadelesi sırasında terk edilmiştir 123.

Kayaköy'ün orijinal adı "Levissi"ydi ve 14. yüzyılda Anadolu Müslümanları ile Yunan Ortodoks Hristiyanları'nın bir arada yaşadığı canlı bir bölgeydi 2. Ancak Kurtuluş Savaşı'ndan sonra iki ülke arasında imzalanan mübadele anlaşması gereği, köyün Rum nüfusu Türkiye'den ayrılmış ve yerine Yunanistan'dan gelen Müslüman nüfus yerleştirilmiştir 23. 1957 yılında meydana gelen büyük deprem sonrası yeni Müslüman nüfusun köyü terk etmesiyle Kayaköy, terk edilmiş bir köy haline gelmiş ve tarihi yapılara sahip bir "hayalet köy" olarak kalmıştır 35.