Kayaköy'de kimse yaşamıyor çünkü köy, 1923 yılında Türkiye ve Yunanistan arasındaki nüfus mübadelesi sırasında terk edilmiştir. Kayaköy'ün orijinal adı "Levissi"ydi ve 14. yüzyılda Anadolu Müslümanları ile Yunan Ortodoks Hristiyanları'nın bir arada yaşadığı canlı bir bölgeydi.