Ragıp Paşa Köşkü'ne "perili köşk" denmesinin sebebi, görkemli ve tarihi bir yapı olması, uzun süre boş kalması ve çevresinde bu tür hikayelerin yayılmasıdır. Köşkün inşaatının, 1. Dünya Savaşı'nın patlak vermesiyle inşaatta çalışan işçilerin askere alınması sebebiyle tamamlanamaması ve boş kalan binanın bu şekilde anılmaya başlanması da bu hikayelerden biridir. Bir başka hikayeye göre ise köşk, 1908'de Ragıp Paşa'nın Meşrutiyet'in ardından Rodos'a sürülmesinin ardından yalnızlığa terk edilmiş ve bu durum, yapının "perili" olarak anılmasına yol açmıştır. Günümüzde ise köşk, bakımsız hali ve çeşitli söylentilerle bu ünü sürdürmektedir.