Karaca Ahmet'in hikayesi çeşitli efsaneler ve tarihi kaynaklarla şekillenmiştir.

Efsaneye göre, Karaca Ahmet, bir gün kızıyla birlikte Batı Trakya'nın İskeçe ilçesine gelir ve köylülerden bir kulübelik yer ister 1. Köylüler yer vermez ve onları kovar 1. Bunun üzerine Karaca Ahmet, elindeki mızrağını yere saplar ve oradan dereler gibi su akar 1. Kuraklıktan muzdarip köylüler, bu suyu görünce şaşırır ve Karaca Ahmet ile kızının peşine düşerler 1. Ancak Karaca Ahmet ve kızı hep on adım önde giderek köylülerin yetişmesini engeller 1. Sonunda Şahin'e varmadan köprüye ulaştıklarında Karaca Ahmet, "Dönün bana borçlu olun" diyerek ortadan kaybolur 1.

Tarihi kaynaklara göre, Karaca Ahmet, Orhan Gazi döneminde yaşamış bir derviştir 23. Başlangıçta zevk ve safa içinde bir hayat sürerken bir vesileyle dervişliğe yönelmiş ve Anadolu'ya gelerek Geyve Akhisarı'nın fethine katılmıştır 23. Daha sonra Akhisar'a yerleşmiş ve burada bir tekke kurarak mürid yetiştirmiştir 23.

Karaca Ahmet'in, ruh hastalarını tedavi eden bir hekim olduğu ve Balkanlar'da Aziz George ile özdeşleştirildiği düşünülmektedir 24.