Kazlıçeşme'nin hikayesi şu şekilde özetlenebilir:

1546 yılında, İstanbul'un fethi sırasında su sıkıntısı yaşandığında, bir sakabaşı bölgede uçan kazları takip ederek bir su kaynağı keşfeder 14. Bu hadisenin orduyu sevindirmesi üzerine, bu yere bir çeşme yaptırılır ve semt Kazlıçeşme ismiyle anılmaya başlanır 14.

Çeşmenin üzerinde, Bizans dönemine ait olduğu düşünülen bir kaz figürlü taş bulunur 4. Meşhur seyyah Evliya Çelebi, çeşmenin üzerindeki kaz figürünün canlı gibi göründüğünü ve bu nedenle çeşmenin Kazlıçeşme olarak anıldığını belirtir 4.

2002 yılında kaz figürü çalınır, ancak 2010 yılında yapılan restorasyonda yerine bir replika yerleştirilir 14.