Ayvansaray, Bizans ve Osmanlı dönemlerinden kalma tarihi yapıları ile meşhurdur. Semtte öne çıkan bazı yerler şunlardır: Tekfur Sarayı: Bizans döneminden günümüze ulaşan nadir yapılar arasında yer alır. Anemas Zindanları: Tarih meraklılarının ilgisini çeken önemli bir yapıdır. Ferruh Kethüda Camii: Mimar Sinan'ın imzasını taşıyan, Kanuni Sultan Süleyman'ın sadrazamı Semiz Ali Paşa'nın kethüdası Ferruh Ağa tarafından 1562-1563 yıllarında inşa ettirilmiş bir eserdir. Ayvansaray Yeraltı Camii: Bizans kalıntıları üzerine inşa edilen ve bir mağarayı andıran ilginç bir yapıdır. Ayrıca, Ayvansaray'ın Haliç manzarası ve antika dükkanları da ziyaretçilerin ilgisini çeken diğer unsurlardır.