Âli Paşa Yalısı'nın hikayesi şu şekildedir: Yalının ilk sahibi, Üçüncü Ahmed'in kadıaskerlerinden Dürrîzâde Arif Efendi'dir ve bu yalı, Lâle Devri'nin namlı yapılarından biri olarak bilinir. Rauf Paşa'nın ölümü üzerine yalı, sadrazamlık ve hariciye nazırlığı yapan Âli Paşa'ya (1815-1871) geçmiştir. Âli Paşa'nın 1871'de yalısında ölümünden sonra, Sultan II. Abdülhamit yalıyı satın alarak Mısır Hıdivi Abbas Hilmi Paşa'nın annesi ve eski Hıdiv Tevfik Paşa'nın eşi Hıdiva Emine'ye 1896'da hediye etmiştir. Yalının ilk defa Dürrizadeler tarafından yapıldıktan sonra, Osmanlı kaynaklarına göre bir Ramazan ayının cuma günü yıktırıldığı ve yerine 1902 yılında yeni bir yalının yapıldığı belirtilmektedir. Günümüzde yalı, Mısır Arap Cumhuriyeti'nin İstanbul Başkonsolosluk Binası ve Başkonsolosluğun rezidansı olarak kullanılmaktadır.