Serasker Hüseyin Avni Paşa Yalısı'nın hikayesi şu şekildedir: Yalının bulunduğu bölgede, 1814 tarihli Bostancıbaşı Defteri'ne göre, Defter Emini Sadullah Efendi'nin yalısı ve onun üst tarafında Şehremini Hayrullah Efendi'nin yalısı vardı. Daha sonra bu yapılar, Reşit Paşa isminde bir zata geçti. Hüseyin Avni Paşa Yalısı, bu yapının yerine inşa edilmiştir. Yalının yerinde, önceki tarihlerde Sadrazam Raif İsmail Paşa ve Üsküdar'da kütüphanesi olan Selim Ağa'nın sahilhaneleri de bulunuyordu. Âli Paşa Yalısı'nın hikayesi ise şu şekildedir: Bebek'te bulunan bu yalının yerinde, Sultan I. Abdülhamit Devri Şeyhülislamlarından Dürrizade Esseyyit Mehmet Ataullah Efendi'nin yalısı vardı. Dürrizade Abdullah Efendi'nin ölümü üzerine yalı, Sadrazam Mehmet Emin Rauf Paşa'ya geçti. Sadrazam Ali Paşa'nın sadareti ve Hariciye Nazırlığı sırasında yalı, Karadağ Konferansı'na ev sahipliği yaptı, Girit isyanını bastırma hazırlıklarına sahne oldu ve önemli davetlere, ziyaretlere ev sahipliği yaptı. Ali Paşa'nın 1871'de yalısında ölümünden sonra, Sultan II. Abdülhamit yalıyı satın alarak Mısır Hıdivi Abbas Hilmi Paşa'nın annesi Hıdiva Emine'ye hediye etti. Bazı kaynaklara göre, yalıyı Hıdiva Emine Hanım kendisi satın almıştır. 1902 yılında, eski yalı yıktırılarak, Mimar Raimondo D’Aranco tarafından yenisi yapılmıştır. Günümüzde, Mısır Arap Cumhuriyeti’nin İstanbul Başkonsolosluk Binası ve Başkonsolosluğun rezidansı olarak kullanılmaktadır.