Ahmet Paşa Konakları'nın iki farklı hikayesi bulunmaktadır: 1. Ahmet Vefik Paşa Konağı: Bu konak, II. Abdülhamid döneminde Maarif Nazırlığı, Meclis-i Mebusan vekilliği ve başkanlığı, sadrazamlık yapmış olan Türkçülük akımının öncülerinden Ahmet Vefik Paşa için yaptırılmıştır. Daha sonra Robert Kolej'e satılan konak, kurum tarafından korunmuştur. 2. Gazi Ahmet Muhtar Paşa Konağı: Bu konak ise 19. yüzyılın ilk çeyreğinde Kars Valiliği yapan Ahmet Muhtar Paşa'nın oturduğu paşa konağı olarak da bilinir. Günümüzde konak, Kültür Evi olarak ziyarete açıktır.