Ağrı'nın eski adının Erzurum olduğuna dair bir bilgi bulunmamaktadır. Ancak, Ağrı'nın tarih boyunca farklı isimlerle anıldığı bilinmektedir. Bu isimler arasında Karakilise, Karaköse ve Ararat yer almaktadır. Karakilise: Osmanlı döneminde kullanılan bir isimdir. Karaköse: Kazım Karabekir Paşa'nın önerisiyle 1919'da kabul edilmiştir. Ararat: Batılılar tarafından kullanılan, Nuh Tufanı ile ilişkilendirilen bir isimdir. Ağrı, 1938 yılında Türkiye'nin en yüksek dağı olan Ağrı Dağı'na atfen bu ismi almıştır.