Göle'nin eski Ardahan olarak adlandırılmasının nedeni, Osmanlı döneminde Göle'nin, bugünkü Ardahan ile birlikte Çıldır Eyaleti'ne bağlı olmasıdır. Osmanlı kayıtlarında Ardahan, "Ardahan-i Küçük" olarak geçerken, bugünkü Ardahan "Ardahan-i Büzürg (Büyük Ardahan)" olarak adlandırılmıştır. 1992 yılına kadar Kars iline bağlı bir ilçe olan Göle, bu tarihten itibaren Ardahan iline bağlanmıştır.