Gümüşhane, tarih boyunca farklı beyliklere bağlı kalmıştır. Selçuklu Devleti döneminde, Emir Mengücek Gazi tarafından kurulan Erzincan imaretine bağlıydı. İlhanlılar döneminde Moğol hakimiyetine girdi. Celayirliler döneminde, 14. yüzyıl ortalarında bu beyliğin hakimiyetine katıldı. Akkoyunlular döneminde, 1467'de bu beyliğin egemenliğine girdi. Osmanlı Devleti döneminde, 1473'te Otlukbeli Muharebesi'nden sonra kesin olarak Osmanlı hakimiyetine geçti. Osmanlı hakimiyetinin ilk zamanlarında Erzurum Eyaleti'ne bağlıyken, sonraları Trabzon'a bağlandı.