Gümüşhâne arâzisi çok engebelidir. Akarsuları bol, dağlık bir bölgedir. Yüzölçümünün% 71’i dağlık, % 29’u yayladır.

Dağları: Gümüşhâne ilinde, Kalkanlı (Zigana), Gümüşhâne, Otlukbeli Dağları yer alır. Başlıca yüksek dağları; Kalkanlı Dağları (Yayla Tepe 2652 m), Gümüşhâne Dağları (Alitaşı Tepe 2572 m, Elmalı Tepe 2507 m), Otlukbeli Dağları (Hatâbî Tepe 2758 m)dır. Ayrıca, Erzincan ile Gümüşhane arasında sınır teşkil eden Pöske Dağı, Bayburt ile Gümüşhane arasında sınır teşkil eden Vauk Dağı ve Köse Dağıdır. Ziganaların Çakırgöl bölgesindeki geniş düzlükleri yayla görünümündedir. Çimendağ üzerindeki yaylalar, en önemlilerindendir. Nehirlerin meydana getirdiği vâdiler, Gümüşhâne’nin en bereketli topraklarıdır.

Kelkit Vâdisi: Kelkit Çayını besleyen derelerin meydana getirdiği bu vâdide kuru tarım yapılır. Vâdi dar ve iki yanı basamak basamak yükselen ekilebilir arâziye su getirmek zordur. Bu vâdide sulanan arâzi çok azdır.

Akarsuları: Kelkit Çayı: Çimen Dağlarından çıkar. Kelkit ilçesini geçip, Yeşilırmak’ın ana kolu ile birleşir. Az da olsa tarım alanlarının sulanmasında kullanılır. Harşit Suyu: Gümüşhâne Dağlarından çıkar. Kale-Gümüşhâne-Torul-Kürtün vâdilerini geçip Trabzon’a girer. Harşit Suyu derin vâdilerde aktığından ve su rejimleri düzgün olmadığından sulamada pek kullanılmaz.

Gölleri: Gümüşhâne’de büyük göller yoktur. Yalnız bâzı yüksek dağların üzerinde buzul göller vardır. Bunlar Balaban Dağları üzerinde Balıklı Göl, Aygır ve Yıldız Gölleri ile Soğanlı Dağları üzerinde Şarak Gölü ve Zigana Dağlarında Çakır Göldür.