İl topraklarının büyük kısmı dağlar ve yüksek yaylalarla kaplıdır. Akarsu vadileri boyunca uzanan ovalar vardır.

Dağlar: Ardahan il toprakları, genelde iki bin metreyi aşan dağlık bir arazide yer alır. Topraklarının büyük kısmını güneybatı-kuzeydoğu doğrultulu Yalnızçam Dağları engebelendirir. Yalnızçam dağ silsilesinin en yüksek noktası Güze Dağı (3167 m)dır. Güneybatısında yer alan ve Çıldır Gölüne kadar uzanan Allahüekber Dağları bazı bölgelerde Kars'la tabii sınırı meydana getirir. Çıldır Gölünün doğusunda yer alan akbaba Daı (3026 m) Gürcistan sınırında bir yay gibi uzanır. Plato alanında yer yer yükselen dağ kütleleri kabak Dağında 3054 metreye ulaşır.

Ovaları: Akarsular boyunca devam eden vadiler bazı yerlerde genişleyerek ovaları meydana getirir. Başlıca ovaları şunlardır: Ardahan Ovası: Kura Irmağı ve kollarının taşıdığı alüvyonlarla meydana gelmiştird. Ortalama 1800 m yükseklikteki ovada sert iklim şartları yüzünden tarım sınırlı olarak yapılır. Zengin çayır örtüsü hayvancılığı ön plana çıkarmıştır. Göle Ovası: Göle ilçesinde yer alan ova, 2000 m yüksekliktedir ve 150 km'ye yakın bir alanı kaplar. Anadolu'nun en soğuk bölgelerinden olan ova, tarıma elverişli değildir. Ovanın gür otlarla kaplı çayırları, önemli bir hayvancılık alanıdır. Ayrıca fazla büyük olmayan Zaruşad, Haçuvan ve Henak ovaları da vardır.

Akarsuları: Ardahan ili karasu yönünden zengindir. İl topraklarını Kura Irmağı sular. Dağlardan kaynaklanan suları taşıyan küçük akarsular Kura Irmağına katılır. Gürcistan'da Kura Irmağına katılan Posof Çayının bir kısmı Gürcistan-Türkiye tabii sınırın meydana getirir. Çıldır Gölünün sularını boşaltan Cara Deresi, il topraklarından çıktıktan sonra Kars Çayına dökülür.