Ardahan çok eski bir tarihe sahiptir. İlk bilinen sakinleri Hurrilerdir. Daha sonra Hititlerin hakimiyetine girdi. Bölge daha sonra Urartuların işgaline uğradı. Asurlular ve Babiller bölgeye hakim olmak istedilerse de başarılı olamadılar. M.Ö. 7. asırda Perslerin istilasına uğradı. M.Ö. 4. asırda Makedonya Kralı İskender, Persleri yenerek burasını ele geçirdi. M.S. 395'te Roma ikiye bölününce, bu bölge de bütün Anadolu gibi Bizans İmparatorluğunun payına düştü. Sultan Alparslan 1068'de Ardahan'ı fethederek Türk topraklarına kattı. Böylece 1071 Malazgirt Zaferinde önce Anadolu'nun ilk fethedilen parçalarından biri de Ardahan olmuştur.

Ardahan, Türk hakimiyetine girdikten sonra sırsıyla İlhanlılar, Celayirliler, Timurlular, Karakoyunlular ve Akkoyunlular bölgeye hakim oldular. Akkoyunlu İmparatorluğu yıkılınca, bölge Safevilerin eline geçti. Kanuni Sultan Süleyman Hanın ilk yıllarında bölge Osmanlı hakimiyeti altına girdi. Ardahan Kalesi uzun yıllar Osmanlı topraklarını Kafkasya'dan gelen saldırılara karşı koymada yardımcı olmuştur. 1878 Ayestefanos Antlaşmasıyla Rusya'ya verilen bölge, 1918 Brest-Litovsk Antlaşmasıyla geri alındı. 26 Nisan 1919'da Gürcülerin işgaline uğradı. Gürcistan'ın Kızılordu tarafından işgali üzerine Gürcistan Hükümeti, 23 Şubat 1921'de Ardahan, Çıldır ve Posof'u Türk Hükümetine bıraktığını açıkladı. Doğu sephesi birlikleri de aynı gün harekete geçerek, bölgeyi Türk topraklarına kattı. Cumhuriyetin ilk yıllarında il iken, 1926'da Kars iline bağlı bir ilçe durumuna getirildi. 1992 senesinde tekrar il oldu.