Ağrı’nın bilinen tarihi M.Ö. 15. asra dayanır. M.Ö. 15. asırda, Hurri Mitana Krallığı bu bölgede bulunuyordu. Hititler ve Urartulardan sonra, Kafkasya’dan atlı göçebe olarak gelen Kimmenler M.Ö. 8. asırda bu bölgeye yerleştiler. M.Ö. 7. asırda Sakalar, 6. asırda Persler, 4. asırda Makedonya Kralı İskender, M.S. 6. asırda Hazer Türkleri, M.S. 642’de Müslüman Araplar, İlhanlılar, Karakoyunlular, Akkoyunlular, İranlı Türk Safevilerin eline geçmiş, Celaleddin-i Harzemşah ve Moğolların istilasına uğramış, zaman zaman da, Bizans ve Persler arasında el değiştirmiştir. 1515’te Ağrı, Yavuz Sultan Selim Han Çaldıran’da Şah İsmail’i yenince, Osmanlılara geçmiştir. Yavuz Sultan Selim’in tayin ettiği Tuğ Beyinin çocukları halen bu bölgede “Tugan”, “Doğan” ve “Toğanoğlu” soyadı ile anılmaktadır.

Yavuz, Sultan Selim’in İstanbul’a dönüşünden bir müddet sonra İranlı Safeviler burasını geri almışlar, 1578’de Kanuni Sultan Süleyman Han bu bölgeyi tekrar Osmanlı Devletinin sınırlarına katarak merkezi Bayezid olan Van beylerbeyliğine bağladı. Tanzimattan sonra Bayezid sancağı olarak Erzurum vilayetine bağlandı. Cumhuriyetin ilanında il merkezi Doğu Bayezid idi. 1926’da Karaköse il merkezi, Doğu Bayezid ise ilçe oldu. 1938’de Karaköse ismi Ağrı olarak değiştirildi.

93 Harbinde (1877-1878) ve Birinci Dünya Harbinde Türkiye-Rusya ve İran arasında bölünmüş olan Ağrı, 1920 Kars, 1921 Moskova ve 1923 İran-Türk antlaşmaları neticesinde bütünüyle yeniden hukuki sahipleri olan Türklerin eline geçti. Ağrı, bin senelik bir Türk toprağıdır.