Mardin’in bilinen târihi 3000 sene öncelere dayanır. Mardin bölgesi, Anadolu’da ilk siyâsî birliği kuran Hitit İmparatorluğunun sınırları dışında kalmıştır. Hititler zamânında bu bölge, Hurri Mitanni Krallığının elindeydi. Uzun müddet Bâbil ve Asur hâkimiyeti altında kalan Mardin’i Medler ele geçirdi. M.Ö. 4. asırda Makedonya Kralı İskender, Anadolu ve İran’ı işgâl ederek imparatorluğuna ilhak etti. İskender’in ölümü üzerine imparatorluk parçalandı. Bu bölge Anadolu gibi Selevkos Devletinin payına düştü. Pers ve sonra Sâsânî hânedanları, bu bölgeyi ele geçirdiler.

M.S. 1. asırdan îtibâren Roma İmparatorluğu, Toros ve Fırat ötesi Doğu ve Kuzeydoğu Anadolu için İran’la mücâdele etti. Her iki ülke arasında bu bölge el değiştirdi ve Roma tam bir hâkimiyet kuramadı. M.S. 395’te Roma İmparatorluğu bölününce Anadolu gibi bu bölge de, Doğu Roma (Bizans)nın payına düştü.

640 târihinde hazret-i Ömer’in halîfeliği zamânında, İyaz ibni Ganm kumandasındaki İslâm ordusu, Mardin’i fethederek, İslâm devletine kattı. Sonraki asırlarda Hamdânîlerle Mervânîler, Bağdat’taki Abbâsî Halîfeliğine tâbi olmak şartıyla bu bölgeyi ellerinde tuttular. 1071 Malazgirt Zaferinden sonra Mardin toprakları Selçuklu Türklerinin eline geçti. 1098’de Türkmen boylarından Artuklular, bölgede Selçuklulara bağlı iki devlet kurdular. Hısn Keyfâ (Hasankeyf)da kurulan Artukoğulları Beyliği “Sökmenîler” diye tanınır. Bu beylik, 1098’den 1231’e kadar 133 yıl devâm etmiştir. Artukluların Hısn Keyfâ dalı, Eyyûbîler tarafından ortadan kaldırılmıştır. Eyyûbîler, 1232-1524 arasında 292 sene devletlerini muhâfaza etmişlerdir. Mardin’de kurulan ve “İlgâzîler” diye tanınan beylik, 1104’ten 1407’ye kadar 303 yıl devâm etmiştir.

Cezire-i ibni Ömer, Cizre’de 1160-1596 arasında 436 sene devâm eden küçük bir beylik kurmuştur. Zengilerin, yâni Musul Türk Atabeylerinin bir kolu, üç beyle Cizre’de 1170-1227 arasında 47 yıl hâkimiyet kurmuştur. Mardin bölgesine Büyük Selçuklulardan sonra Eyyûbîler, Türkiye Selçukluları, İlhanlılar, Mısır-Suriye-Türk-Memlûk İmparatorluğu, Timurlular, Karakoyunlular ve Akkoyunlular hâkim olmuştur. 1507’de İran’daki Safevîler, Mardin’i ele geçirdiler. Yavuz Sultan Selim Han, 1517 Çaldıran Zaferi ile Safevîleri Anadolu’dan attı. Bıyıklı Mehmed Paşa, Mardin’i fethederek, Osmanlı Devletine bağladı.

Yavuz ve Kânûnî’nin, Salâhaddin Eyyûbî’ye büyük saygıları olduğundan “Hısn Keyfâ”daki Eyyûbî Melikliğinin bir müddet devâmına müsâade etti. Osmanlı devrinde Mardin “Diyâr-ı Bekr” Beylerbeyliğinin (eyâletinin) 24 sancağından (vilâyetinden) biriydi. Tanzimattan sonra “Diyâr-ı Bekr” eyâletinin üç sancağından biri oldu. 5 kazâsı vardı. İstiklâl Harbinde Mardin halkı mücâdelesini silâhsız, fakat birlik içinde düşmanı korkutarak yapmıştı. İcap etseydi Mardin de düşmana karşı kahramanca savaşırdı. Mardin’de düşmana karşı mücâdele şu şekilde verildi:

Mardin önce İngilizler tarafından işgal edilmek istendi. Irak Siyâsî Komiseri Nüel, Mardin’e gelerek, şehrin ileri gelenlerinden Mardin’in teslimini istedi. Mardinliler işgâle karşı silâhlı mücâdele yapacaklarını söylediler. 1919 senesinde Londra’da imzâlanan îtilâfnâme îcâbı Fransızlar, Mardin’in teslimi için Fransız kumandanlarından Norman’ı gönderdiler. Fransız kumandanı Norman, iki Fransız subayı ve kaleye çekilmek üzere bir Fransız bayrağı ile istasyona indi. Mardinliler sırtlara ve tepelere bolca çadır kurarak bu çadırlarda asker olduğu şâyiasını yaydılar. Ellerindeki silâh ve atlarla çeteler kurdular. İstasyonda silâhlı, eli kazma, kürek, satırlarla dolu halk Norman’ı karşıladı. Norman, Mardin’in teslim olmasını istedi. Mardin’in Avrupa şehri gibi onarılıp mahallî hükümet kurulacağını söyledi. Mardin ileri gelenleri; “1071’den bu yana Türk ve 640’tan bu yana Müslüman olan Mardin Müslüman ve Türk kalacaktır, asırlardır Türk toprağı olan Mardin Suriye’ye de bağlanamaz, zor kullanırsanız savaşa hazırız.” dediler. Mardin şehir halkı, Norman’ın yanındaki subayın elindeki Fransız bayrağını alıp parçaladılar. Mardin ileri gelenleri, Norman ve iki Fransız subayına bir ziyafet verip bu yemekte kendilerine; “Mardinliler tek bir vücut gibi birlik içindedir. Tek bir Mardinli kalmayıncaya kadar ölmeye yemin ettik” dendi. Norman korktu ve trenle Mardin’den ayrıldı ve Diyrabakır’a da gitmekten korktu. Mardinlilerin bu kahramanca hareketi, hem Mardin’i hem de Diyarbakır’ı Fransız işgalinden kurtardı. Cumhûriyet devrinde Mardin, 1923’te il merkezi olmuştur.