Mardin il topraklarının % 52’si dağlarla % 32’si platolarla ve % 25’i ovalarla kaplıdır. Mardin’de geniş ovalar bulunur. Kuzeyi dağlık ve güneyi düzlüktür.

Dağları: İlin kuzeyinde; Mazı Dağları yer alır. Bunlara Mardin Dağları da denir. Ortalama yükseklik 1000-1500 m’dir. Başlıca dağları; Karınca Tepe (1134 m), Alem Dağı (1041 m), Gümüşyuva Tepe (1160 m), Dibek Dağı (1231 m), Pirinç Tepe (1130 m), Ziyaret Tepe (1160 m) dir.

Mardin Dağlarının kalkerli kısımlarından meydana gelmiş olan platolar Diyarbakır, Mardin ve Nusaybin Ovasına doğru alçalırlar.

Ovaları: Mardin-Batman sınırını çizen Dicle Vâdisi yer yer genişleyerek çok verimli ovalar meydana getirir. Mardin ovaları güneyde yer alır ve Suriye ovaları ile birleşir. Başlıca ovaları; Mardin, Nusaybin, Cizre, Kızıltepe ve Silopi ovalarıdır.

Akarsuları: Dicle, ilin başlıca büyük akarsuyudur. Elazığ’ın Gölcük Gölünden çıkan Dicle, Diyarbakır’dan geçip Batman-Mardin sınırını teşkil ederek, Cizre yakınında Suriye, sonra Irak’a geçer. Savur Suyu: Savur kasabasının Suzi köyü yakınından çıkar ve bâzı kollar alır. Çağçağ Suyu: Midyat ile Nusaybin arasından çıkar. Nusaybin Ovasını sular ve Suriye’ye geçer. Buğur Suyu üzerinde baraj vardır. Habur Suyu, Zeni Hınıs ve Zerkân Dereleri diğer akarsularıdır.

Gölleri: Mardin ilinde tabiî göl yoktur. Buğur Suyu üzerinde kurulan baraj gölü 260 hektarlık yer kaplar ve sulama maksadıyla kurulmuştur.