Mardin'deki en eski uygarlık, Subari ve Hurri medeniyetlerine kadar uzanan yerleşim izleriyle belirlenmiştir. Ayrıca, Mardin'in insanlık tarihinin en eski yerleşim yerlerinden biri olduğuna dair çeşitli efsaneler de bulunmaktadır. Örneğin, bazı Süryani ve Arap efsanelerine göre, cennetten kovulan Âdem ve Havva'nın ilk yerleştiği yerlerden biri Mardin olabilir. Mardin, tarih boyunca Sümerler, Akadlar, Mitani, Hititler, Asurlular, İskitler, Babil, Pers ve Makedonya gibi birçok medeniyete ev sahipliği yapmıştır.