Zillerin icat tarihi kesin olarak belirlenememiştir, ancak bilinen en eski zil formları M.Ö. 3000 yıllarına kadar uzanmaktadır .
17. yüzyıl, zillerin tarihinde önemli bir dönüm noktası olmuştur . 1623 yılında İstanbul'da yaşayan Ermeni demir ustası Avedis, alaşımları karıştırarak emsalsiz ziller üretmeye başlamıştır . Bu ziller, Osmanlı padişahı tarafından beğenilmiş ve Avedis'e "Zilciyan" soyadı verilmiştir .
Zillerin modern formuna ulaşması ise Osmanlı ordusu bünyesindeki mehter takımı sayesinde olmuştur . Mehter takımında kullanılan ziller, zamanla genişletilip inceltilerek bugünkü formuna ulaşmıştır .