En eski mehter takımının hangi padişah zamanında kurulduğuna dair kesin bir bilgi bulunmamaktadır. Ancak, mehter teşkilatının Osmanlı Devleti'nde olgunlaşması XIV. yüzyılda I. Murad döneminde Yeniçeri Ocağı'nın resmîyete kavuşmasıyla gerçekleşmiştir 12. Bu devirde mehter, yeniçerilere yardımcı nitelikte bir askerî kurum hâline dönüşmüştür 12.

Mehterhâne teşkilatının kuruluş tarihi hakkında ise farklı görüşler bulunmaktadır. Kimi tarihçilere göre, Anadolu Selçuklu Sultanı II. Gıyaseddin Mesud'un, Osman Gazi'ye hakimiyet sembolü olarak tabl ve âlem göndermesiyle mehterhane kurulmuştur 123. Ancak bu, kaynaklarla belgelenmemiştir 12.