Yıldızeli, 1639 yılına kadar Tokat, Sivas ve Yozgat şehirleri arasında bataklık ve dar bir geçit bölgesi olarak kalmış ve Osmanlı'nın doğuya yaptığı seferler sırasında yol güzergahı olarak kullanılmıştır. 1639 yılında IV. Murat döneminde Vezir Kemankeş Kara Mustafa Paşa tarafından buraya bir han yaptırılarak Yenihan adı ile yerleşim yeri olarak kurulmuştur. Uzun süre Sivas Sancağı'na bağlı bir bucak merkezi olarak kalmış, 1863 yılından sonra yapılan teşkilatlandırmada Sivas’ın il olmasıyla 1875 yılında ilçe olmuştur. Cumhuriyet dönemine kadar Yenihan olarak anılan ilçe, 1936 yılında kuzeyindeki Yıldız Dağı'ndan esinlenerek Yıldızeli adını almıştır.