Yıldızeli'nin en eski köyü hakkında bilgi bulunamadı. Ancak, Yıldızeli'nin tarihçesi hakkında şu bilgiler mevcuttur: Yıldızeli yerleşim alanı, 1639 yılına kadar Tokat, Sivas ve Yozgat şehirleri arasında bataklık ve dar bir geçit bölgesi olarak kalmış, Osmanlıların doğuya yaptığı seferler sırasında yol güzergahı olarak kullanılmıştır. 1639 yılında IV. Murat döneminde Vezir Kemankeş Kara Mustafa Paşa tarafından buraya bir han yaptırılarak, Yenihan adı ile yerleşim yeri olarak kurulmuştur. 1936 yılında, ilçe sınırları içerisinde bulunan ve bölgenin en yüksek dağı olan Yıldız Dağı’ndan (2557) esinlenerek “Yenihan” adı “Yıldızeli” olarak değiştirilmiştir.