Chillon Kalesi'nde tarih boyunca çeşitli kişiler yaşamıştır: Orta Çağ'da: Kale, 12. yüzyıldan 16. yüzyıla kadar Savoy Kontları tarafından kullanılmıştır. 1536'da: İsviçre'nin Bern kantonu, Savoy Kontları'ndan kaleyi ele geçirmiştir. 1733'e kadar: Bernese, kaleyi bir kale, depo ve hapishane olarak kullanmıştır. 1798'den sonra: Fransız konuşan Vaud kantonu, kaleyi bir silah ve mühimmat deposu olarak kullanmıştır. Ayrıca, Lord Byron da dahil olmak üzere, kale romantik yazarlar ve şairler için bir ilham kaynağı olmuştur.