Bilgi teorisinin temel ilkeleri şunlardır: Entropi: Bir rastgele değişkenin değerini tahmin ederken belirsizliği nicelikselleştirir. Bilgi Birimi (Bit): Herhangi bir bilgi, bir dizi 0 ve 1 ile kodlanır ve her bir bit, eşit olasılıkla gerçekleşen bir olayı temsil eder. Karşılıklı Bilgi: İki rastgele değişken arasındaki paylaşılan bilgi miktarını ifade eder. Bağımsız Değişkenler: İki bağımsız rastgele değişkenin bilgi miktarı, ayrı ayrı gözlemlenen bilgilerin toplamına eşittir. Kodlama: Bilgi, sinyal işleme, sıkıştırma, depolama ve iletme gibi işlemlerle kodlanır. Bilgi teorisi, Claude E. Shannon tarafından 1948'de yayınlanan "İletişimin Matematiksel Kuramı" adlı çalışmayla oluşturulmuştur.