Buradasın
Bilgi teorisinin temel ilkeleri nelerdir?
Yazeka
Arama sonuçlarına göre oluşturuldu
Bilgi teorisinin temel ilkeleri şunlardır:
- Entropi: Bir rastgele değişkenin değerini tahmin ederken belirsizliği nicelikselleştirir 12. Örneğin, yazı tura atmak daha az entropiye sahipken, zar atmak daha fazla entropiye sahiptir 1.
- Bilgi Birimi (Bit): Herhangi bir bilgi, bir dizi 0 ve 1 ile kodlanır ve her bir bit, eşit olasılıkla gerçekleşen bir olayı temsil eder 2.
- Karşılıklı Bilgi: İki rastgele değişken arasındaki paylaşılan bilgi miktarını ifade eder 2.
- Bağımsız Değişkenler: İki bağımsız rastgele değişkenin bilgi miktarı, ayrı ayrı gözlemlenen bilgilerin toplamına eşittir 2.
- Kodlama: Bilgi, sinyal işleme, sıkıştırma, depolama ve iletme gibi işlemlerle kodlanır 15.
5 kaynaktan alınan bilgiyle göre: