Pytanie 31
B14. Rozważmy miary ilości informacji doświadczeń losowych. Które z poniższych stwierdzeń są prawdziwe
Stopień nieokreśloności jest tym większy, im większa jest liczna wyników rozważanego doświadczenia losowego.
Aby zmierzyć ilość informacji, należy zmierzyć nieokreśloność doświadczenia losowego (źródła informacji)
Hartley zaproponował aby miare nieokreśloności, czyli entropię H(X) doświadczenia losowego X o wynikach x1, x2, …, xn, które pojawiają się z prawdopodobieństwami P(x1), P(x2), …, P(xn) wiliczać ze zworu: H(X)= E P(xi)*log2*(1/P(xi)
Shannon zaproponował aby używać logarytmu (najlpeiej dwójkowego) liczby wyników doświadczenia losowego jako miary jego nieokreśloności