Вероятностный подход к измерению информации

3. Вероятностный подход к измерению информации

Теория

В жизни чаще всего случаются события, частота появления которых различна. Речь идёт о неравновероятных событиях. Например, летом чаще солнечно и ясно, чем пасмурно.

Вероятность некоторого события — это величина \(p\)

(0 \leq p \leq 1)

, которая показывает частоту появления этого события в ряде однотипных испытаний.

Если событие невозможно, то его вероятность: \(p = 0\).

Если событие достоверно, то его вероятность: \(p = 1\).

Если событие может наступить или не наступить с одинаковой вероятностью, то его вероятность: \(p = 0,5\).

Формула Шеннона

Американский учёный Клод Шеннон был одним из основоположников теории информации и криптографии. Им была выведена в \(1948\) году формула для вычисления количества информации равновероятных событий:

I = {- \sum}_{i = 1}^{N} p_{i} \cdot \log_{2} p_{i}

, где \(I\) — количество информации; \(N\) — количество возможных событий;

p_{i}

— вероятность \(i\)-го события.

Пример:

Пусть вероятность выпадения осадков в виде дождя равна \(0,5\), ветра — \(0,25\), грозы и молнии — \(0,125\). Определим, какое количество информации получим при реализации одного из них.

Решение.

Согласно формуле Шеннона получим:

\begin{array}{l} I = - ({0, 5 \cdot \log}_{2} 0,5 + {0, 25 \cdot \log}_{2} 0,25 + {0, 125 \cdot \log}_{2} 0,125 + {0, 125 \cdot \log}_{2} 0,125) = \\ = - (- 0,5 - 0,5 - 0,375 - 0,375) = 1,75 . \end{array}

Ответ: \(1,75\) бит.

Предыдущая теория

Вернуться в тему

Следующая теория