Содержательный подход к измерению информации
Суть содержательного подхода к измерению информации сформулировал в своих трудах Клод Шеннон. Ученый определил информацию как меру неопределенности (энтропию) события.
Информация – это снятая неопределенность. Величина неопределенности некоторого события – это количество возможных исходов этого события.
Чем более вероятно наступление какого-либо события, тем меньшее количество информации несет для нас сообщение о наступлении этого события.
Определим единицу измерения количества информации. Для этого рассмотрим эксперимент с бросанием монеты. Неопределенность знаний о результате падения монеты будет заключаться в двух возможных равновероятных исходах: орел или решка. Сообщение об исходе эксперимента (например, выпала «решка») уменьшит неопределенность в два раза.
Один бит – это такое количество информации, которое уменьшает неопределенность в два раза.
Если бросать монетку несколько раз, то, например, за пять бросков получим количество информации 5 бит. Данный пример иллюстрирует закон аддитивности количества информации: в случае независимых событий общее количество информации равно сумме количеств информации в сообщениях о каждом из событий.
Формула Хартли
Если все исходы какого-то события равновероятны, то количество информации о наступление того или иного исхода определяется формулой Хартли, которую впервые записал в 1928 году американский инженер Ральф Хартли:
i = log2 N
Здесь i – количество информации, содержащееся в сообщении о наступлении одного из равновероятных исходов события.
Из формулы Хартли, воспользовавшись определением логарифма, получим:
N = 2 i
Формула Шеннона
Представим, что в опыте с бросанием монеты, последняя окажется несимметричной. В этом случае выпадения «орла» и «решки» имеют различные вероятности реализации. Формулу Хартли для таких случаев применять нельзя.
К. Шеннон в 1948 году предложил для вычисления количества информации в случае не равновероятных событий следующую формулу:
I = p1 * log2 (1 / p1) + p2 * log2 (1 / p2) + ... + pN * log2 (1 / pN)
где I - количество информации,
N - количество возможных событий,
pi - вероятность (частота) наступления i-го события
С математической точки зрения результат, вычисленный по формуле К. Шеннона, – это среднее количество информации, полученное о наступлении одного из возможных событий.