Содержательный подход
Количество информации определяется тем, в какой мере сообщение уменьшает неопределённость знания.
Формула Хартли
Задайте количество равновероятных вариантов N и сколько вариантов M осталось после сообщения: модель вычислит количество информации log₂(N / M). При M = 1 это формула Хартли i = log₂N: для N = 2 — 1 бит, для N = 4 — 2 бита, для N = 6 — около 2,58 бита.
Сегодня информация является одним из основных ресурсов человечества. Поэтому важны ответы на вопросы, как много информации мы получили, передали, обработали, создали.
При содержательном подходе информацию измеряют с точки зрения её содержания, т. е. определяют, в какой мере пришедшая информация (знания) уменьшает незнание. Человек получает знания посредством сообщений: чем больше пополняет наши знания сообщение, тем большее количество информации в нём заключено. Основателем такого подхода является К. Шеннон.
Неопределённость знания о результате некоторого события — количество возможных результатов. Например, учитель обычно даёт 2 варианта контрольной. До контрольной вы не знаете свой вариант, поэтому неопределённость знания равна 2; если вариантов 4, она равна 4.
Если в сообщении содержатся сведения о том, что произошло одно из N равновероятных событий, то количество информации i в нём можно определить из формулы Хартли: N = 2ⁱ, т. е. i = log₂N.
Узнав свой вариант контрольной из двух, вы получите 1 бит информации (2 = 2¹), из четырёх — 2 бита (4 = 2²). Если вариантов 6, то 6 = 2ⁱ и i = log₂6 ≈ 2,58 бита: значение логарифма находят на калькуляторе или по таблице двоичных логарифмов.