§ 15. Различные подходы к измерению информации

Содержательный подход связывает сообщение с уменьшением незнания. В количественной модели равновероятных исходов I=log₂N, или N=2^I. Выбор одного из двух равновероятных вариантов даёт 1 бит, из восьми — 3 бита. Если сообщение оставляет M из N одинаково вероятных вариантов, уменьшение неопределённости равно log₂(N/M).

Количество информации в этой модели не оценивает красоту текста или его важность для человека. Для честного кубика I=log₂6≈2,585 бита. Это допустимое дробное значение. Три бита нужны для отдельного кода каждой грани фиксированной длины; округление меняет вопрос, на который мы отвечаем.

При равновероятных символах информационный вес одного символа равен log₂N. Если каждый символ кодируется одинаковым целым числом бит, берут наименьшее i, при котором 2^i ≥ N. Для пяти символов это 3 бита, хотя log₂5≈2,322. Часть трёхбитных комбинаций останется неиспользованной.

Для K символов по i бит объём кода V=K*i бит. Если запись плотно упакована, количество выделенных байтов равно ceil(V/8). Если каждый символ отдельно выравнивают до целого байта, результат может быть больше. Для N=1 теоретически дополнительных бит на выбор символа не нужно, но хранение длины и формата сообщения — отдельная задача.

Если равновероятных исходов N, а благоприятных K, то p=K/N. Чем меньше p, тем больше информация о наступлении именно этого события. Для p=1/4 получаем 2 бита; для достоверного события p=1 — 0 бит. При p=0 событие в модели невозможно: конечного значения по формуле нет.

Если среди 32 мячей жёлтый выбирается с информацией 4 бита, то p=2⁻⁴=1/16, число жёлтых 32/16=2. Вероятности должны соответствовать условиям опыта. Выбор без возвращения может менять вероятность следующего результата, поэтому нельзя автоматически повторять первоначальное p.

Для нескольких исходов вероятности неотрицательны и в сумме равны 1. Вклад исхода с p=0 принимают равным нулю. Для цветов с количествами 10, 8 и 6 всего 24 предмета: вероятности 10/24, 8/24, 6/24; средняя информация около 1,555 бита. Сообщения о конкретных цветах имеют разные количества информации.

Сначала определите вопрос: узнаём исход, кодируем символ или считаем размер файла? Затем выпишите условия равновероятности, длину кода и единицы. Температуры от −30 до 34 включительно дают 65 значений, поэтому для фиксированного кода нужно 7 бит: шести хватает лишь на 64 варианта. Округляют только там, где задача требует целого числа разрядов или байтов.