ИНФОРМАТИКА · 10 КЛАСС
Компьютер как универсальное устройство обработки информации · Интерактивный конспект

§ 15. Различные подходы к измерению информации

Известно несколько подходов к измерению количества информации. Разберём содержательный, алфавитный и вероятностный подходы, формулы Хартли и Шеннона, единицы измерения объёма информации и решим задачи на определение количества информации.

Попробовать на модели ↓
Разбираемся в теме

Основные пункты параграфа

1

Содержательный подход

Количество информации определяется тем, в какой мере сообщение уменьшает неопределённость знания.

НАБЛЮДАЙТЕ И ПРОБУЙТЕ

Формула Хартли

Задайте количество равновероятных вариантов N и сколько вариантов M осталось после сообщения: модель вычислит количество информации log₂(N / M). При M = 1 это формула Хартли i = log₂N: для N = 2 — 1 бит, для N = 4 — 2 бита, для N = 6 — около 2,58 бита.

Сегодня информация является одним из основных ресурсов человечества. Поэтому важны ответы на вопросы, как много информации мы получили, передали, обработали, создали.

При содержательном подходе информацию измеряют с точки зрения её содержания, т. е. определяют, в какой мере пришедшая информация (знания) уменьшает незнание. Человек получает знания посредством сообщений: чем больше пополняет наши знания сообщение, тем большее количество информации в нём заключено. Основателем такого подхода является К. Шеннон.

Неопределённость знания о результате некоторого события — количество возможных результатов. Например, учитель обычно даёт 2 варианта контрольной. До контрольной вы не знаете свой вариант, поэтому неопределённость знания равна 2; если вариантов 4, она равна 4.

Если в сообщении содержатся сведения о том, что произошло одно из N равновероятных событий, то количество информации i в нём можно определить из формулы Хартли: N = 2ⁱ, т. е. i = log₂N.

Узнав свой вариант контрольной из двух, вы получите 1 бит информации (2 = 2¹), из четырёх — 2 бита (4 = 2²). Если вариантов 6, то 6 = 2ⁱ и i = log₂6 ≈ 2,58 бита: значение логарифма находят на калькуляторе или по таблице двоичных логарифмов.

Главная мысль: Сообщение, уменьшающее неопределённость знания в два раза, несёт 1 бит информации; для N равновероятных событий количество информации находят из формулы Хартли N = 2ⁱ.
2

Алфавитный подход

Каждый символ алфавита мощностью N несёт i бит информации, где N = 2ⁱ; объём текста V = K · i.

НАБЛЮДАЙТЕ И ПРОБУЙТЕ

Информационный вес символа

Задайте мощность алфавита N и длину сообщения K: модель покажет вес символа log₂N, длину равномерного двоичного кода (целое число бит, округлённое вверх) и объём сообщения. Проверьте: для 16-буквенного алфавита и 21 символа — 4 бита на символ и 84 бита.

Если человек получает текстовое сообщение, количество информации может быть измерено количеством символов в нём. Однако каждый символ алфавита тоже несёт какое-то количество информации. Если предположить, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятно), то количество информации i, которое несёт каждый символ, вычисляется по формуле Хартли N = 2ⁱ, где N — мощность алфавита, т. е. количество символов в нём.

При компьютерном наборе текста на русском языке обычно используются 32 буквы (буква «ё» применяется очень редко). Согласно формуле Хартли 32 = 2⁵, т. е. одна буква русского алфавита несёт 5 бит информации.

Алфавитный (объёмный) подход используется, если для преобразования, хранения и передачи информации применяют технические средства. При использовании двоичного алфавита один символ несёт 1 единицу информации — 1 бит.

Для двоичного представления текстов в компьютере часто используется восьмиразрядный код, с его помощью можно закодировать алфавит из 256 символов. Один символ из алфавита мощностью 256 = 2⁸ несёт в тексте 8 бит информации. Такое количество информации называется байтом. При восьмиразрядном кодировании 1 символ = 1 байт, и объём текста определяется количеством символов в нём. Если текст состоит из K символов, то при алфавитном подходе объём содержащейся в нём информации V = K · i, где i — информационный вес одного символа.

ЕдиницаСколько содержитВ байтах
Килобайт (Кбайт)2¹⁰ = 1024 байта1024
Мегабайт (Мбайт)2²⁰ = 1024 Кбайт1 048 576
Гигабайт (Гбайт)2³⁰ = 1024 Мбайт1 073 741 824
Терабайт (Тбайт)2⁴⁰ = 1024 Гбайт1 099 511 627 776
Петабайт (Пбайт)2⁵⁰ = 1024 Тбайт1 125 899 906 842 624
Эксабайт (Эбайт)2⁶⁰ = 1024 Пбайт1 152 921 504 606 846 976
Зеттабайт (Збайт)2⁷⁰ = 1024 Эбайт1 180 591 620 717 411 303 424
Йоттабайт (Йбайт)2⁸⁰ = 1024 Збайт1 208 925 819 614 629 174 706 176

С точки зрения теории измерений названия единиц с частями «кило», «мега» и др. некорректны: в метрической системе мер эти приставки означают множители 10ⁿ, где n = 3, 6, 9 и т. д. Поэтому в 1999 г. утвердили новые приставки для единиц количества информации: киби (kibi), меби (mebi), гиби (gibi), теби (tebi), пеби (pebi), эксби (exbi); позже добавили зеби и йоби. Сейчас они используются наравне с «кило», «мега» и др.

Главная мысль: При алфавитном подходе символ алфавита мощностью N несёт i бит информации (N = 2ⁱ), а объём текста из K символов V = K · i.
3

Вероятностный подход

Чем меньше вероятность события, тем больше информации несёт сообщение о том, что оно произошло.

НАБЛЮДАЙТЕ И ПРОБУЙТЕ

Вероятность и количество информации

Двигайте ползунок вероятности p: модель вычисляет количество информации из формулы 1/p = 2ⁱ, т. е. i = −log₂p. При p = 0,25 получается 2 бита (красный шар из примера 15.5), при p = 1 — 0 бит: о достоверном событии сообщение не несёт новой информации.

В жизни различные события происходят с разной вероятностью. Событие «летом идёт снег» маловероятно, а у события «осенью идёт дождь» вероятность велика. Если в коробке 10 красных шаров и 40 зелёных, то вероятность достать не глядя зелёный шар больше, чем вероятность достать красный.

Если общее количество возможных исходов какого-либо события равно N, а K из них — те, в которых мы заинтересованы, то вероятность интересующего нас события p = K / N. Например, в коробке 16 красных и 48 зелёных шаров, всего N = 64. Вероятность достать зелёный шар p = 48 / 64 = 0,75, красный — p = 16 / 64 = 0,25: зелёный шар вытащить в 3 раза вероятнее.

Вероятностный подход применяется для измерения количества информации при наступлении событий, имеющих разную вероятность. Связь между вероятностью события p и количеством информации i в сообщении о нём выражается формулой 1/p = 2ⁱ. Сообщение «Из коробки достали красный шар» (p = 0,25): 1 / 0,25 = 4 = 2², т. е. i = 2 бита.

Если произошло одно из нескольких разновероятных событий, количество информации можно определять по формуле Шеннона, предложенной им в 1948 г.: I = −(p₁log₂p₁ + p₂log₂p₂ + … + pₙlog₂pₙ), где I — количество информации, n — количество возможных событий, pᵢ — вероятность i-го события. Если вероятности p₁, …, pₙ равны между собой, каждая из них равна 1/n, и формула Шеннона превращается в формулу Хартли.

Главная мысль: Вероятность события p = K / N; количество информации в сообщении о событии находят из формулы 1/p = 2ⁱ, для разновероятных событий — по формуле Шеннона.
4

Решение задач на определение объёма информации

Если число вариантов не является степенью двойки, количество бит для кодирования одного значения округляют вверх.

НАБЛЮДАЙТЕ И ПРОБУЙТЕ

Формула Шеннона

Задайте количество кубиков каждого цвета: модель вычислит вероятности, количество информации для каждого цвета и среднее количество информации по формуле Шеннона. По умолчанию — пример 15.11*: 10 красных, 8 зелёных, 6 жёлтых, I ≈ 1,5546 бита.

Пример 15.7

Кубик с шестью гранями, выпадение каждой грани равновероятно: 2ⁱ = 6. Округляем в большую сторону: 6 ≤ 8 = 2³, i = 3 бита. Можно рассуждать и так: i = log₂6 ≈ 2,585 бита ≈ 3 бита.

Пример 15.8

Сообщение объёмом 11 Кбайт = 11 · 1024 = 11 264 байта содержит 11 264 символа. Количество байтов равно количеству символов — использована восьмибитная таблица, мощность алфавита 2⁸ = 256.

Пример 15.9

Температура — целое число от −30 до 34 градусов, т. е. одно из 65 значений: 2ⁱ = 65 ≤ 128 = 2⁷, нужно 7 бит.

Пример 15.10

В ящике 32 мяча, сообщение «Извлечён мяч жёлтого цвета» несёт 4 бита: 1/p = 2⁴ = 16, p = x / 32 = 1/16, x = 2 жёлтых мяча.

Пример 15.11*

В коробке 10 красных, 8 зелёных и 6 жёлтых кубиков, всего 24. p = 10/24 ≈ 0,42; 8/24 ≈ 0,33; 6/24 = 0,25. По формуле Шеннона I = −(0,42 · (−1,26) + 0,33 · (−1,58) + 0,25 · (−2)) ≈ 1,55 бита.

Главная мысль: Если число вариантов не является степенью двойки, количество бит для кодирования одного значения округляют вверх: выбирают наименьшее i, при котором 2ⁱ ≥ N.
Интерактивная практика

Исследуйте и примените

Решите упражнения учебника и проверьте ответы на модели, выбирая подходящий подход к измерению информации.

НАБЛЮДАЙТЕ И ПРОБУЙТЕ

Лаборатория: подходы к измерению информации

Выберите подход: равновероятные исходы (формула Хартли), фиксированный код (алфавитный подход), вероятность события или средняя информация (формула Шеннона) — и введите данные задачи.

Соберём главное

Шесть выводов

01

Сообщение, уменьшающее неопределённость знания в два раза, несёт 1 бит информации; для N равновероятных событий количество информации находят из формулы Хартли N = 2ⁱ.

02

При алфавитном подходе символ алфавита мощностью N несёт i бит информации (N = 2ⁱ), а объём текста из K символов V = K · i.

03

Вероятность события p = K / N; количество информации в сообщении о событии находят из формулы 1/p = 2ⁱ, для разновероятных событий — по формуле Шеннона.

04

Если число вариантов не является степенью двойки, количество бит для кодирования одного значения округляют вверх: выбирают наименьшее i, при котором 2ⁱ ≥ N.

05

1 байт = 8 бит; 1 Кбайт = 2¹⁰ = 1024 байта, 1 Мбайт = 1024 Кбайт, 1 Гбайт = 1024 Мбайт.

06

Если все события равновероятны, формула Шеннона превращается в формулу Хартли.

Самопроверка

Тест: 10 вопросов

Один верный ответ. За ответ — 1 балл. Откройте и проверьте себя.

1. Какое сообщение несёт 1 бит информации при содержательном подходе?

2. Что называют неопределённостью знания о результате события?

3. Учитель дал 4 варианта контрольной. Сколько информации вы получите, узнав свой вариант?

4. Сколько бит информации несёт одна буква русского алфавита из 32 букв?

5. Что понимают под мощностью алфавита?

6. Чему равен 1 Мбайт?

7. В коробке 16 красных и 48 зелёных шаров. Какова вероятность достать не глядя зелёный шар?

8. Вероятность достать красный шар равна 0,25. Сколько информации несёт сообщение «Достали красный шар»?

9. Температура — целое число от −30 до 34 градусов. Сколько бит нужно для кодирования одного значения?

10. В какую формулу превращается формула Шеннона, если все события равновероятны?

ВыводыТестВ началоВсе параграфы
↑

Загрузка прогресса…

↑