ИНФОРМАТИКА · 10 КЛАСС
Компьютер как универсальное устройство обработки информации · Интерактивный конспект

§ 13. Кодирование текстовых данных

Текст хранится в памяти компьютера в виде двоичного кода: каждому символу по кодовой таблице ставится в соответствие код. Разберём таблицы ASCII, Windows-1251, КОИ-8, Unicode и UTF-8 и научимся вычислять информационный объём текста.

Попробовать на модели ↓
Разбираемся в теме

Основные пункты параграфа

1

Представление текста

Для записи текста используют символы алфавита, а для записи текста в память компьютера — двоичный код.

НАБЛЮДАЙТЕ И ПРОБУЙТЕ

Символ и его код

Введите текст и выберите кодировку: модель покажет для каждого символа его код в таблице Unicode и байты, которые хранятся в памяти. Шрифт меняет только вид символов — их коды остаются прежними. Сравните, например, латинскую L и русскую Л.

Естественной для органов чувств человека является аналоговая форма представления информации, однако дискретная форма представления с помощью некоторого набора знаков наиболее универсальна. Для записи текста используют символы алфавита.

Представление информации в алфавитной (текстовой) форме — самый распространённый способ со времён изобретения письменности. Информация передаётся в виде текста, записанного на каком-либо языке: русском, белорусском и т. д. Для записи текста на разных языках можно использовать один алфавит: для русского и белорусского языков используют кириллицу, для английского и немецкого — латиницу. Есть и другие алфавиты, например греческий.

Для записи текста в память компьютера используют двоичный код — алфавит из двух символов: 0 и 1.

Тексты вводятся в память компьютера в основном с помощью клавиатуры. Нажатие на определённую клавишу кодирует символ, и в памяти компьютера он хранится в форме двоичного кода. При выводе символа на экран монитора внешний вид символа восстанавливается по его двоичному коду. Кодирование и декодирование текстовых данных происходит также при записи текста в файл и при считывании текста из файла.

Главная мысль: Текст хранится в памяти компьютера в виде двоичных кодов символов; при выводе на экран вид символа восстанавливается по его коду.
2

Понятие кодовой таблицы

Кодовая таблица ставит в соответствие каждому символу компьютерного алфавита двоичный код.

НАБЛЮДАЙТЕ И ПРОБУЙТЕ

Коды в разных кодовых таблицах

Выберите кодовую таблицу: стандартную часть ASCII, ASCII с альтернативной частью (CP866) или Windows-1251. Модель покажет код каждого символа в шестнадцатеричном и двоичном виде. Сравните коды одной и той же русской буквы в разных таблицах.

Текстовая информация состоит из символов: букв, цифр, знаков препинания и др. Множество этих символов образует компьютерный алфавит. Компьютер может обрабатывать информацию только в числовой форме, представленной в виде двоичного кода. Поэтому для кодирования текста каждому символу алфавита ставят в соответствие двоичный код, часто — с одинаковым числом двоичных разрядов: A — 0100 0001, S — 0101 0011, C — 0100 0011, / — 0010 1111, 8 — 0011 1000.

Совокупность всех символов компьютерного алфавита и соответствующих им двоичных кодов записывают в виде таблицы. Такую таблицу называют кодовой (кодировочной) таблицей символов. С помощью кодовых таблиц выполняют кодирование и декодирование текста. Для удобства в кодовых таблицах вместо двоичного кода часто записывают его десятичный или шестнадцатеричный аналог: например, пробел — 32 (20₁₆), цифра 0 — 48 (30₁₆). Чтобы получить двоичный код, число переводят в двоичную систему счисления.

Для разных компьютерных систем могут использоваться различные кодовые таблицы, и в них одним и тем же символам соответствует разный двоичный код. Тогда текст, созданный на одном компьютере, нельзя прочитать на другом без перекодирования — символы отображаются некорректно. Например, фраза «Пример текста», записанная в Windows-1251 и прочитанная как КОИ-8, выглядит как «оПХЛЕП РЕЙЯРЮ».

Кодовая таблицаКод буквы «Л»Десятичное значение
Windows-125111001011203
КОИ-811101100236
CP85511010001209
CP86610001011139

Международным стандартом стала таблица кодировки ASCII (American Standard Code for Information Interchange — американский стандартный код для обмена информацией). Её 8-разрядная версия содержит 2⁸ = 256 символов: каждый символ кодируется последовательностью из 8 нулей и единиц и занимает в памяти 8 бит (1 байт).

Таблица состоит из двух частей. Стандартная часть содержит латинские буквы, цифры, пробел, знаки препинания и специальные символы (+, /, *, %, # и др.) с кодами от 00000000 до 01111111 (0–127); коды всех её символов начинаются с 0. Альтернативная часть — коды от 10000000 до 11111111 (128–255), они начинаются с 1. Она используется для символов национальных алфавитов и псевдографики для рисования рамок и линий (коды 176–223). Собственно стандарт ASCII — 7-битный и описывает коды 0–127, а альтернативная часть в разных таблицах своя; коды русских букв в примерах ниже — из таблицы CP866.

Латинские и русские буквы (прописные и строчные) идут в таблице по алфавиту, а цифры — в порядке возрастания. Это правило обычно соблюдается и в других кодовых таблицах, поэтому текстовые данные можно сортировать по алфавиту, а числовые — по возрастанию.

Код символа «@»

Номер символа в таблице — 64. 64 = 1000000₂; для 8-битного кода добавляем 0 впереди: 01000000.

Код буквы «Ф»

Десятичный код буквы — 148. 148 = 10010100₂ — двоичный код «Ф».

Шестнадцатеричный код «Z»

Десятичный код буквы — 90. 90 = 5A₁₆.

Декодирование

10101000 10101101 11100100 10101110 11100000 10101100 10100000 11100010 10101000 10101010 10100000 → 168 173 228 174 224 172 160 226 168 170 160 → «информатика».

Главная мысль: Кодовая таблица ставит в соответствие каждому символу двоичный код; в 8-разрядной таблице ASCII 256 символов, и каждый занимает 1 байт.
3

Unicode и UTF-8

В Unicode каждый символ кодируется 16 битами, в UTF-8 — переменным количеством байтов, от 1 до 4.

НАБЛЮДАЙТЕ И ПРОБУЙТЕ

Unicode и UTF-8

Сравните коды одного и того же текста в Unicode и в UTF-8. Для слова «диск» коды Unicode — 0434 0438 0441 043A (байты в памяти показаны от младшего к старшему). В UTF-8 латинская буква занимает 1 байт, а русская — 2.

Если нужно работать с текстами сразу на нескольких языках, 256 символов недостаточно. Сейчас широко используют кодировку Unicode (Юникод). В ней компьютерный алфавит состоит не из 256, а из 65 536 символов: для кодирования одного символа используется последовательность из 0 и 1 длиной 16 символов, и каждый символ занимает в памяти 2 байта. (Сегодня стандарт Юникода включает уже более 150 тысяч символов; редкие символы и эмодзи в 16-битной форме записи занимают 4 байта. В задачах считают, что символ Unicode занимает 2 байта.)

Стандартная часть кодовой таблицы ASCII совпадает с началом таблицы Unicode, поэтому тексты из цифр и английских букв без труда читаются и в кодировке Unicode. Русские символы в таблице ASCII имеют коды начиная с 80₁₆ = 128₁₀, а в таблице Unicode — с 0410₁₆ (код прописной буквы А). Поэтому тексты на русском языке, набранные в ASCII, неверно отображаются при просмотре в Unicode, и для правильного просмотра текст необходимо преобразовать. Слово «диск» в ASCII — A4 A8 E1 AA (164 168 225 170), а в Unicode — 0434 0438 0441 043A.

Распространена кодировка UTF-8 (англ. Unicode Transformation Format, 8-bit — формат преобразования Юникода, 8 бит). Она позволяет более компактно хранить и передавать символы, используя для кодирования переменное количество байтов — от 1 до 4. Стандарт UTF-8 сейчас самый распространённый в Интернете. Латинские буквы, цифры и наиболее распространённые знаки препинания кодируются в UTF-8 одним байтом, и их коды совпадают с кодами в ASCII. Кириллические символы кодируются двумя байтами.

СимволUTF-8Unicode
L4C (1 байт)00 4C
ЛD0 9B (2 байта)04 1B

Просмотреть кодовую таблицу можно в программе Таблица символов (в Windows 7 — Стандартные → Служебные → Таблица символов, в Windows 10 — папка «Стандартные — Windows»; программу можно найти и поиском). Чтобы узнать код символа, выберите его в таблице: во всплывающей подсказке и внизу окна будет указан шестнадцатеричный код символа и его название на английском языке. Чтобы найти символ по коду, введите шестнадцатеричный код в поле Поиск. В списке Набор символов можно выбрать определённый алфавит.

При открытии текстового документа в неподходящей кодировке Word предлагает выбрать кодировку, которая позволит его прочитать: Кириллица (Windows), Кириллица (DOS), Кириллица (KOI8-R) и др.

Главная мысль: В Unicode каждый символ кодируется 2 байтами (65 536 символов), в UTF-8 — от 1 до 4 байтов: латинские буквы — 1 байт, кириллические — 2.
4

Решение задач на кодирование текста

Информационный объём текста зависит от количества символов в нём и от способа кодирования символов.

НАБЛЮДАЙТЕ И ПРОБУЙТЕ

Информационный объём текста

Модель считает объём введённого текста в выбранной кодировке. По умолчанию — предложение из примера 13.14 «Программирование — вторая грамотность.» в Unicode: 38 символов, 76 байт. Пробелы и знаки препинания тоже считаются символами.

Информационный объём текста зависит от количества символов в нём и способа кодирования символов. Информационный вес одного символа равен 1 байту при использовании однобайтных (8-битных) кодовых таблиц и 2 байтам при использовании таблицы Unicode. В UTF-8 информационный вес символа может составлять от 1 до 4 байтов.

Пример 13.14

Предложение «Программирование — вторая грамотность.» закодировано в Unicode. В нём 38 символов (с пробелами, тире и точкой): 38 · 2 = 76 байт.

Пример 13.15

При перекодировке из Unicode в ASCII объём сообщения уменьшился на 12 байт. Объём уменьшился в 2 раза, значит, исходный — 12 · 2 = 24 байта = 24 · 8 = 192 бита.

Пример 13.16

Сообщение 8,5 Кбайт = 8,5 · 1024 = 8704 байта содержит 8704 символа. 1 символ = 1 байт = 8 бит, а 8 битами можно закодировать 2⁸ = 256 символов.

Пример 13.17*

Из UTF-8 (латиница — 1 байт, кириллица — 2) в Unicode: было 15 Кбайт, стало 21 Кбайт. Символов (21 · 1024) / 2 = 10 752; если бы все были латинскими, объём в UTF-8 был бы 10 752 байта. 15 360 − 10 752 = 4608 русских символов.

Пример 13.18

Рассказ занимает 80 Кбайт, на странице 30 строк по 45 символов, Unicode. На странице 30 · 45 = 1350 символов, 1350 · 2 = 2700 байт. 80 · 1024 = 81 920 байт; 81 920 / 2700 ≈ 30,34, т. е. 31 страница.

Главная мысль: Информационный объём текста равен произведению количества символов на информационный вес одного символа: 1 байт в 8-битной таблице, 2 байта в Unicode.
Интерактивная практика

Исследуйте и примените

Проверьте на модели ответы упражнений учебника: закодируйте слова, определите информационный объём сообщений в разных кодировках.

НАБЛЮДАЙТЕ И ПРОБУЙТЕ

Лаборатория: кодирование текста

Введите текст (до 60 символов) и выберите кодировку: модель покажет код каждого символа и объём текста в байтах и битах. Символы, которых нет в выбранной кодовой таблице, отмечаются как непредставимые.

Соберём главное

Шесть выводов

01

Текст хранится в памяти компьютера в виде двоичных кодов символов; при выводе на экран вид символа восстанавливается по его коду.

02

Кодовая таблица ставит в соответствие каждому символу двоичный код; в 8-разрядной таблице ASCII 256 символов, и каждый занимает 1 байт.

03

В Unicode каждый символ кодируется 2 байтами (65 536 символов), в UTF-8 — от 1 до 4 байтов: латинские буквы — 1 байт, кириллические — 2.

04

Информационный объём текста равен произведению количества символов на информационный вес одного символа: 1 байт в 8-битной таблице, 2 байта в Unicode.

05

В разных кодовых таблицах один и тот же символ имеет разный код, поэтому без перекодирования текст может отображаться некорректно.

06

Стандартная часть таблицы ASCII совпадает с началом таблицы Unicode; коды символов можно узнать в программе Таблица символов.

Самопроверка

Тест: 10 вопросов

Один верный ответ. За ответ — 1 балл. Откройте и проверьте себя.

1. Как называют таблицу, в которой символам компьютерного алфавита поставлены в соответствие двоичные коды?

2. Сколько символов содержит 8-разрядная кодовая таблица ASCII?

3. Какие коды имеют символы альтернативной части таблицы ASCII?

4. Десятичный код символа «@» равен 64. Каков его 8-битный двоичный код?

5. Какой код имеет буква «Л» в кодовой таблице Windows-1251?

6. Сколько байтов отводится на один символ в 16-битной кодировке Unicode?

7. Сколько байтов занимает русская буква в кодировке UTF-8?

8. С какого шестнадцатеричного кода начинаются русские буквы в таблице Unicode?

9. Предложение из 38 символов закодировано в Unicode. Каков его информационный объём?

10. При перекодировке из Unicode в ASCII объём сообщения уменьшился на 12 байт. Сколько бит было в исходном сообщении?

ВыводыТестВ началоВсе параграфы
↑

Загрузка прогресса…

↑