§ 13. Кодирование текстовых данных

Текст хранится как последовательность кодовых значений, а не как маленькие картинки букв. Шрифт задаёт форму отображения. Замена шрифта может изменить вид буквы, не меняя её код. Латинская A и кириллическая А похожи, но являются разными символами.

При чтении файла необходимо знать кодировку. Одни и те же байты при разных правилах декодирования могут превратиться в разные символы или вызвать ошибку. Кодирование представляет данные, шифрование предназначено для ограничения доступа к содержимому; это разные задачи.

ASCII включает латинские буквы, цифры, знаки и управляющие коды. Его диапазон 0–127. Кириллицы в стандартном ASCII нет. Восьмибитные кодовые страницы могут задавать до 256 значений, но распределяют дополнительные символы по-разному. Поэтому выражение «ASCII — это любые 256 символов» неточно.

Например, латинская A имеет десятичный код 65. В байтовом представлении это 01000001. Для символа, отсутствующего в выбранной таблице, корректный результат — сообщить о невозможности представления, а не незаметно выдать другой знак. Тренажёр явно показывает такое ограничение для русского текста в ASCII.

UTF-8 использует от 1 до 4 байт на кодовую точку: A занимает 1 байт, Ж — 2, 😀 — 4. UTF-16 использует одну или две 16-битные единицы: эти примеры занимают соответственно 2, 2 и 4 байта. Поэтому ни Unicode, ни UTF-16 нельзя описывать правилом «любой символ всегда два байта».

В тренажёре UTF-16 показан с порядком байтов от младшего к старшему (LE), без метки BOM. Видимый знак может состоять из нескольких кодовых точек, например буквы и комбинируемого ударения. Счёт кодовых точек и счёт видимых знаков не всегда совпадают.

Если условие задаёт K символов по i бит каждый, объём равен K*i бит. Пробелы и знаки препинания тоже входят в текст. Для перевода в байты делят число бит на 8; если требуется целое число выделенных байтов, округляют вверх после оговорённой упаковки.

Для UTF-8 нельзя умножать любой текст на одно универсальное число байтов. Строка AЖ😀 имеет три кодовые точки, семь байтов UTF-8 и восемь байтов UTF-16 без BOM. Размер реального файла может включать служебные данные и переводы строк. При школьной модели с двумя байтами на знак нужно явно принять это условие, а не переносить его на все тексты Unicode.