Запрос таблицы ASCII

ASCII (American Standard Code for Information Interchange) — система кодирования символов на основе латинского алфавита. Изначально использовалась для телеграфной связи, позже стала базовым стандартом кодирования символов в компьютерах. Стандартный ASCII содержит 128 символов (0-127), включая 33 управляющих символа и 95 печатных символов. Таблица ASCII особенно полезна при отладке кодировок, управляющих символов, протоколов, escape sequences, терминалов и старых форматов файлов. Десятичные, шестнадцатеричные и двоичные значения показывают, как символ реально хранится или передается. Современный текст обычно использует Unicode, поэтому ASCII покрывает только историческое 7-битное ядро. Для международных символов, emoji, типографики и многоязычного текста нужно отдельно смотреть code points Unicode и правила кодирования.

ASCII (American Standard Code for Information Interchange, ANSI X3.4-1968, ISO/IEC 646:1991 IRV) — это 7-битная кодировка символов, присваивающая числовые коды 0–127 для 128 символов. Нижние 32 кода (0x00–0x1F) плюс 0x7F — управляющие символы, унаследованные от телетайпов: NUL (0x00), BEL (0x07, звуковой сигнал), LF (0x0A, перевод строки), CR (0x0D, возврат каретки), ESC (0x1B), DEL (0x7F) и так далее. Коды 0x20–0x7E — печатные: пробел, цифры 0–9 на позициях 0x30–0x39, заглавные буквы A–Z на 0x41–0x5A, строчные буквы a–z на 0x61–0x7A и знаки препинания между ними. Кодировка имеет намеренно регулярную структуру. Цифры сгруппированы: '0' = 0x30, '1' = 0x31, ..., '9' = 0x39. Преобразование цифрового символа в числовое значение — это `code − 0x30`. Буквы также сгруппированы: 'A' = 0x41, 'B' = 0x42, ..., 'Z' = 0x5A, и 'a' = 0x61, ..., 'z' = 0x7A. Разница между заглавной и строчной для одной буквы — 0x20 (32), что соответствует ровно одному биту в позиции 5 (1 << 5 = 32). Это делает смену регистра одной операцией XOR или OR/AND с 0x20: `code ^ 0x20` переключает регистр, `code | 0x20` переводит в нижний, `code & 0x5F` (= `code & ~0x20`) — в верхний. Этот битовый трюк — самая быстрая смена регистра и используется в реализациях strlen/strcmp для строк, содержащих только ASCII. ASCII был разработан для 7-битных телетайпов и предшествовавшего 5-уровневого кода Бодо, поэтому предшествует 8-битным байтам. Диапазон 8-битного «расширенного ASCII» (0x80–0xFF) никогда не был стандартизирован, поэтому множество кодовых страниц (ISO 8859-1 Latin-1, Windows-1252, MacRoman, KOI8-R, IBM437) конкурировали за верхнюю половину. ISO 8859-1 (Latin-1) был ближе всего к стандарту, но даже в нём не было символа евро до ISO 8859-15. Диапазон управляющих символов C1 (0x80–0x9F) должен был быть зарезервирован (ISO 6429), но Windows-1252 использовал часть из них для печатных символов — давняя проблема совместимости, которую наконец решил UTF-8. UTF-8 (RFC 3629, 2003) был разработан Rob Pike и Ken Thompson в 1992 году как обратно совместимое надмножество: 128 кодов ASCII кодируются сами в себя как одиночные байты (0x00–0x7F), поэтому любой текст ASCII также является корректным текстом UTF-8. Коды выше 0x7F используют 2-, 3- или 4-байтовые последовательности с определёнными битовыми шаблонами (110xxxxx 10xxxxxx, 1110xxxx 10xxxxxx 10xxxxxx, 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx), позволяя декодеру ресинхронизироваться побайтово после ошибки. EBCDIC, напротив, — 8-битная кодировка мейнфреймов IBM (8-битный EBCDIC был 8-битным, а не 7-битным, как ASCII) с буквами на несмежных кодовых позициях ('A' = 0xC1, 'I' = 0xC9, 'J' = 0xD1, ..., с промежутками, мешающими битовым трюкам и строковым алгоритмам). Национальные варианты ISO 646 заменяли небольшой набор символов ASCII буквой, специфичной для страны. Например, британский вариант заменил 0x23 (американский '#') на символ фунта '£', а немецкий — часть знаков препинания на умлауты. Именно поэтому настройки локали в C и файлы charmap POSIX были исторически важны — они отображали соответствие между IRV (International Reference Version) и национальными вариантами. Выходом из этого хаоса стал Unicode / UTF-8, делающий всю дискуссию о 7-битных и 8-битных кодировках устаревшей для любого нового проекта.

• ASCII (ANSI X3.4-1968, ISO/IEC 646 IRV) использует 7 бит на символ с 128 кодовыми позициями: 33 управляющих символа (0x00–0x1F, 0x7F) и 95 печатных символов (0x20–0x7E).
• Управляющие символы (0x00–0x1F, 0x7F) унаследованы от телетайпов: NUL, BEL (0x07, звуковой сигнал), LF (0x0A), CR (0x0D), ESC (0x1B), DEL (0x7F). В современном тексте по-прежнему используются LF и CR; остальные — в основном история.
• Расположение печатных символов: пробел (0x20), цифры '0'–'9' (0x30–0x39), заглавные 'A'–'Z' (0x41–0x5A), строчные 'a'–'z' (0x61–0x7A), знаки препинания между ними. Преобразование '5' в 5 — это `code − 0x30`; перевод в нижний регистр — `code | 0x20`.
• Смена регистра — одна битовая операция: XOR 0x20 переключает регистр; OR 0x20 переводит в нижний; AND 0x5F (= `code & ~0x20`) — в верхний. Это самая быстрая смена регистра в любом языке; именно так работают strlen/strcmp в буферах, содержащих только ASCII.
• 8-битные расширения (0x80–0xFF) никогда не были стандартизированы, поэтому Windows-1252, ISO-8859-1, MacRoman, KOI8-R, IBM437 по-разному определяют верхнюю половину. Windows-1252 победил в вебе и является де-факто «расширенным ASCII», который использует большинство унаследованного кода.
• UTF-8 (RFC 3629, Pike & Thompson, 1992) — строгое надмножество ASCII: 128 кодовых позиций ASCII кодируются сами в себя в 1 байт; кодовые позиции выше U+007F используют 2–4 байта с continuation-байтами вида 110xxxxx 10xxxxxx, поэтому декодеры могут ресинхронизироваться побайтово после ошибок.
• EBCDIC (IBM, мейнфреймы 1960-х) — 8-битная альтернатива ASCII, используемая на IBM z/OS. Позиции букв несмежные ('A'=0xC1, 'I'=0xC9, 'J'=0xD1), поэтому трюк смены регистра из ASCII не работает, и алгоритмы побитового сдвига вроде tolower() требуют табличного поиска.
• Национальные варианты ISO 646 (британский, немецкий, шведский и др.) заменяли небольшой набор символов ASCII на буквы, специфичные для страны: британский вариант заменил '#' на '£' на позиции 0x23, немецкий — знаки препинания на умлауты. Локализация до Unicode в двух словах.