Конвертер Unicode

Unicode (Уникод) — это отраслевой стандарт в информатике, который упорядочивает и кодирует большинство письменных систем мира. Каждый символ Unicode имеет уникальный номер — кодовую точку (Code Point), обычно записываемую в шестнадцатеричном формате с префиксом U+, например U+4E2D для китайского иероглифа «中». Инструмент конвертации Unicode позволяет преобразовывать текст в различные форматы представления Unicode и восстанавливать текст из Unicode-кодов. Unicode описывает символы через code points, а кодировки вроде UTF-8 определяют, как эти code points хранятся в байтах. Это важно при анализе текста с emoji, accents, CJK-символами, symbols, управляющими символами и смешанными письменностями. Один видимый символ может состоять из нескольких code points, особенно с combining marks, variation selectors и emoji sequences. Инструмент помогает отлаживать mojibake, normalization, escape sequences, невидимые символы и расхождения между количеством символов и byte length.

Стандарт Unicode (ISO/IEC 10646) назначает уникальный числовой код каждому символу на 17 плоскостях (от U+0000 до U+10FFFF). Основная многоязычная плоскость (BMP, плоскость 0) охватывает диапазон U+0000–U+FFFF и содержит практически все современные системы письма, включая единые идеограммы CJK. Дополнительные плоскости (1–16) включают исторические письменности, редкие иероглифы CJK, эмодзи и специальные символы. Инструмент выполняет преобразование между читаемым текстом и двумя машинно-ориентированными представлениями: escape-последовательностями \uXXXX в стиле JavaScript и стандартной нотацией U+XXXX. UTF-16 — внутренняя кодировка строк JavaScript: каждый символ BMP хранится как один 16-битный элемент кода, равный его кодовой точке, а дополнительные символы (U+10000 и выше) кодируются суррогатными парами: из кодовой точки вычитается 0x10000, оставляя 20-битное значение, которое затем разделяется на 10-битный старший суррогат (0xD800 + ((cp - 0x10000) >> 10)) и 10-битный младший суррогат (0xDC00 + ((cp - 0x10000) & 0x3FF)). Режим кодирования инструмента определяет дополнительные кодовые точки с помощью String.prototype.codePointAt() и генерирует корректную двухсимвольную escape-последовательность для формата \uXXXX. Для формата U+XXXX полная кодовая точка выводится напрямую. Режим декодирования анализирует три синтаксиса: \uXXXX (четыре шестнадцатеричных цифры, только BMP), \u{XXXXX} (фигурные скобки ES6, поддерживающие полный диапазон Unicode) и U+XXXX (стандартная нотация с переменной длиной шестнадцатеричного числа). Регулярное выражение /\\u\{([0-9a-fA-F]+)\}/g обрабатывает escape-последовательности в фигурных скобках и передаёт их в String.fromCodePoint(), а /\\u([0-9a-fA-F]{4})/g обрабатывает традиционные escape-последовательности через String.fromCharCode(). Корректное сочетание обоих паттернов восстанавливает суррогатные пары, когда дополнительный символ был закодирован двумя escape-последовательностями \u. Кодировка UTF-8 важна, поскольку определяет длину в байтах: символ BMP, например «中» (U+4E2D), кодируется как 3 байта UTF-8 (E4 B8 AD), а эмодзи «😀» (U+1F600) требует 4 байта (F0 9F 98 80). Счётчик символов инструмента различает количество кодовых точек и количество 16-битных элементов кода UTF-16 — это полезно при отладке ограничений длины в базах данных, API или полях форм, которые подсчитывают элементы кода, а не символы.

• Итерация по кодовым точкам: String.prototype.codePointAt(pos) корректно возвращает полную кодовую точку для дополнительных символов, в отличие от charCodeAt(), который возвращает только старший суррогат — инструмент использует оператор расширения [...str] для итерации по кодовым точкам, который внутренне вызывает протокол итератора строк.
• Математика суррогатных пар: для дополнительной кодовой точки CP > 0xFFFF старший суррогат вычисляется как Math.floor((CP - 0x10000) / 0x400) + 0xD800, а младший — как ((CP - 0x10000) % 0x400) + 0xDC00; режим кодирования применяет эту формулу для генерации корректных пар \uD800\uDC00.
• Конвейер декодирования с регулярными выражениями: три паттерна выполняются последовательно — \u{XXXXX} (фигурные скобки ES6) → \uXXXX (четырёхзначный hex) → U+XXXX (стандартная нотация) — при этом fromCodePoint() обрабатывает пути с фигурными скобками и U+, а fromCharCode() — традиционный четырёхзначный путь.
• Байтовая структура UTF-8: символы BMP используют 1–3 байта UTF-8 (ASCII = 1 байт, латинский дополнительный набор = 2 байта, CJK = 3 байта); дополнительные символы используют 4 байта по схеме 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx — счётчик байтов инструмента использует new Blob([str]).size для точного измерения.
• Кодовые точки и элементы кода: один видимый символ может занимать несколько кодовых точек (например, «é» может быть U+00E9 или U+0065 + U+0301 с объединяющим акутом) — инструмент выводит как charCount (элементы кода UTF-16), так и codepointCount (скалярные значения Unicode), чтобы выявить это расхождение.
• Обзор плоскостей Unicode: плоскость 0 (BMP) = современные системы письма, плоскость 1 (SMP) = исторические символы + эмодзи + математические символы, плоскость 2 (SIP) = редкие CJK, плоскость 14 (SSP) = теги + селекторы вариаций, плоскости 15–16 = частное использование — режим кодирования корректно обрабатывает все плоскости через codePointAt().
• Нотация \u и U+: \uXXXX — escape-последовательность JavaScript/Java/C (только без фигурных скобок для BMP); U+XXXX — каноническая нотация Unicode Consortium (минимум 4 шестнадцатеричных цифры, без верхнего предела) — переключатель формата инструмента переключает между этими представлениями.