Unicode-Konverter

Unicode ist ein Industriestandard in der Informatik, der die meisten Schriftsysteme der Welt kodiert. Jedem Unicode-Zeichen wird eine einzigartige Nummer zugewiesen, der sogenannte Code Point, üblicherweise hexadezimal mit U+-Präfix angegeben, z.B. U+4E2D für das chinesische Zeichen '中'. Das Unicode-Konvertierungswerkzeug kann Text in verschiedene Unicode-Darstellungsformate konvertieren und Unicode-Kodierungen zurück in Text umwandeln. Unicode beschreibt Zeichen über Codepoints, während Kodierungen wie UTF-8 festlegen, wie diese Codepoints als Bytes gespeichert werden. Das ist wichtig, wenn Text mit Emoji, Akzenten, CJK-Zeichen, Symbolen, Steuerzeichen oder gemischten Schriften analysiert wird. Ein sichtbares Zeichen kann aus mehreren Codepoints bestehen, etwa bei kombinierenden Zeichen oder Emoji-Sequenzen. Das Werkzeug hilft beim Debuggen von Mojibake, Normalisierung, Escape-Sequenzen und unsichtbaren Zeichen.

Der Unicode-Standard (ISO/IEC 10646) weist jedem Zeichen über 17 Ebenen (U+0000 bis U+10FFFF) einen eindeutigen numerischen Codepoint zu. Die Basic Multilingual Plane (BMP, Ebene 0) umfasst U+0000–U+FFFF und enthält nahezu alle modernen Schriftsysteme einschließlich CJK Unified Ideographs. Ergänzende Ebenen (1–16) enthalten historische Schriften, seltene CJK-Zeichen, Emoji und Sonderzeichen. Das Tool konvertiert zwischen lesbarem Text und zwei maschinenorientierten Darstellungen: JavaScript-artige \uXXXX-Escape-Sequenzen und die Standardnotation U+XXXX. UTF-16 ist die interne Kodierung von JavaScript-Zeichenfolgen — jedes BMP-Zeichen wird als ein einzelnes 16-Bit-Code-Unit gespeichert, das seinem Codepoint entspricht, während ergänzende Zeichen (U+10000 und darüber) als Surrogate-Paare kodiert werden: Vom Codepoint wird 0x10000 subtrahiert, sodass ein 20-Bit-Wert verbleibt, der dann in ein 10-Bit-High-Surrogate (0xD800 + ((cp - 0x10000) >> 10)) und ein 10-Bit-Low-Surrogate (0xDC00 + ((cp - 0x10000) & 0x3FF)) aufgeteilt wird. Der Kodiermodus des Tools erkennt ergänzende Codepoints über String.prototype.codePointAt() und erzeugt die korrekte Doppel-Escape-Sequenz für das \uXXXX-Format. Für das U+XXXX-Format wird der vollständige Codepoint direkt angezeigt. Der Dekodiermodus verarbeitet drei Syntaxen: \uXXXX (vier Hexadezimalziffern, nur BMP), \u{XXXXX} (ES6-Geschweifte-Klammer-Syntax für den gesamten Unicode-Bereich) und U+XXXX (die Standardnotation mit variabler Hexlänge). Der reguläre Ausdruck /\\u\{([0-9a-fA-F]+)\}/g behandelt geschweifte-Klammer-Escapes und leitet sie an String.fromCodePoint() weiter, während /\\u([0-9a-fA-F]{4})/g traditionelle Escapes über String.fromCharCode() verarbeitet. Die korrekte Mischung beider rekonstruiert Surrogate-Paare, wenn ein ergänzendes Zeichen als zwei \u-Escapes kodiert wurde. Die UTF-8-Kodierung ist relevant, weil sie die Bytelänge bestimmt: Ein BMP-Zeichen wie „中“ (U+4E2D) wird als 3 UTF-8-Bytes kodiert (E4 B8 AD), während ein Emoji wie „😀“ (U+1F600) 4 Bytes benötigt (F0 9F 98 80). Der Zeichenzähler des Tools unterscheidet zwischen Codepoint-Anzahl und UTF-16-Code-Unit-Anzahl — eine nützliche Unterscheidung beim Debuggen von Längenbegrenzungen in Datenbanken, APIs oder Formularfeldern, die Code-Units statt Zeichen zählen.

• Codepoint-Iteration: String.prototype.codePointAt(pos) gibt den vollständigen Codepoint für ergänzende Zeichen zurück, anders als charCodeAt(), das nur das High-Surrogate liefert — das Tool verwendet den Spread-Operator [...str] zur iteration nach Codepoints, der intern das Zeichenketten-Iterator-Protokoll aufruft.
• Surrogate-Paar-Mathematik: Für einen ergänzenden Codepoint CP > 0xFFFF ist das High-Surrogate Math.floor((CP - 0x10000) / 0x400) + 0xD800 und das Low-Surrogate ((CP - 0x10000) % 0x400) + 0xDC00 — der Kodiermodus wendet diese Formel an, um gültige \uD800\uDC00-Paare zu erzeugen.
• Dekodier-Regex-Pipeline: Drei Muster werden nacheinander ausgeführt — \u{XXXXX} (ES6-Geschweifte Klammern) → \uXXXX (vierstelliger Hexadezimalwert) → U+XXXX (Standardnotation) — wobei fromCodePoint() die geschweifte-Klammer- und U+-Pfade behandelt und fromCharCode() den traditionellen vierstelligen Pfad.
• UTF-8-Byte-Struktur: BMP-Zeichen verwenden 1–3 UTF-8-Bytes (ASCII = 1 Byte, Lateinisch ergänzend = 2 Bytes, CJK = 3 Bytes); ergänzende Zeichen verwenden 4 Bytes nach dem Muster 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx — der Bytezähler des Tools nutzt new Blob([str]).size für genaue Messung.
• Codepoint gegen Code-Unit: Ein einzelnes sichtbares Zeichen kann mehrere Codepoints belegen (z. B. é kann U+00E9 oder U+0065 + U+0301 mit kombinierendem Akut sein) — das Tool meldet sowohl charCount (UTF-16-Code-Units) als auch codepointCount (Unicode-Skalarwerte), um diese Abweichung sichtbar zu machen.
• Unicode-Ebenen-Übersicht: Ebene 0 (BMP) = moderne Schriften, Ebene 1 (SMP) = historisch + Emoji + Mathematik, Ebene 2 (SIP) = seltene CJK-Zeichen, Ebene 14 (SSP) = Tags + Variationsselektoren, Ebenen 15–16 = Privatgebrauch — der Kodiermodus behandelt alle Ebenen korrekt über codePointAt().
• \u- gegen U+-Notation: \uXXXX ist die JavaScript/Java/C-Escape-Sequenz (nur BMP ohne geschweifte Klammern); U+XXXX ist die kanonische Notation des Unicode-Konsortiums (mindestens 4 Hexadezimalziffern, keine Obergrenze) — der Formatumschalter des Tools wechselt zwischen diesen Darstellungen.