ASCII-Tabellenabfrage

ASCII (American Standard Code for Information Interchange) ist ein Zeichenkodierungsstandard basierend auf dem lateinischen Alphabet. Ursprünglich für die Telegrafenkommunikation entwickelt, wurde es zum grundlegenden Zeichenkodierungssystem in der Computerwelt. Standard-ASCII enthält 128 Zeichen (0-127), einschließlich 33 Steuerzeichen und 95 druckbare Zeichen. Praktisch ist eine ASCII-Tabelle vor allem beim Debuggen von Encodings, Steuerzeichen, Protokollen, Escape-Sequenzen und alten Dateiformaten. Dezimal-, Hex- und Binärwerte zeigen, wie ein Zeichen tatsächlich gespeichert oder übertragen wird. Moderne Texte verwenden meist Unicode, daher deckt ASCII nur den historischen 7-Bit-Kern ab. Für internationale Zeichen, Emoji oder typografische Sonderzeichen muss zusätzlich Unicode betrachtet werden.

ASCII (American Standard Code for Information Interchange, ANSI X3.4-1968, ISO/IEC 646:1991 IRV) ist eine 7-Bit-Zeichenkodierung, die numerische Codes 0–127 auf 128 Zeichen abbildet. Die unteren 32 Codes (0x00–0x1F) plus 0x7F sind Steuerzeichen, die von Fernschreibern übernommen wurden: NUL (0x00), BEL (0x07, der Alarmton), LF (0x0A, Zeilenvorschub), CR (0x0D, Wagenrücklauf), ESC (0x1B), DEL (0x7F) usw. Codes 0x20–0x7E sind druckbar: Leerzeichen, die Ziffern 0–9 bei 0x30–0x39, die Großbuchstaben A–Z bei 0x41–0x5A, die Kleinbuchstaben a–z bei 0x61–0x7A und Satzzeichen dazwischen. Die Kodierung hat eine bewusst regelmäßige Struktur. Die Ziffern sind gruppiert: '0' = 0x30, '1' = 0x31, ..., '9' = 0x39. Die Umrechnung eines Ziffernzeichens in seinen numerischen Wert ist `code - 0x30`. Die Buchstaben sind ebenfalls gruppiert: 'A' = 0x41, 'B' = 0x42, ..., 'Z' = 0x5A, und 'a' = 0x61, ..., 'z' = 0x7A. Die Differenz zwischen Groß- und Kleinbuchstabe desselben Buchstabens beträgt 0x20 (32), was genau ein gesetztes Bit an Position 5 ist (1 << 5 = 32). Damit wird die Groß-/Kleinschreibung zu einem einzigen XOR oder OR/AND mit 0x20: `code ^ 0x20` tauscht die Groß-/Kleinschreibung, `code | 0x20` wandelt in Kleinbuchstaben, `code & 0x5F` (= `code & ~0x20`) wandelt in Großbuchstaben. Dieser Bit-Trick ist die schnellste mögliche Groß-/Kleinschreibungsumwandlung und findet sich in strlen/strcmp-Implementierungen für rein-ASCII-Zeichenketten. ASCII wurde für 7-Bit-Fernschreiber und den vorangegangenen 5-stufigen Baudot-Code entworfen und existierte daher vor den 8-Bit-Bytes. Der 8-Bit-„erweiterte ASCII“-Bereich (0x80–0xFF) wurde nie standardisiert, weshalb so viele Codepages (ISO 8859-1 Latin-1, Windows-1252, MacRoman, KOI8-R, IBM437) um die obere Hälfte konkurrierten. ISO 8859-1 (Latin-1) war das nächste an einem Standard, fehlte aber das Eurozeichen bis ISO 8859-15. Der C1-Steuerbereich (0x80–0x9F) sollte reserviert sein (ISO 6429), aber Windows-1252 verwendete einige davon für druckbare Zeichen — ein langjähriges Interoperabilitätsproblem, das UTF-8 endgültig löste. UTF-8 (RFC 3629, 2003) wurde 1992 von Rob Pike und Ken Thompson als abwärtskompatible Obermenge entworfen: Die 128 ASCII-Codes kodieren sich selbst als einzelne Bytes (0x00–0x7F), sodass jeder ASCII-Text auch ein gültiger UTF-8-Text ist. Codes über 0x7F verwenden 2-, 3- oder 4-Byte-Sequenzen mit spezifischen Bitmustern (110xxxxx 10xxxxxx, 1110xxxx 10xxxxxx 10xxxxxx, 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx), sodass ein Decoder nach einem Fehler byteweise resynchronisieren kann. EBCDIC hingegen war IBMs 8-Bit-Großrechner-Kodierung (8-Bit EBCDIC war 8-Bit, nicht 7-Bit wie ASCII) und weist Buchstaben nicht zusammenhängende Codestellen zu ('A' = 0xC1, 'I' = 0xC9, 'J' = 0xD1, ..., mit Lücken, die Bit-Tricks und Zeichenkettenalgorithmen beeinträchtigen). Nationale Varianten von ISO 646 ersetzten eine kleine Anzahl von ASCII-Zeichen durch länderspezifische Buchstaben. Die britische Variante ersetzte 0x23 (das amerikanische '#') durch das Pfundzeichen '£', und die deutsche Variante ersetzte einige Satzzeichen durch Umlaute. Daher waren C-Locale-Einstellungen und POSIX-Charmap-Dateien historisch wichtig — sie bildeten zwischen dem IRV (International Reference Version) und nationalen Varianten ab. Der Ausweg aus diesem Durcheinander ist Unicode / UTF-8, der die gesamte 7-Bit- und 8-Bit-Debatte für jedes neue Projekt obsolet macht.

• ASCII (ANSI X3.4-1968, ISO/IEC 646 IRV) verwendet 7 Bit pro Zeichen mit 128 Codepoints: 33 Steuerzeichen (0x00–0x1F, 0x7F) und 95 druckbare Zeichen (0x20–0x7E).
• Steuerzeichen (0x00–0x1F, 0x7F) wurden von Fernschreibern übernommen: NUL, BEL (0x07, Alarmton), LF (0x0A), CR (0x0D), ESC (0x1B), DEL (0x7F). Moderne Texte verwenden noch LF und CR; der Rest ist größtenteils Geschichte.
• Druckbares Layout: Leerzeichen (0x20), Ziffern '0'–'9' (0x30–0x39), Großbuchstaben 'A'–'Z' (0x41–0x5A), Kleinbuchstaben 'a'–'z' (0x61–0x7A), Satzzeichen dazwischen. '5' zu 5 wird via `code - 0x30`; Groß- zu Kleinbuchstabe via `code | 0x20`.
• Die Groß-/Kleinschreibungsumwandlung ist eine einzelne Bit-Operation: XOR 0x20 tauscht Groß-/Klein; OR 0x20 erzeugt Kleinbuchstaben; AND 0x5F (= `code & ~0x20`) erzeugt Großbuchstaben. Das ist die schnellste Groß-/Kleinschreibungsumwandlung in jeder Sprache und so funktionieren strlen/strcmp auf reinen ASCII-Puffern.
• 8-Bit-Erweiterungen (0x80–0xFF) wurden nie standardisiert, daher definierten Windows-1252, ISO-8859-1, MacRoman, KOI8-R und IBM437 die obere Hälfte unterschiedlich. Windows-1252 setzte sich im Web durch und ist das faktische „erweiterte ASCII“, das der meiste Legacy-Code verwendet.
• UTF-8 (RFC 3629, Pike & Thompson 1992) ist eine strikte Obermenge von ASCII: Die 128 ASCII-Codepoints kodieren sich selbst in 1 Byte; Codepoints über U+007F verwenden 2–4 Bytes mit 110xxxxx 10xxxxxx-Fortsetzungsbytes, sodass Decoder nach Fehlern byteweise resynchronisieren können.
• EBCDIC (IBM, 1960er Großrechner) ist die 8-Bit-Alternative zu ASCII auf IBM z/OS. Buchstabenpositionen sind nicht zusammenhängend ('A'=0xC1, 'I'=0xC9, 'J'=0xD1), daher funktioniert der ASCII-Groß-/Kleinschreibungs-Trick nicht und Bit-Shift-Algorithmen wie tolower() benötigen Tabellenlookups.
• ISO-646-Ländervarianten (britisch, deutsch, schwedisch usw.) ersetzten eine kleine Anzahl von ASCII-Zeichen durch länderspezifische Buchstaben: Die britische Variante tauschte '#' gegen '£' bei 0x23, die deutsche Variante tauschte Satzzeichen gegen Umlaute. Vor-Unicode-Lokalisierung in Kürze.