Zeichenfrequenzanalysetool

Die Zeichenhäufigkeitsanalyse zählt, wie oft jedes Zeichen in einem Text vorkommt und welchen Anteil es am Gesamttext hat. Sie betrachtet nicht nur Buchstaben, sondern je nach Eingabe auch Zahlen, Satzzeichen, Leerzeichen, CJK-Zeichen, Symbole und seltene Steuerzeichen. Das ist nützlich für Kryptografieübungen, einfache Substitutionsanalyse, Textprofiling, Datenbereinigung, Encoding-Prüfung, Kompressionsideen und Qualitätskontrolle von importierten Daten. Auffällige Häufigkeiten können auf kopierte Formatzeichen, falsch dekodierte Texte oder unerwartete Sprachen hinweisen. Die Auswertung erklärt nicht automatisch die Ursache, gibt aber eine schnelle, messbare Übersicht über die tatsächliche Zeichenverteilung. Bei veröffentlichten oder mehrsprachigen Inhalten sollte das Ergebnis wegen Sprache, Zeichensatz, Kontext und Sonderfällen kurz gegengelesen werden.

Die Zeichenfrequenzanalyse zählt das Vorkommen jedes Zeichens in einem Text. Die Implementierung verwendet eine Hash-Tabelle (typischerweise eine Map in JavaScript): 1) den Text zeichenweise durchlaufen, 2) für jedes Zeichen den Zähler in der Map erhöhen, 3) die Einträge nach Anzahl absteigend sortieren, 4) das Histogramm rendern (die 10–20 häufigsten Zeichen, der Rest in einem Sammelbehälter). Der Algorithmus ist O(N) in der Länge des Textes, wobei N die Anzahl der Zeichen ist, und der dominante Aufwand ist der Map-Lookup und die Erhöhung (in V8 und SpiderMonkey im Normalfall praktisch kostenlos). Eine nützliche Nuance: Was zählt als Zeichen? In JavaScript gibt .length die Anzahl der UTF-16-Codeeinheiten zurück, nicht die der Unicode-Codepoints. Ein Zeichen außerhalb der Basic Multilingual Plane (Emoji, seltene CJK-Ideogramme) wird als Surrogate-Paar (zwei Codeeinheiten) kodiert, und eine naive Codeeinheiten-Zählung überschätzt, indem jede Surrogate-Hälfte als separates Zeichen behandelt wird. Die Seite verwendet Array.from(text) oder Intl.Segmenter zur Iteration über Codepoints (oder Graphemcluster), was die richtige Definition eines Zeichens für die meisten Anwendungsfälle ist. Eine nützliche Anwendung: Die Frequenzanalyse ist die klassische Technik zum Brechen von Substitutionschiffren (Caesar, Vigenere, einfache Substitution). Die englische Buchstabenhäufigkeitsverteilung ist wohlbekannt (E, T, A, O, I, N, S, H, R sind die häufigsten, in dieser ungefähren Reihenfolge), und eine Substitutionschiffre erhält die Häufigkeitsverteilung, sodass das häufigste Chiffretextzeichen wahrscheinlich E entspricht, das zweithäufigste T und so weiter. Die Seite ist ein Lehrmittel, kein Kryptanalyse-Werkzeug, aber die Technik ist dieselbe. Ein Hinweis zu Unicode: Für CJK-Sprachen hängt die Zeichenfrequenzverteilung vom Korpus ab (moderner Roman, klassische Poesie, technischer Text) und vom Analyselevel (Zeichen, Wort, Bigramm, Trigramm). Eine Frequenzanalyse eines modernen chinesischen Romans ergibt eine andere Verteilung als eine Frequenzanalyse der Analerten. Die Seite ist korpusunabhängig, sodass der Benutzer sie auf jeden Text anwenden kann.

• Hash-Tabelle (Map in JS): Text durchlaufen, Zähler erhöhen, nach Anzahl absteigend sortieren, Histogramm rendern; O(N) in Textlänge mit sehr schnellem Aufwand pro Zeichen.
• Surrogate Pairs: Ein Zeichen außerhalb der BMP (Emoji, seltenes CJK) sind zwei UTF-16-Codeeinheiten; naive Codeeinheiten-Zählung überschätzt; Array.from oder Intl.Segmenter verwenden.
• Substitutionschiffren-Kryptanalyse: Englische Buchstabenhäufigkeit E, T, A, O, I, N, S, H, R (häufigste in dieser Reihenfolge); eine Substitutionschiffre erhält die Verteilung.
• CJK-Frequenz: hängt vom Korpus ab (moderner Roman, klassische Poesie, technischer Text) und vom Analyselevel (Zeichen, Wort, Bigramm); die Seite ist korpusunabhängig.
• Top-N und Sammelbehälter: Die Seite rendert standardmäßig die 10–20 häufigsten Zeichen mit einem Sammelbehälter für den Rest; nützlich zur Erkennung von Mustern in dichten Texten.
• Groß-/Kleinschreibung: Die Seite bietet einen Umschalter für Groß-/Kleinschreibungsempfindlichkeit; Englisch ist typischerweise nicht empfindlich (E und e sind derselbe Buchstabe, nur unterschiedliche Formen), CJK ist immer nicht empfindlich (kein Konzept von Groß-/Kleinschreibung).
• Performance: O(N) für das Zählen, O(K log K) für das Sortieren von K verschiedenen Zeichen; die Seite verarbeitet Texte mit 1 Million Zeichen in deutlich unter einer Sekunde, was das Produktionsmuster ist.