문자 빈도 분석 도구

문자 빈도 분석 도구는 텍스트에서 각 문자의 출현 횟수와 빈도를 분석합니다. 암호 분석, 텍스트 특성 추출, 인코딩 탐지 등에 유용합니다. 문자 빈도를 분석하면 텍스트의 문자 분포 특성을 빠르게 파악하고, 비정상적인 문자를 발견하거나, 데이터 압축 연구에 활용할 수 있습니다. 대소문자 구분, 공백 및 줄바꿈 처리 옵션을 지원합니다. 한국어, 이모지, 결합 문자처럼 하나의 글자가 여러 코드 포인트로 표현될 수 있는 텍스트는 분석 기준에 따라 빈도 결과가 달라질 수 있습니다.

문자 빈도 분석은 텍스트에서 각 문자의 출현 횟수를 셈합니다. 구현은 해시 테이블(JavaScript에서는 보통 Map)을 사용합니다: 1) 텍스트를 한 문자씩 순회, 2) 각 문자에 대해 맵의 카운트를 증가, 3) 카운트를 기준으로 내림차순 정렬, 4) 히스토그램 렌더링(상위 10-20개 문자, 나머지는 꼬리 버킷). 알고리즘은 텍스트 길이 N에 대해 O(N)이며, 주요 비용은 맵 조회와 증가(V8과 SpiderMonkey에서 일반적인 경우 거의 무료)입니다. 중요한 세부 사항: 무엇이 하나의 문자인가? JavaScript에서 .length는 유니코드 코드 포인트가 아닌 UTF-16 코드 단위 수를 반환합니다. 기본 다국어 평면(BMP) 외부의 문자(이모지, 희한한 한자)는 서로게이트 쌍(코드 단위 2개)으로 인코딩되며, 코드 단위 단위의 단순 카운트는 각 서로게이트 절반을 별도 문자로 취급하여 과대 집계됩니다. 이 페이지는 Array.from(text) 또는 Intl.Segmenter를 사용하여 코드 포인트(또는 그래프임 클러스터)를 순회하며, 이것이 대부분의 사용 사례에서 올바른 문자 정의입니다. 유용한 활용: 빈도 분석은 치환 암호(시저, 비제네르, 단순 치환)를 깨는 고전적 기법입니다. 영어 문자 빈도 분포는 잘 알려져 있으며(E, T, A, O, I, N, S, H, R 순으로 빈도가 높음), 치환 암호는 빈도 분포를 보존하므로 가장 빈번한 암호문 문자는 E에, 두 번째는 T에 대응될 가능성이 높습니다. 이 페이지는 암호 분석 도구가 아닌 교육 도구이지만 기법은 동일합니다. 유니코드 관련 주의점: CJK 언어의 경우 문자 빈도 분포는 말뭉치(현대 소설, 고전 시, 기술 문서)와 분석 수준(문자, 단어, 바이그램, 트라이그램)에 따라 달라집니다. 현대 중국어 소설의 빈도 분석과 논어의 빈도 분석은 다른 분포를 보여줍니다. 이 페이지는 말뭉치에 구애받지 않으므로 사용자가 임의의 텍스트에 대해 실행할 수 있습니다.

• 해시 테이블(JS의 Map): 텍스트를 순회하고 카운트를 증가시킨 뒤 카운트 내림차순으로 정렬하여 히스토그램 렌더링; 텍스트 길이에 대해 O(N)이며 문자당 비용이 매우 빠름.
• 서로게이트 쌍: BMP 외부 문자(이모지, 희한한 CJK)는 UTF-16 코드 단위 2개; 코드 단위 단위의 단순 카운트는 과대 집계; Array.from 또는 Intl.Segmenter를 사용해야 함.
• 치환 암호 분석: 영어 문자 빈도 E, T, A, O, I, N, S, H, R (이 순서로 빈도 높음); 치환 암호는 분포를 보존함.
• CJK 빈도: 말뭉치(현대 소설, 고전 시, 기술 문서)와 분석 수준(문자, 단어, 바이그램)에 따라 달라짐; 이 페이지는 말뭉치에 구애받지 않음.
• 상위 N 및 꼬리: 페이지는 기본적으로 빈도 상위 10-20개 문자를 렌더링하고 나머지는 꼬리 버킷에 표시; 밀집 텍스트에서 패턴을 발견하는 데 유용.
• 대소문자 구분: 페이지는 대소문자 구분/무시 토글을 제공; 영어는 일반적으로 대소문자 무시(E와 e는 같은 문자, 다른 모양), CJK는 항상 대소문자 무시(대문자 개념 없음).
• 성능: 카운팅에 O(N), K개 고유 문자 정렬에 O(K log K); 이 페이지는 100만 문자 텍스트를 1초 이내에 처리하며, 이것이 프로덕션 패턴입니다.