Unicode 인코딩 변환 도구

Unicode(통일 부호)는 컴퓨터 과학 분야의 산업 표준으로, 세계 대부분의 문자 체계를 정리하고 인코딩합니다. 각 Unicode 문자에는 고유한 숫자 번호가 부여되며, 이를 코드포인트(Code Point)라고 합니다. 일반적으로 16진수로 표시하고 U+ 접두사를 붙입니다. 예를 들어 U+4E2D는 한자 '中'을 나타냅니다. Unicode 인코딩 변환 도구는 텍스트를 다양한 Unicode 표기 형식으로 변환하거나, Unicode 코드를 텍스트로 복원할 수 있습니다.

Unicode 표준(ISO/IEC 10646)은 17개 플레인(U+0000~U+10FFFF)에 걸쳐 모든 문자에 고유한 숫자 코드포인트를 부여합니다. 기본 다국어 플레인(BMP, 플레인 0)은 U+0000~U+FFFF를 포함하며, CJK 통합 한자를 포함한 거의 모든 현대 문자 체계를 다룹니다. 보충 플레인(1~16)은 역사적 문자, 희귀 CJK, 이모지, 특수 목적 문자를 포함합니다. 이 도구는 읽을 수 있는 텍스트와 두 가지 기계 지향 표현(JavaScript 스타일 \uXXXX 이스케이프 시퀀스와 표준 U+XXXX 표기법) 간의 변환을 수행합니다. UTF-16은 JavaScript 문자열의 내부 인코딩입니다. BMP 문자는 코드포인트와 동일한 단일 16비트 코드 유닛으로 저장되며, 보충 문자(U+10000 이상)는 서로게이트 쌍으로 인코딩됩니다: 코드포인트에서 0x10000을 빼서 20비트 값을 남기고, 이를 10비트 상위 서로게이트(0xD800 + ((cp - 0x10000) >> 10))와 10비트 하위 서로게이트(0xDC00 + ((cp - 0x10000) & 0x3FF))로 분할합니다. 도구의 인코드 모드는 String.prototype.codePointAt()으로 보충 코드포인트를 감지하고 \uXXXX 형식에 대해 올바른 두 \u 이스케이프를 생성합니다. U+XXXX 형식의 경우 전체 코드포인트가 직접 표시됩니다. 디코드 모드는 세 가지 구문을 파싱합니다: \uXXXX(4자리 16진수, BMP만), \u{XXXXX}(전체 Unicode 범위를 지원하는 ES6 중괄호 구문), U+XXXX(가변 길이 16진수의 표준 표기법). 정규식 /\\u\{([0-9a-fA-F]+)\}/g는 중괄호 이스케이프를 처리하여 String.fromCodePoint()에 전달하고, /\\u([0-9a-fA-F]{4})/g는 String.fromCharCode()를 통해 전통적 이스케이프를 처리합니다. 두 가지를 혼합하면 보충 문자가 두 \u 이스케이프로 인코딩된 경우 서로게이트 쌍을 올바르게 재구성합니다. UTF-8 인코딩은 바이트 길이를 결정하므로 관련이 있습니다: '中'(U+4E2D) 같은 BMP 문자는 3 UTF-8 바이트(E4 B8 AD)로 인코딩되고, '😀'(U+1F600) 같은 이모지는 4바이트(F0 9F 98 80)가 필요합니다. 도구의 문자 카운터는 코드포인트 수와 UTF-16 코드 유닛 수를 구분합니다. 이는 데이터베이스, API, 폼 필드에서 문자가 아닌 코드 유닛을 기준으로 길이 제한을 디버깅할 때 유용한 구분입니다.

• 코드포인트 반복: String.prototype.codePointAt(pos)는 보충 문자에 대해 전체 코드포인트를 올바르게 반환하며, charCodeAt()는 상위 서로게이트만 반환 — 도구는 전개 연산자 [...str]를 사용하여 코드포인트 단위로 반복(내부적으로 문자열 이터레이터 프로토콜 호출)
• 서로게이트 쌍 연산: 보충 코드포인트 CP > 0xFFFF에 대해 상위 서로게이트는 Math.floor((CP - 0x10000) / 0x400) + 0xD800, 하위 서로게이트는 ((CP - 0x10000) % 0x400) + 0xDC00 — 인코드 모드는 이 공식을 적용하여 유효한 \uD800\uDC00 쌍을 생성
• 디코드 정규식 파이프라인: 세 패턴이 순차 실행 — \u{XXXXX}(ES6 중괄호) → \uXXXX(4자리 16진수) → U+XXXX(표준 표기법) — fromCodePoint()는 중괄호와 U+ 경로를, fromCharCode()는 전통적 4자리 경로를 처리
• UTF-8 바이트 구조: BMP 문자는 1~3 UTF-8 바이트 사용(ASCII = 1바이트, Latin 보충 = 2바이트, CJK = 3바이트); 보충 문자는 4바이트 사용(11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 패턴) — 도구의 바이트 카운터는 new Blob([str]).size로 정확한 측정 수행
• 코드포인트 vs 코드 유닛: 단일 가시 문자가 여러 코드포인트를 차지할 수 있음(예: é는 U+00E9 또는 U+0065 + U+0301 결합 악센트 가능) — 도구는 charCount(UTF-16 코드 유닛)와 codepointCount(Unicode 스칼라 값)를 모두 보고하여 이 불일치를 표면화
• Unicode 플레인 개요: 플레인 0(BMP) = 현대 문자, 플레인 1(SMP) = 역사적 + 이모지 + 수학, 플레인 2(SIP) = 희귀 CJK, 플레인 14(SSP) = 태그 + 변형 선택자, 플레인 15~16 = 사적 사용 — 인코드 모드는 codePointAt()를 통해 모든 플레인을 올바르게 처리
• \u vs U+ 표기법: \uXXXX는 JavaScript/Java/C 이스케이프 시퀀스(중괄호 없이는 BMP만); U+XXXX는 Unicode 컨소시엄의 정식 표기법(최소 4자리 16진수, 상한 없음) — 도구의 형식 전환은 이 두 표현 간에 전환