Ferramenta de deduplicação de texto

Text Deduplicate remove linhas, palavras ou entradas repetidas de um texto para tornar listas mais limpas e fáceis de revisar. Ele é útil para trechos CSV importados, listas de palavras-chave, coleções de e-mails, fragmentos de log, códigos de produto, variantes de prompts e notas em que duplicados surgiram por copiar, mesclar ou exportar com erro. O ponto central é a regra de comparação: maiúsculas, espaços no início ou fim, linhas vazias, pontuação, normalização e ordem original podem decidir se duas entradas são iguais. A ferramenta acelera a limpeza, mas não substitui revisão de domínio quando diferenças pequenas têm significado.

A deduplicação é uma varredura de passagem única apoiada por um Set do JavaScript. O Set do ECMAScript usa o algoritmo de igualdade SameValueZero (a mesma comparação que Array.prototype.includes usa, onde NaN é igual a NaN mas +0 é igual a -0) e a especificação exige lookup médio sublinear — o V8 implementa como uma tabela hash de endereçamento aberto com inserção amortizada O(1), de modo que toda a passagem é O(n) no número de itens. A alternativa ingênua — inserir em um array resultado e chamar indexOf em cada elemento — é O(n²) e se torna lenta por volta de 10k entradas. A divisão é específica do modo: modo linha divide em /\r?\n/ para absorver tanto CRLF (Windows) quanto LF (Unix), modo palavra divide em /\s+/, modo frase divide em /(?<=[.!?])\s+/ e modo parágrafo divide em /\n{2,}/. Cada unidade passa por normalizadores opcionais antes de se tornar uma chave do Set: trim() para remover espaços em branco no início e no fim, toLowerCase() para correspondência insensível a maiúsculas e String.prototype.normalize('NFC') para que strings visualmente idênticas escritas com formas compostas (é, U+00E9) vs decompostas (e + U+0301) colapsem em uma única entrada. A ordem é preservada porque o array resultado é construído em ordem de iteração — o Set é consultado apenas como um filtro 'já vi isso?'. A mesma escolha de estrutura de dados está por trás de SQL DISTINCT e Python set(); a única alternativa real para dezenas de milhões de itens é um filtro de Bloom probabilístico, que troca uma pequena taxa de falso positivo (≈10% a 10 bits/elemento) por memória constante e é exagerado para uma ferramenta de texto no navegador.

• Lookup do Set usa o algoritmo SameValueZero (ECMA-262 §7.2.10) — NaN corresponde a NaN, +0 corresponde a -0, caso contrário igualdade estrita
• V8 implementa Set como tabela hash; insert e has são O(1) amortizados, tornando toda a deduplicação O(n) versus O(n²) baseado em indexOf
• Regex do modo linha /\r?\n/ trata CRLF, LF e CR final em uma única divisão; ignorar isso deixa sufixos '\r' invisíveis que impedem a correspondência exata
• Normalização Unicode via String.prototype.normalize('NFC') colapsa formas compostas/decompostas (ex. 'é' U+00E9 vs 'e' + U+0301) em uma única chave
• Modo insensível a maiúsculas converte a chave para minúsculas apenas — o valor em caixa original é preservado na saída, de modo que o primeiro 'ERROR' é mantido literalmente enquanto linhas 'error' posteriores são descartadas
• Preservação de ordem é gratuita: o array resultado é construído em ordem de entrada e o Set é consultado apenas como filtro, comportando-se como SQL DISTINCT com ordenação estável
• Para 10M+ itens onde a memória se torna o gargalo, um filtro de Bloom (≈10 bits/elemento para taxa de falso positivo de 1%) substitui o Set — desnecessário no navegador, onde um Set de 1M strings cabe confortavelmente em menos de 100 MB