Outil de déduplication de texte

Text Deduplicate supprime les lignes, mots ou entrées répétés d’un texte afin de rendre les listes plus propres et plus faciles à relire. Il sert pour extraits CSV importés, listes de mots-clés, collections d’e-mails, fragments de logs, codes produit, variantes de prompts et notes où les doublons viennent de copies, fusions ou exports défectueux. L’essentiel réside dans la règle de comparaison: casse, espaces de début ou fin, lignes vides, ponctuation, normalisation et ordre d’origine peuvent décider si deux entrées sont identiques. L’outil accélère le nettoyage, mais ne remplace pas la revue métier lorsque de petites différences ont du sens.

La déduplication est une analyse en un seul passage soutenue par un Set JavaScript. Le Set ECMAScript utilise l'algorithme d'égalité SameValueZero (la même comparaison que Array.prototype.includes, où NaN est égal à NaN mais +0 est égal à -0) et la spécification exige qu'il offre une recherche moyenne sous-linéaire — V8 l'implémente comme une table de hachage à adressage ouvert avec insertion amortie en O(1), si bien que l'ensemble du passage est en O(n) par rapport au nombre d'éléments. L'alternative naïve — pousser dans un tableau résultat et appeler indexOf sur chaque élément — est en O(n²) et devient pénible à partir d'environ 10 000 entrées. Le découpage dépend du mode : le mode ligne découpe sur /\r?\n/ pour absorber à la fois les fins de ligne CRLF (Windows) et LF (Unix), le mode mot découpe sur /\s+/, le mode phrase sur /(?<=[.!?])\s+/, et le mode paragraphe sur /\n{2,}/. Chaque unité passe par des normaliseurs optionnels avant de devenir une clé de Set : trim() pour supprimer les espaces de début et de fin, toLowerCase() pour une correspondance insensible à la casse, et String.prototype.normalize('NFC') pour que les chaînes visuellement identiques écrites en forme composée (é, U+00E9) vs décomposée (e + U+0301) se réduisent à une seule entrée. L'ordre est préservé car le tableau résultat est construit dans l'ordre d'itération — le Set n'est consulté que comme filtre « ai-je déjà vu ceci ? ». Le même choix de structure sous-tend SQL DISTINCT et Python set() ; la seule véritable alternative pour des dizaines de millions d'éléments est un filtre de Bloom probabiliste, qui échange un faible taux de faux positifs (environ 1 % à 10 bits/élément) contre une mémoire constante et qui est surdimensionné pour un outil de texte côté navigateur.

• La recherche par Set utilise l'algorithme SameValueZero (ECMA-262 §7.2.10) — NaN correspond à NaN, +0 correspond à -0, sinon égalité stricte
• V8 implémente le Set comme une table de hachage ; insert et has sont en O(1) amorti, rendant l'ensemble de la déduplication en O(n) contre O(n²) pour indexOf
• Le regex du mode ligne /\r?\n/ gère CRLF, LF et CR de fin en un seul découpage ; ignorer cela laisse des suffixes '\r' invisibles qui faussent la correspondance exacte
• La normalisation Unicode via String.prototype.normalize('NFC') regroupe les formes composées/décomposées (par ex. 'é' U+00E9 vs 'e' + U+0301) en une seule clé
• Le mode insensible à la casse ne passe la clé qu'en minuscules — la valeur en casse d'origine est préservée en sortie de sorte que le premier 'ERROR' est conservé tel quel tandis que les lignes 'error' suivantes sont écartées
• La préservation de l'ordre est gratuite : le tableau résultat est construit dans l'ordre d'entrée et le Set n'est consulté que comme filtre, il se comporte donc comme SQL DISTINCT avec un tri stable
• Pour plus de 10 millions d'éléments où la mémoire devient le goulot d'étranglement, un filtre de Bloom (environ 10 bits/élément pour 1 % de faux positifs) remplace le Set — non nécessaire dans le navigateur, où un Set d'1 million de chaînes tient confortablement sous 100 Mo