Инструмент для удаления дубликатов текста

Text Deduplicate удаляет повторяющиеся строки, слова или элементы из текста, делая списки чище и удобнее для проверки. Он полезен для импортированных CSV-фрагментов, списков ключевых слов, email-коллекций, фрагментов логов, кодов товаров, вариантов промптов и заметок, где дубли появились из-за копирования, объединения или плохого экспорта. Главное — правило сравнения: регистр, пробелы в начале и конце, пустые строки, пунктуация, нормализация и исходный порядок влияют на то, считать ли элементы одинаковыми. Инструмент ускоряет очистку, но не заменяет предметную проверку, если похожие записи должны оставаться отдельно или маленькие различия важны. Для опубликованного или многоязычного контента результат нужно проверить по языку, charset, контексту и edge cases.

Дедупликация — это однопроходное сканирование на основе JavaScript Set. ECMAScript Set использует алгоритм сравнения SameValueZero (то же сравнение, что и Array.prototype.includes, где NaN равен NaN, а +0 равен -0) и по спецификации обеспечивает сублинейный средний поиск — V8 реализует Set как хеш-таблицу с открытой адресацией с амортизированным O(1) для вставки, поэтому весь проход имеет сложность O(n) по количеству элементов. Наивная альтернатива — добавление в результирующий массив и вызов indexOf для каждого элемента — даёт O(n²) и становится ощутимой проблемой уже на 10 000 записей. Разбиение зависит от режима: построчный режим разделяет по /\r?\n/, обрабатывая как CRLF (Windows), так и LF (Unix) переносы строк, пословный — по /\s+/, по предложениям — по /(?<=[.!?])\s+/, по абзацам — по /\n{2,}/. Каждая единица проходит через опциональные нормализаторы перед тем, как стать ключом Set: trim() для удаления начальных и конечных пробелов, toLowerCase() для сравнения без учёта регистра и String.prototype.normalize('NFC'), чтобы визуально идентичные строки, записанные в составной (é, U+00E9) или разложенной (e + U+0301) форме, складывались в одну запись. Порядок сохраняется, поскольку результирующий массив строится в порядке итерации — Set используется только как фильтр «видел ли я это раньше?». Та же структура данных лежит в основе SQL DISTINCT и Python set(); единственная реальная альтернатива для десятков миллионов элементов — вероятностный фильтр Блума, который обменивает небольшую частоту ложных срабатываний (≈1% при 10 битах/элемент) на постоянную память и является избыточным для браузерного текстового инструмента.

• Поиск Set использует алгоритм SameValueZero (ECMA-262 §7.2.10) — NaN совпадает с NaN, +0 совпадает с -0, в остальном строгое сравнение
• V8 реализует Set как хеш-таблицу; insert и has имеют амортизированный O(1), что делает всю дедупликацию O(n) против O(n²) на основе indexOf
• Построчный regex /\r?\n/ обрабатывает CRLF, LF и завершающий CR за одно разделение; без этого остаются невидимые суффиксы '\r', которые нарушают точное совпадение
• Нормализация Unicode через String.prototype.normalize('NFC') сворачивает составные/разложенные формы (например, 'é' U+00E9 и 'e' + U+0301) в один ключ
• Режим без учёта регистра приводит ключ к нижнему регистру — значение в оригинальном регистре сохраняется в выводе, поэтому первое 'ERROR' остаётся как есть, а последующие строки 'error' отбрасываются
• Сохранение порядка бесплатно: результирующий массив строится в порядке ввода, а Set используется только как фильтр, поэтому поведение аналогично SQL DISTINCT со стабильной сортировкой
• Для 10 млн+ элементов, где память становится узким местом, фильтр Блума (≈10 бит/элемент при 1% ложных срабатываний) заменяет Set — в браузере это не нужно, так как Set из 1 млн строк укладывается в 100 МБ