Инструмент проверки MD5 файла

MD5 (Message-Digest Algorithm 5) — широко используемый алгоритм хэширования, который преобразует содержимое любого файла в 128-битный (32 шестнадцатеричных символа) дайджест фиксированной длины. Любое малейшее изменение содержимого файла приводит к совершенно другому MD5-значению. Инструмент проверки MD5 файла commonly используется для проверки целостности файлов, гарантируя, что файл не был изменён или повреждён при передаче или загрузке. File MD5 часто используют, чтобы быстро проверить, не изменился ли файл и совпадает ли он с опубликованной контрольной суммой. Алгоритм быстрый и широко поддерживается, но из-за известных collision attacks он больше не подходит для криптографических решений доверия. MD5 еще встречается в старых проверках загрузок, простой дедупликации и совместимости. Для security-relevant проверки целостности лучше выбирать SHA-256 или более сильные алгоритмы, а checksum брать из доверенного источника.

MD5 — это Message-Digest Algorithm 5, определённый в RFC 1321 (Ron Rivest, 1992). Он выдаёт дайджест длиной 128 бит / 16 байт, отображаемый как 32 шестнадцатеричных символа. Алгоритм построен по схеме Меркла-Дамгарда: вход дополняется так, чтобы его длина в битах была сравнима с 448 по модулю 512 (один бит 1, затем нули), исходная длина приписывается как 64-битное целое в формате little-endian, после чего сообщение делится на блоки по 512 бит. Каждый блок обновляет 128-битное внутреннее состояние (A, B, C, D), инициализированное константами A = 0x67452301, B = 0xEFCDAB89, C = 0x98BADCFE, D = 0x10325476, выполняя 64 раунда в четырёх группах по 16 с побитовыми функциями F(x,y,z) = (x AND y) OR ((NOT x) AND z), G(x,y,z) = (x AND z) OR (y AND (NOT z)), H(x,y,z) = x XOR y XOR z и I(x,y,z) = y XOR (x OR (NOT z)), скомбинированными с раундовой константой T[i] = floor(2^32 * |sin(i+1)|) и циклическим сдвигом влево. Конечное состояние, склеенное в little-endian, и есть дайджест. MD5 пустого ввода — d41d8cd98f00b204e9800998ecf8427e, удобная контрольная точка работоспособности. Браузеры не выдают MD5 через crypto.subtle (спецификация W3C Web Crypto намеренно исключает MD5 из-за коллизионных атак), поэтому этот инструмент использует чистую JavaScript-реализацию MD5, работающую целиком в браузере. Файл загружается в память как ArrayBuffer, дайджест размером 16 байт вычисляется за один проход и отображается как 32 строчных шестнадцатеричных символа. Работа выполняется в главном потоке, поэтому хеширование многогигабайтного файла занимает этот поток до завершения; для очень больших файлов лучше использовать настольный инструмент, считывающий байты с диска в потоковом режиме. MD5 криптографически взломан в части коллизионной стойкости. Ван Сяоюнь и Юй Хунбо опубликовали первую практическую коллизионную атаку в 2004 году (CRYPTO 2005), снизив стоимость коллизии примерно до 2^39 операций. В 2008 году Sotirov и соавторы использовали коллизии с выбранным префиксом для подделки промежуточного CA-сертификата, а в 2012 году государственный вредонос Flame применил ранее неизвестную коллизию MD5 с выбранным префиксом, чтобы подделать сертификат подписи кода Microsoft Terminal Server Licensing. NIST запретил использование MD5 для цифровых подписей в SP 800-131A в 2011 году; CMU CERT выпустил уведомление об уязвимости VU#836068, охарактеризовав MD5 как 'unsuitable for further use'. MD5 по-прежнему допустим для обнаружения случайных повреждений (переворот одного бита меняет ~64 из 128 выходных битов из-за лавинного эффекта) и поиска дубликатов на доверенных входах, но не должен применяться там, где злоумышленник контролирует или может предсказать любой из входов.

• MD5 производит 128-битный / 16-байтный дайджест, кодируемый как 32 символа в нижнем регистре hex; определён в RFC 1321 (Rivest, 1992).
• Начальные константы состояния A = 0x67452301, B = 0xEFCDAB89, C = 0x98BADCFE, D = 0x10325476; 64 раунда в четырёх группах по 16 с использованием побитовых функций F/G/H/I и констант раунда T[i] = floor(2^32 * |sin(i+1)|).
• MD5 от пустого входа — d41d8cd98f00b204e9800998ecf8427e — быстрая проверка корректности конвейера хэширования.
• Браузеры не выдают MD5 через crypto.subtle (W3C Web Crypto намеренно опускает его); этот инструмент использует чистую JavaScript-реализацию MD5: файл загружается как ArrayBuffer, дайджест в 16 байт вычисляется за один проход и выводится как 32 строчных шестнадцатеричных символа.
• Память: весь файл считывается в один ArrayBuffer до хеширования, поэтому файлы в несколько ГБ требуют соответствующей памяти вкладки; для файлов крупнее, чем вкладка способна вместить, используйте настольный инструмент (md5sum, certutil -hashfile, Get-FileHash), потоково читающий с диска.
• Атаки на коллизии: Wang и Yu (2004) ~2^39 операций; Sotirov и др. (2008) коллизия с выбранным префиксом для подделки поддельного сертификата CA; вредоносное ПО Flame (2012) использовало коллизию с выбранным префиксом для подделки сертификата подписи кода Microsoft.
• NIST SP 800-131A запретил MD5 для цифровых подписей в 2011 году; MD5 допустим только для неадверсариальных проверок целостности и обнаружения дубликатов — переключайтесь на SHA-256 или сильнее, когда контрольная сумма влияет на доверие.