Có khả năng là md5 tổng kiểm tra dương tính giả?

Question

Tôi có một khách hàng đang phân phối các tệp nhị phân lớn trong nội bộ. Họ cũng đi qua md5 checksum của các tập tin và rõ ràng xác minh các tập tin chống lại kiểm tra trước khi sử dụng như là một phần của công việc của họ.

Tuy nhiên, họ cho rằng "thường" họ đang gặp sự cố tham nhũng trong các tệp nơi md5 vẫn cho biết tệp đó là tốt.

Mọi thứ tôi đã đọc đều cho rằng điều này không nên xảy ra.

Điều này có khả năng xảy ra không? Một thuật toán băm khác có cung cấp kết quả tốt hơn không? Tôi có nên thực sự xem xét các vấn đề quy trình như họ yêu cầu kiểm tra tổng kiểm tra, nhưng không thực sự làm việc đó không?

NB, tôi chưa biết điều gì "thường" có nghĩa là trong ngữ cảnh này. Họ đang xử lý hàng trăm tệp mỗi ngày. Tôi không biết đây có phải là sự xuất hiện hàng ngày, hàng tháng hay hàng năm hay không.

Answer 1

MD5 là hàm băm mật mã 128 bit, do đó các thông điệp khác nhau sẽ được phân phối khá tốt trên không gian 128 bit. Điều đó có nghĩa là hai tệp (không bao gồm các tệp được xây dựng cụ thể để đánh bại MD5) sẽ có 1 trong 2^128 cơ hội va chạm. Nói cách khác, nếu một cặp tệp được so sánh sau mỗi nano giây, nó sẽ không xảy ra.

Answer 2

Nếu tệp bị hỏng, thì xác suất tệp bị hỏng có cùng kiểm tra md5 như tệp không bị hỏng là 1: 2^128. Nói cách khác, nó sẽ xảy ra gần như là "thường xuyên" hơn bao giờ hết. Đó là thiên văn có nhiều khả năng là khách hàng của bạn là misreporting những gì thực sự xảy ra (như họ đang tính toán băm sai)

Answer 3

Âm thanh như một lỗi trong việc sử dụng MD5 (có thể họ đang MD5-ing các tập tin sai), hoặc một lỗi trong thư viện mà họ đang sử dụng. Ví dụ, một chương trình MD5 cũ hơn mà tôi đã sử dụng một lần không xử lý các tệp trên 2GB.

This question cho thấy rằng, trung bình, bạn nhận được xung đột trung bình cứ 100 năm một lần nếu bạn tạo ra 6 tỷ tệp mỗi giây, do đó, rất khó xảy ra.

Answer 4

Điều này có khả năng xảy ra không?

Không, cơ hội của một tham nhũng ngẫu nhiên gây ra cùng một checksum là 1 trong 2 hoặc 3,40 × 10. Con số này đặt 1 trong một tỷ (10) cơ hội để xấu hổ.

Thuật toán băm khác có mang lại kết quả tốt hơn không?

Có thể là không. Mặc dù MD5 đã bị phá vỡ vì va chạm kháng chiến chống lại tấn công, nó là tốt đối với tham nhũng ngẫu nhiên và một tiêu chuẩn phổ biến để sử dụng.

Tôi có nên thực sự xem xét các sự cố về quy trình như yêu cầu kiểm tra tổng kiểm tra, nhưng không thực sự làm việc đó không?

Có lẽ, nhưng xem xét tất cả các điểm có thể xảy ra vấn đề:

1. tập tin bị hỏng trước khi thế hệ MD5
2. tập tin bị hỏng sau khi xác minh MD5.
3. chương trình MD5 hoặc khuôn khổ hỗ trợ có một lỗi
4. điều hành lạm dụng (không chủ ý, ví dụ như chạy chương trình MD5 trong hồ sơ sai)
5. điều hành lạm dụng (cố ý, ví dụ như bỏ qua bước xác minh)

NẾU nó là cuối cùng, sau đó một trong những suy nghĩ cuối cùng là phân phối các tập tin trong một định dạng wrapper buộc các nhà điều hành để unwrap tập tin, nhưng unwrapping không xác minh trong quá trình khai thác. Tôi nghĩ rằng một cái gì đó như Gzip hoặc 7-Zip hỗ trợ các tập tin lớn và có thể tắt nén (Tôi không biết rằng những người làm).

Answer 5

Có tất cả các loại lý do nhị phân hoặc sẽ không được phân phối hoặc nếu có, có tham nhũng (tường lửa, giới hạn kích thước, chèn vi rút, v.v.). Bạn nên luôn luôn mã hóa các tập tin (ngay cả một mã hóa cấp thấp hơn là không có) khi gửi các tập tin nhị phân để giúp bảo vệ toàn vẹn dữ liệu.