Làm thế nào để lập trình có được MD5 Checksum của Amazon S3 tập tin sử dụng boto

Question

bài viết giới thiệu: Amazon S3 & Checksum, How to encode md5 sum into base64 in BASH

tôi phải tải về một tập tin tar từ S3 xô với quyền truy cập hạn chế. [Chủ yếu là quyền truy cập chỉ dành cho tải về]

Sau khi tôi tải Tôi phải kiểm tra tổng kiểm tra md5 của file tải so với MD5-Check Sum của dữ liệu hiện nay như siêu dữ liệu trong S3

Tôi hiện đang sử dụng một Trình duyệt tập tin S3 để tự lưu ý "x-amz-meta-md5" của tiêu đề nội dung và xác nhận giá trị đó so với md5 tính của tệp đã tải xuống.

Tôi muốn biết nếu có cách lập trình sử dụng boto để nắm bắt giá trị băm md5 của tệp S3 như được đề cập dưới dạng siêu dữ liệu.

from boto.s3.connection import S3Connection 

conn = S3Connection(access_key, secret_key) 
bucket=conn.get_bucket("test-bucket") 
rs_keys = bucket.get_all_keys() 
for key_val in rs_keys: 
    print key_val, key_val.**HOW_TO_GET_MD5_FROM_METADATA(?)** 

Vui lòng sửa nếu hiểu biết của tôi sai. Tôi đang tìm kiếm một cách để nắm bắt các dữ liệu tiêu đề lập trình

Answer 1

Khi boto download một file sử dụng bất kỳ get_contents_to_* phương pháp, nó sẽ tính toán MD5 checksum của các byte nó tải về và làm cho rằng sẵn như md5 thuộc tính của đối tượng Key . Ngoài ra, S3 gửi một tiêu đề ETag trong phản hồi đại diện cho ý tưởng của máy chủ về kiểm tra MD5 là gì. Điều này có sẵn dưới dạng thuộc tính etag của đối tượng Key. Vì vậy, sau khi tải xuống một tệp, bạn chỉ có thể so sánh giá trị của hai thuộc tính đó để xem chúng có khớp không.

Nếu bạn muốn tìm hiểu những gì S3 nghĩ rằng MD5 là không thực sự tải tập tin (như trong ví dụ của bạn), bạn chỉ có thể làm điều này:

for key_val in rs_keys: 
    print key_val, key_val.etag 

Answer 2

Nó dường như cũng được thành lập rằng ETag không phải là md5sum nếu tệp được lắp ráp sau khi chạy tải lên nhiều phần. Tôi nghĩ trong trường hợp đó, chỉ có một người truy đòi là tải xuống tệp và thực hiện kiểm tra cục bộ. Nếu kết quả là chính xác, bản sao S3 phải tốt. Nếu checksum cục bộ sai, bản sao s3 có thể bị hỏng hoặc tải xuống có thể không thành công. Nếu bạn không còn có tệp gốc hoặc bản ghi của md5sum của nó nữa, tôi nghĩ bạn sẽ không may mắn. Nó sẽ là tuyệt vời nếu md5sum của tập tin lắp ráp đã có sẵn, hoặc nếu có một cách để tính toán cục bộ dự kiến ​​etag của một tập tin được tải lên thông qua multipart.