Cách tốt nhất để tải xuống tệp bằng cách sử dụng urllib3

Question

Tôi muốn tải xuống tệp qua giao thức HTTP sử dụng urllib3. tôi đã quản lý để làm sử dụng mã sau đây:

url = 'http://url_to_a_file' 
connection_pool = urllib3.PoolManager() 
resp = connection_pool.request('GET',url) 
f = open(filename, 'wb') 
f.write(resp.data) 
f.close() 
resp.release_conn() 

Nhưng tôi đã tự hỏi những thích cách để làm điều này là gì. Ví dụ: Nó sẽ hoạt động tốt cho các tệp lớn và Nếu không cần phải làm gì để làm cho mã này có khả năng chịu lỗi và có khả năng mở rộng cao hơn.

Lưu ý. Điều quan trọng là tôi phải sử dụng thư viện urllib3 không phải urllib2 ví dụ, vì tôi muốn mã của tôi là chuỗi an toàn.

Answer 1

Đoạn mã của bạn gần. Hai điều đáng chú ý:

1. Nếu bạn đang sử dụng resp.data, nó sẽ tiêu thụ toàn bộ phản ứng và trả lại kết nối (bạn không cần phải resp.release_conn() thủ công). Điều này là tốt nếu bạn đang mát mẻ với việc giữ dữ liệu trong bộ nhớ.

2. Bạn có thể sử dụng resp.read(amt) sẽ truyền phản hồi nhưng kết nối sẽ cần phải được trả lại qua resp.release_conn().

này sẽ giống như ...

import urllib3 
http = urllib3.PoolManager() 
r = http.request('GET', url, preload_content=False) 

with open(path, 'wb') as out: 
    while True: 
     data = r.read(chunk_size) 
     if not data: 
      break 
     out.write(data) 

r.release_conn() 

Các tài liệu có thể là một chút thiếu trên kịch bản này. Nếu bất cứ ai quan tâm đến việc thực hiện một pull-request to improve the urllib3 documentation, mà sẽ được đánh giá rất nhiều. :)

Answer 2

add tên biến preload_content khác mà bạn sẽ kết thúc tải toàn bộ nội dung

http.request('GET', url, preload_content=False) 

Answer 3

Cách đúng nhất để làm điều này có lẽ là để có được một đối tượng tập tin giống như đại diện cho phản ứng HTTP và sao chép nó vào một tệp thực sự bằng cách sử dụng shutil.copyfileobj như sau:

url = 'http://url_to_a_file' 
c = urllib3.PoolManager() 

with c.request('GET',url, preload_content=False) as resp, open(filename, 'wb') as out_file: 
    shutil.copyfileobj(resp, out_file) 

resp.release_conn()  # not 100% sure this is required though