Tìm nạp song song các tệp

Question

Để tải xuống tệp, tôi đang tạo đối tượng urlopen (lớp urllib2) và đọc nó theo khối.

Tôi muốn kết nối với máy chủ nhiều lần và tải xuống tệp trong sáu phiên khác nhau. Làm như vậy, tốc độ tải xuống sẽ nhanh hơn. Nhiều người quản lý tải xuống có tính năng này.

Tôi nghĩ về việc chỉ định một phần của tệp tôi muốn tải xuống trong mỗi phiên và bằng cách nào đó xử lý tất cả các phiên trong cùng một thời điểm. Tôi không chắc làm thế nào tôi có thể đạt được điều này.

Answer 1

Có vẻ như bạn muốn sử dụng một trong các hương vị của HTTP Range khả dụng.

chỉnh sửa link cập nhật để trỏ đến w3.org lưu trữ RFC

Answer 2

Như để chạy song song yêu cầu bạn có thể muốn sử dụng urllib3 hoặc requests.

Tôi mất một thời gian để thực hiện một danh sách các câu hỏi tương tự:

Looking for [python] +download +concurrent mang đến cho những người thú vị:

• Concurrent downloads - Python
• What is the fastest way to send 100,000 HTTP requests in Python?
• Library or tool to download multiple files in parallell
• Download multiple pages concurrently?
• Python: simple async download of url content?
• Python, gevent, urllib2.urlopen.read(), download accelerator
• Python/Urllib2/Threading: Single download thread faster than multiple download threads. Why?
• Scraping landing pages of a list of domains
• A clean, lightweight alternative to Python's twisted?

Looking for [python] +http +concurrent cho những:

• Python: How to make multiple HTTP POST queries in one moment?
• Multi threaded web scraper using urlretrieve on a cookie-enabled site

Looking for [python] +urllib2 +slow:

• Python urllib2.open is slow, need a better way to read several urls
• Python 2.6: parallel parsing with urllib2
• How can I speed up fetching pages with urllib2 in python?
• Threading HTTP requests (with proxies)

Look ing cho [python] +download +many:

• Python,multi-threads,fetch webpages,download webpages
• Downloading files in twisted using queue
• Python: Something like map that works on threads
• Rotating Proxies for web scraping
• Anyone know of a good Python based web crawler that I could use?

Answer 3

Như chúng ta đã nói chuyện đã tôi đã thực hiện một ví dụ sử dụng PycURL.

Một và chỉ một điều tôi phải làm là pycurl_instance.setopt(pycurl_instance.NOSIGNAL, 1) để tránh sự cố.

Tôi đã sử dụng APScheduler để kích hoạt các yêu cầu trong các chuỗi riêng biệt. Nhờ lời khuyên của bạn về việc thay đổi chờ đợi bận rộn while True: pass thành while True: time.sleep(3) trong luồng chính mã hoạt động khá tốt đẹp và việc sử dụng mô đun Runner từ ứng dụng gói python-daemon gần như đã sẵn sàng để được sử dụng như một daemon X * điển hình.