Quay proxy cho web scraping

Question

Tôi đã có một trình thu thập dữ liệu web python và tôi muốn phân phối các yêu cầu tải xuống trong số nhiều máy chủ proxy khác nhau, có thể chạy mực (mặc dù tôi đang mở để lựa chọn thay thế). Ví dụ: nó có thể hoạt động theo kiểu vòng tròn, trong đó request1 chuyển tới proxy1, request2 thành proxy2 và cuối cùng lặp lại. Bất kỳ ý tưởng làm thế nào để thiết lập này?

Để làm cho khó hơn, tôi cũng muốn có thể tự động thay đổi danh sách proxy sẵn có, giảm bớt một số proxy và thêm người khác.

Nếu có vấn đề, địa chỉ IP được gán động.

Cảm ơn :)

Answer 1

Làm bánh xích của bạn có một danh sách proxy và với mỗi yêu cầu HTTP cho nó sử dụng proxy tiếp theo trong danh sách theo kiểu round robin. Tuy nhiên, điều này sẽ ngăn bạn sử dụng các kết nối liên tục HTTP/1.1. Việc sửa đổi danh sách proxy cuối cùng sẽ dẫn đến việc sử dụng một danh sách proxy mới hoặc không sử dụng proxy.

Hoặc có một số kết nối mở song song, một đến từng proxy và phân phối các yêu cầu thu thập thông tin của bạn tới từng kết nối mở. Động lực có thể được thực hiện bằng cách có connetor đăng ký chính nó với điều phối yêu cầu.

Answer 2

Tôi đã thiết lập proxy quay bằng HAProxy + DeleGate + Nhiều trường hợp Tor. Với Tor, bạn không có quyền kiểm soát băng thông và độ trễ tốt nhưng nó rất hữu ích cho việc cào web. Tôi vừa mới công bố một bài báo về đề tài này: Running Your Own Anonymous Rotating Proxies

Answer 3

Edit: Có thậm chí còn Python wrapper cho gimmeproxy: https://github.com/ericfourrier/gimmeproxy-api

Nếu bạn không nhớ Node, bạn có thể sử dụng để thu thập proxy-lists proxy công cộng và check-proxy để kiểm tra chúng. Đó chính xác là cách hoạt động của https://gimmeproxy.com, thông tin khác here