cho phép tất cả các tên miền

Question

Tôi thấy this bài đăng để thu thập dữ liệu bất kỳ trang web nào mà không có giới hạn miền được phép.

Có cách nào tốt hơn để làm việc đó, chẳng hạn như sử dụng một biểu thức chính quy trong biến miền được phép, như-

allowed_domains = ["*"] 

Tôi hy vọng có một số cách khác hơn là xâm nhập vào khuôn khổ scrapy để làm điều này.

Answer 1

Không đặt allow_domain.

Nhìn vào get_host_regex() chức năng trong tập tin scrapy này:

https://github.com/scrapy/scrapy/blob/master/scrapy/contrib/spidermiddleware/offsite.py

Answer 2

bạn nên diactivate middlware offsite được tích hợp sẵn trong middleware nhện trong scrapy. để biết thêm thông tin http://doc.scrapy.org/en/latest/topics/spider-middleware.html