Phế liệu. Làm thế nào để thay đổi cài đặt nhện sau khi bắt đầu thu thập thông tin?

Question

Tôi không thể thay đổi cài đặt spider theo phương pháp phân tích cú pháp. Nhưng nó chắc chắn phải là một cách.

Ví dụ:

 
class SomeSpider(BaseSpider): 
    name = 'mySpider' 
    allowed_domains = ['example.com'] 
    start_urls = ['http://example.com'] 
    settings.overrides['ITEM_PIPELINES'] = ['myproject.pipelines.FirstPipeline'] 
    print settings['ITEM_PIPELINES'][0] 
    #printed 'myproject.pipelines.FirstPipeline' 
    def parse(self, response): 
     #...some code 
     settings.overrides['ITEM_PIPELINES'] = ['myproject.pipelines.SecondPipeline'] 
     print settings['ITEM_PIPELINES'][0] 
     # printed 'myproject.pipelines.SecondPipeline' 
     item = Myitem() 
     item['mame'] = 'Name for SecondPipeline' 

Nhưng! Mục sẽ được xử lý bởi FirstPipeline. Thông số ITEM_PIPELINES mới không hoạt động. Làm cách nào để thay đổi cài đặt sau khi bắt đầu thu thập thông tin? Cảm ơn trước!

Answer 1

Nếu bạn muốn những con nhện khác nhau có đường ống khác nhau, bạn có thể đặt cho một con nhện một thuộc tính danh sách đường ống xác định đường ống cho con nhện đó. So với đường ống kiểm tra sự tồn tại:

class MyPipeline(object): 

    def process_item(self, item, spider): 
     if self.__class__.__name__ not in getattr(spider, 'pipelines',[]): 
      return item 
     ... 
     return item 

class MySpider(CrawlSpider): 
    pipelines = set([ 
     'MyPipeline', 
     'MyPipeline3', 
    ]) 

Nếu bạn muốn rằng các mục khác nhau để được proceesed bằng đường ống khác nhau mà bạn có thể làm điều này:

class MyPipeline2(object): 
     def process_item(self, item, spider): 
      if isinstance(item, MyItem): 
       ... 
       return item 
      return item