scrapy

6Nhiệt

1Trả lời

Scrapy được sau và cào các liên kết không phép

Tôi đã một CrawlSpider thiết lập để liên kết nhất định sau đây và cạo một tạp chí tin tức nơi các liên kết đến từng vấn đề theo các chương trình URL sau: http://example.com/YYYY/DDDD/index.htm nơi YYY

6Nhiệt

2Trả lời

Là một công dân và trang web cạo tốt

Tôi có một câu hỏi gồm hai phần. Trước tiên, tôi đang viết một trang web-scraper dựa trên các spider CrawlSpider trong Scrapy. Tôi đang nhắm tới việc xóa một trang web có hàng ngàn (có thể vào hàng tr

9Nhiệt

4Trả lời

Làm cách nào để xóa truy vấn khỏi url?

Tôi đang sử dụng mẩu tin lưu niệm để thu thập dữ liệu trang web có vẻ như đang thêm các giá trị ngẫu nhiên vào chuỗi truy vấn ở cuối mỗi URL. Điều này đang biến thu thập thông tin thành một loại vòng

17Nhiệt

2Trả lời

Truy cập cookie phiên trong các trình thu thập dữ liệu bị cắt ngang

Tôi đang cố gắng truy cập cookie phiên trong một con nhện. đầu tiên tôi đăng nhập vào một mạng xã hội sử dụng trong một con nhện: def parse(self, response): return [FormRequest.from_response(re

31Nhiệt

6Trả lời

Làm thế nào để cung cấp cho sự chậm trễ giữa mỗi yêu cầu trong phế liệu?

Tôi không muốn thu thập dữ liệu đồng thời và bị chặn. Tôi muốn gửi một yêu cầu mỗi giây.

8Nhiệt

1Trả lời

Làm cách nào để thử lại liên kết 404 không tìm thấy trong mẩu tin lưu niệm?

Một số trang web tạm thời bị lỗi 404. Nhưng tôi dán vào trình duyệt nó hoạt động. Làm thế nào để nói mẩu tin lưu niệm để thử lại các liên kết mã trạng thái 404 trong 5 lần.

7Nhiệt

2Trả lời

Tải xuống hình ảnh có hình thu nhỏ

Tôi đang bắt đầu với sự cố, và tôi có vấn đề thực sự đầu tiên. Nó đang tải hình ảnh. Đây là con nhện của tôi. from scrapy.contrib.spiders import CrawlSpider, Rule from scrapy.selector import HtmlXPat

12Nhiệt

1Trả lời

start_urls động trong scrapy

Tôi đang sử dụng nhiều thứ để thu thập dữ liệu nhiều trang trên một trang web. Biến số start_urls được sử dụng để xác định các trang được thu thập thông tin. tôi ban đầu sẽ bắt đầu với trang 1, do đó

6Nhiệt

6Trả lời

Đoạn bắt đầu bóc lột

The script (bên dưới) từ this hướng dẫn chứa hai start_urls. from scrapy.spider import Spider from scrapy.selector import Selector from dirbot.items import Website class DmozSpider(Spider):

7Nhiệt

3Trả lời

Xuất khẩu tùy chỉnh phế liệu

Tôi xác định một nhà xuất khẩu mặt hàng sẽ đẩy các mục vào hàng đợi thư. Dưới đây là mã. from scrapy.contrib.exporter import JsonLinesItemExporter from scrapy.utils.serialize import ScrapyJSONEncoder