scrapy

35Nhiệt

4Trả lời

cách lọc các yêu cầu trùng lặp dựa trên url trong scrapy

Tôi đang viết trình thu thập thông tin cho một trang web sử dụng mẩu tin lưu niệm với CrawlSpider. Phế liệu cung cấp bộ lọc yêu cầu trùng lặp được tích hợp sẵn để lọc các yêu cầu trùng lặp dựa trên cá

5Nhiệt

2Trả lời

Cách bật cookiemiddleware trong scrapy trong python

trong tài liệu của họ vào đây http://doc.scrapy.org/en/latest/topics/downloader-middleware.html#cookies-mw Họ nói để cho phép giữa cookie, nhưng tôi không thể tìm thấy làm thế nào để làm điều đó và tậ

5Nhiệt

1Trả lời

Spider phế phẩm trả về Không thay vì mục

Tôi đã tìm thấy câu trả lời, bên dưới. Trong ngắn hạn, sai thụt lề trong ItemPipeline khiến nó trở về None. Tôi đã cố gắng viết CrawlSpider trong Scrapy, chưa từng làm việc với python trước đây. Spide

9Nhiệt

1Trả lời

Làm thế nào để triển khai một con nhện phế liệu trên đám mây Heroku

Tôi đã phát triển một vài con nhện trong mẩu hình ảnh số & mà tôi muốn thử nghiệm trên đám mây Heroku. Có ai có bất kỳ ý tưởng về việc làm thế nào để triển khai một Spider phế liệu trên đám mây Heroku

8Nhiệt

1Trả lời

Ngoại lệ hướng dẫn cóp nhặt

Tôi đang theo dõi tài liệu hướng dẫn sơ lược tại http://media.readthedocs.org/pdf/scrapy/0.14/scrapy.pdf và tôi đã xác minh rằng items.py và dmoz_spider.py được nhập (không cắt & dán) một cách chính x

21Nhiệt

3Trả lời

scrapy - phân tích các chỉ tiêu phân trang

Tôi có một url có dạng: example.com/foo/bar/page_1.html Có tổng cộng 53 trang, mỗi một trong số họ có ~ 20 hàng. Tôi về cơ bản muốn nhận tất cả các hàng từ tất cả các trang, tức là ~ 53 * 20 mục. Tô

24Nhiệt

4Trả lời

Làm thế nào để cài đặt và khởi động một con nhện Scrapy lập trình (url và cài đặt)

Tôi đã viết một trình thu thập làm việc sử dụng scrapy, bây giờ tôi muốn kiểm soát nó thông qua một webapp Django, mà là để nói: Set 1 hoặc nhiều start_urls Set 1 hoặc nhiều allowed_domains Set settin

5Nhiệt

9Trả lời

Phế liệu HtmlXPathSelector

Chỉ cần cố gắng tháo rời và cố gắng làm cho một con nhện cơ bản hoạt động. Tôi biết đây chỉ là một cái gì đó tôi đang thiếu nhưng tôi đã thử tất cả mọi thứ tôi có thể nghĩ đến. Các lỗi tôi nhận được l

5Nhiệt

1Trả lời

Chức năng Python Scrapy được gọi ngay trước khi tín hiệu spider_closed được gửi đi?

Tôi đã viết một con nhện bằng cách sử dụng mẩu tin lưu niệm, một trong số đó tạo ra toàn bộ các yêu cầu HtmlXPathSelector để tách các trang web. Nó tạo ra một hàng dữ liệu trong một tệp .csv sau mỗi y

7Nhiệt

4Trả lời

Làm cách nào để đặt url tham chiếu

Tôi cần đặt url giới thiệu, trước khi xóa một trang web, trang web sử dụng tham chiếu dựa trên xác thực url, vì vậy nó không cho phép tôi đăng nhập nếu người giới thiệu không hợp lệ. Ai đó có thể nói