scrapy

24Nhiệt

2Trả lời

Làm cách nào để sử dụng CrawlSpider từ dơ bẩn để nhấp vào liên kết có javascript trênclick?

Tôi muốn scrapy thu thập trang nơi xảy ra vào liên kết tiếp theo sẽ như thế này: <a href="#" onclick="return gotoPage('2');"> Next </a> sẽ scrapy có thể giải thích mã javascript về điều đó? Với Live

7Nhiệt

3Trả lời

Nhận tài liệu DOCTYPE với BeautifulSoup

Tôi vừa mới bắt đầu sửa đổi scrapy kết hợp với BeautifulSoup và tôi tự hỏi liệu tôi có thiếu điều gì đó hiển nhiên hay không nhưng tôi không thể tìm ra cách lấy lại tài liệu về tài liệu html từ đối tư

41Nhiệt

7Trả lời

Thử nghiệm đơn vị sơ bộ

Tôi muốn thực hiện một số kiểm tra đơn vị trong một Scrapy (trình thu thập dữ liệu màn hình/trình thu thập dữ liệu web). Kể từ khi một dự án được chạy thông qua lệnh "thu thập thông tin", tôi có thể c

9Nhiệt

2Trả lời

Ruby thay thế cho Scrapy?

Một số công cụ dựa trên Ruby có thể giúp tôi đạt được điều gì đó tương tự như những gì Scrapy làm cho python? http://doc.scrapy.org/intro/overview.html

7Nhiệt

1Trả lời

Chạy Phế liệu từ tập lệnh - Treo số

Tôi đang cố gắng chạy từ kịch bản như được thảo luận here. Nó gợi ý sử dụng đoạn mã this, nhưng khi tôi thực hiện nó thì vô thời hạn. Điều này đã được viết lại trong phiên bản .10; nó vẫn tương thích

5Nhiệt

4Trả lời

Có ai có mã ví dụ cho một đường ống dẫn sqlite trong Scrapy không?

Tôi đang tìm một số mã ví dụ về một đường dẫn SQLite trong Scrapy. Tôi biết không có hỗ trợ xây dựng cho nó, nhưng tôi chắc chắn nó đã được thực hiện. Chỉ có mã thực tế mới có thể giúp tôi, vì tôi chỉ

7Nhiệt

4Trả lời

Phế liệu - Theo các liên kết RSS

Tôi đã tự hỏi liệu có ai đã từng trích xuất/theo các liên kết mục RSS bằng cách sử dụng SgmlLinkExtractor/CrawlSpider hay không. Tôi không thể có được nó để làm việc ... Tôi đang sử dụng các nguyên tắ

9Nhiệt

1Trả lời

Sử dụng nhiều trình thu thập dữ liệu tại dự án trong Scrapy

Tôi muốn biết liệu có thể sử dụng nhiều trình thu thập thông tin trong cùng một dự án với nhau hay không. Thực ra tôi cần 2 con nhện. Người đầu tiên tập hợp các liên kết mà trên đó con nhện thứ hai sẽ

13Nhiệt

10Trả lời

URL Thu thập dữ liệu bịp nhặt theo thứ tự

Vì vậy, vấn đề của tôi khá đơn giản. Tôi có một con nhện thu thập dữ liệu nhiều trang web và tôi cần nó để trả lại dữ liệu theo thứ tự tôi viết nó trong mã của tôi. Nó được đăng bên dưới. from scrapy.

8Nhiệt

2Trả lời

Không thể lấy đường ống Phế liệu để làm việc

Tôi có nhện mà tôi đã viết bằng cách sử dụng khung công tác Scrapy. Tôi đang gặp một số rắc rối khi nhận bất kỳ đường ống dẫn nào để hoạt động. Tôi có đoạn mã sau trong pipelines.py của mình: class Fi