scrapy

6Nhiệt

2Trả lời

Tôi đã thiết kế trình thu thập thông tin nơi sẽ có hai trình thu thập thông tin. Tôi đã thiết kế các lỗi này bằng cách sử dụng các mẩu tin lưu niệm. Những trình thu thập thông tin này sẽ chạy độc lập

11Nhiệt

3Trả lời

Lỗi khi cài đặt Scrapy trên Ubuntu 13.04

Khi tôi cố gắng để cài đặt Scrapy trên ubuntu 13.04 với lệnh sudo easy_install -U Scrapy, tôi nhận được lỗi sau: Searching for Scrapy Reading pypi.python.org/simple/Scrapy/ Best match: Scrapy 0.16.5

7Nhiệt

3Trả lời

Quét dữ liệu Python bằng Scrapy

Tôi muốn xóa dữ liệu từ một trang web có TextFields, Buttons v.v .. và yêu cầu của tôi là điền vào các trường văn bản và gửi biểu mẫu để nhận kết quả và sau đó cạo các điểm dữ liệu từ trang kết quả .

8Nhiệt

1Trả lời

cách lấy start_url ban đầu bằng mẩu tin lưu niệm (trước khi chuyển hướng)

Tôi đang sử dụng Scrapy để thu thập dữ liệu một số trang. Tôi lấy các start_urls từ một bảng excel và tôi cần phải lưu các url trong mục. class abc_Spider(BaseSpider): name = 'abc' allowed_d

6Nhiệt

2Trả lời

Cách gọi các trình thu thập dữ liệu cụ thể từ một tập lệnh Python khác

Tôi có một tập lệnh có tên là algorithm.py và tôi muốn có thể gọi các trình thu thập dữ liệu trong suốt tập lệnh. Các scructure tập tin là: algorithm.py MySpiders/ nơi MySpiders là một thư mục có chứa

15Nhiệt

2Trả lời

Phế liệu: cách tắt hoặc thay đổi nhật ký?

Tôi đã theo dõi official tutoral of Scrapy, thật tuyệt vời! Tôi muốn xóa tất cả tin nhắn DEBUG khỏi đầu ra của bảng điều khiển. Là có một cách? 2013-06-08 14:51:48+0000 [scrapy] DEBUG: Telnet console

5Nhiệt

1Trả lời

Tôi làm cách nào để sử dụng Scrapy để thu thập thông tin trong các trang?

Tôi đang sử dụng Python và Scrapy cho câu hỏi này. Tôi đang cố gắng thu thập trang web Một, trong đó có chứa một danh sách các liên kết đến các trang web B1, B2, B3, ... Mỗi B trang chứa một liên kết

5Nhiệt

2Trả lời

scrapy - cách lấy văn bản từ 'div'

Tôi chỉ mới bắt đầu hiểu biết rõ ràng. Bây giờ tôi đang cố gắng thu thập dữ liệu bằng cách làm theo hướng dẫn. Nhưng tôi gặp khó khăn khi thu thập dữ liệu văn bản từ div. Đây là items.py from scrapy.i

13Nhiệt

2Trả lời

Scrapy Nutch

Tôi đang lên kế hoạch sử dụng tính năng vẽ web trong ứng dụng tôi hiện đang làm việc. Tôi đã làm một số nghiên cứu về Nutch và chạy một số thử nghiệm sơ bộ bằng cách sử dụng nó. Nhưng sau đó tôi đã gặ

7Nhiệt

2Trả lời

Cắt bỏ dữ liệu từ một bảng có giấy vụn

Cạo dữ liệu từ một bảng có nhiều mảnh vụn. Html bảng cũng giống như: <table class="tablehd"> <tr class="colhead"> <td width="170">MON, NOV 11</td> <td width="80">Item</td> <td width="60" align="c