web-crawler

16Nhiệt

2Trả lời

lệnh không xác định: lỗi thu thập dữ liệu

Tôi là người mới bắt đầu với python. Tôi đang chạy python 2.7.3 phiên bản 32 bit trên hệ điều hành 64 bit. (Tôi đã thử 64 bit nhưng nó không tập luyện). Tôi đã làm theo hướng dẫn và được cài đặt trên

7Nhiệt

4Trả lời

Chạy Nhiều trình thu thập dữ liệu ở dạng cắt ngang

Ví dụ: nếu có hai URL chứa HTML khác nhau. Bây giờ tôi muốn viết hai con nhện riêng lẻ cho một và muốn chạy cả hai con nhện cùng một lúc. Trong phế liệu là nó có thể chạy nhiều nhện cùng một lúc. Tron

5Nhiệt

1Trả lời

Có hợp pháp để thu thập dữ liệu từ Amazon không?

Tôi muốn có thông tin cụ thể từ amazon như tên sản phẩm và mô tả! Có hợp pháp để thu thập dữ liệu amazon không. hoặc Amazon đang cung cấp bất kỳ api nào để nhận dữ liệu được trả hoặc không thanh toán

17Nhiệt

2Trả lời

Sự khác biệt giữa tìm và lọc trong jquery

Tôi đang tìm nạp dữ liệu từ các trang wiki. Tôi đang sử dụng kết hợp của php và jquery để thực hiện việc này. Trước tiên, tôi đang sử dụng curl trong php để tìm nạp nội dung trang và lặp lại nội dung.

5Nhiệt

1Trả lời

Scrapy CrawlSpider: cách truy cập mục qua các cấp phân tích khác nhau

Tôi đang thu thập dữ liệu trang web (chỉ có hai cấp độ sâu) và tôi muốn xóa thông tin từ các trang web ở cả hai cấp. Vấn đề tôi đang gặp phải, là tôi muốn điền vào các lĩnh vực của một mục với thông t

6Nhiệt

1Trả lời

Crawling sử dụng Nutch ... Cho thấy một IOException

Tôi đã bắt đầu sử dụng Nutch và mọi thứ vẫn ổn cho đến khi tôi gặp phải một ngoại lệ IOException, $ ./nutch crawl urls -dir myCrawl -depth 2 -topN 4 cygpath: can't convert empty path solrUrl is not

8Nhiệt

4Trả lời

Trình thu thập dữ liệu web đơn giản trong C#

Tôi đã tạo một trình thu thập dữ liệu web đơn giản nhưng tôi muốn thêm chức năng đệ quy để mọi trang được mở tôi có thể nhận được các url trong trang này, nhưng tôi không biết làm cách nào tôi có thể

6Nhiệt

1Trả lời

Thực thi JavaScript trong href liên kết với Python

Tôi đang cố tải xuống một số tệp PDF tự động trên trang web (http://bibliotecadigitalhispanica.bne.es) bằng cách sử dụng Python. Tôi đã thử sử dụng các mô-đun urllib/urllib2/mechanize (mà tôi đã sử dụ

16Nhiệt

5Trả lời

Tạo một con nhện phế liệu chung

Câu hỏi của tôi thực sự là làm thế nào để làm điều tương tự như câu hỏi trước, nhưng trong Scrapy 0.14. Using one Scrapy spider for several websites Về cơ bản, tôi có giao diện đồ họa mà có các thông

8Nhiệt

1Trả lời

Lấy các tệp HTML tĩnh từ tệp XML của Wikipedia

Tôi muốn có thể nhận các tệp HTML tĩnh tương đối cập nhật từ tệp kết xuất XML Wikipedia tiếng Anh khổng lồ (ngay cả khi được nén) enwiki-latest-pages-articles.xml.bz2 Tôi đã tải xuống từ WikiMedia dum