web-crawler

21Nhiệt

6Trả lời

Làm cách nào để cung cấp URL cho việc thu thập dữ liệu để thu thập dữ liệu?

Tôi muốn sử dụng mẩu tin lưu niệm để thu thập thông tin các trang web. Có cách nào để truyền URL bắt đầu từ chính thiết bị đầu cuối không? Nó được đưa ra trong documentation mà một trong hai tên của n

12Nhiệt

3Trả lời

Erlang có phải là lựa chọn đúng đắn cho một webcrawler không?

Tôi đang lập kế hoạch để viết một webcrawler cho một dự án NLP, mà đọc trong cấu trúc thread của một diễn đàn mọi lúc trong một khoảng thời gian cụ thể và phân tích từng luồng với nội dung mới. Thông

6Nhiệt

2Trả lời

Tương đương với wget bằng Python để tải xuống trang web và tài nguyên

Điều tương tự được yêu cầu 2.5 năm trước trong Downloading a web page and all of its resource files in Python nhưng không dẫn đến câu trả lời và 'xin vui lòng xem chủ đề liên quan' không thực sự hỏi đ

7Nhiệt

2Trả lời

Ruby, Mongodb, Anemone: trình thu thập dữ liệu web có thể bị rò rỉ bộ nhớ?

Tôi bắt đầu tìm hiểu về trình thu thập dữ liệu web gần đây và tôi đã tạo một trình thu thập mẫu với Ruby, Anemone và Mongodb để lưu trữ. Tôi đang thử nghiệm trình thu thập thông tin trên một trang web

5Nhiệt

1Trả lời

Trích xuất dữ liệu thẻ Span bằng cách sử dụng Jsoup

Tôi đang cố gắng trích xuất nội dung cụ thể trong html bằng cách sử dụng Jsoup. Dưới đây là nội dung html mẫu. <html xmlns="http://www.w3.org/1999/xhtml"> <head> </head> <body class=""> <div c

12Nhiệt

1Trả lời

start_urls động trong scrapy

Tôi đang sử dụng nhiều thứ để thu thập dữ liệu nhiều trang trên một trang web. Biến số start_urls được sử dụng để xác định các trang được thu thập thông tin. tôi ban đầu sẽ bắt đầu với trang 1, do đó

18Nhiệt

2Trả lời

Làm cách nào để sử dụng mô-đun Python Scrapy để liệt kê tất cả các URL từ trang web của tôi?

Tôi muốn sử dụng Python Scrapy module để xóa tất cả các URL khỏi trang web của tôi và ghi danh sách vào một tệp. Tôi đã xem các ví dụ nhưng không thấy bất kỳ ví dụ đơn giản nào để làm điều này.

6Nhiệt

4Trả lời

Giải pháp hoàn toàn JavaScript cho Google Ajax Crawlable Spec

Tôi có một dự án dựa trên JavaScript rất nhiều (ví dụ: node.js, backbone.js, v.v.). Tôi đang sử dụng url băm như/#!/About và đã đọc thông số kỹ thuật thu thập dữ liệu google ajax. Tôi đã thực hiện một

5Nhiệt

6Trả lời

Làm cách nào để thiết kế bot thu thập thông tin?

Tôi đang làm việc trên một dự án nhỏ để phân tích nội dung trên một số trang web mà tôi thấy thú vị; đây là một dự án DIY thực sự mà tôi đang làm cho giải trí/giác ngộ của mình, vì vậy tôi muốn tự mìn

9Nhiệt

1Trả lời

Làm cách nào để dừng tất cả trình thu thập thông tin và công cụ ngay lập tức sau khi điều kiện trong đường ống được đáp ứng?

Chúng tôi có một hệ thống được viết bằng cào để thu thập dữ liệu một vài trang web. Có một số nhện và một số đường ống xếp chồng cho tất cả các mục được tất cả các trình thu thập thông qua. Một trong