web-crawler

5Nhiệt

1Trả lời

Chức năng Python Scrapy được gọi ngay trước khi tín hiệu spider_closed được gửi đi?

Tôi đã viết một con nhện bằng cách sử dụng mẩu tin lưu niệm, một trong số đó tạo ra toàn bộ các yêu cầu HtmlXPathSelector để tách các trang web. Nó tạo ra một hàng dữ liệu trong một tệp .csv sau mỗi y

10Nhiệt

1Trả lời

Làm thế nào để mở rộng Nutch cho bài viết thu thập thông tin

Tôi đang tìm một khuôn khổ để lấy bài viết, sau đó tôi tìm thấy Nutch 2.1. Dưới đây là kế hoạch và các câu hỏi của tôi trong mỗi: Thêm trang danh sách bài viết vào url/seed.txt Dưới đây là một vấn đề.

5Nhiệt

1Trả lời

howto crawl tất cả các ý kiến của clip duy nhất từ youtube, hơn 100 trang

tôi cần phải bò xuống tất cả các ý kiến (hơn 2.600.000 ý kiến, hơn 5000 trang) cho Gangnam Style Video của PSY từ YouTube, xem: http://www.youtube.com/all_comments?v=9bZkp7q19f0 vấn đề là: 1) Nếu tô

34Nhiệt

3Trả lời

Node.JS: Làm thế nào để chuyển các biến thành các cuộc gọi lại không đồng bộ?

Tôi chắc chắn rằng sự cố của tôi dựa trên sự thiếu hiểu biết về lập trình asynch trong node.js nhưng ở đây sẽ xảy ra. Ví dụ: Tôi có danh sách liên kết tôi muốn thu thập dữ liệu. Khi mỗi yêu cầu asynch

35Nhiệt

4Trả lời

cách lọc các yêu cầu trùng lặp dựa trên url trong scrapy

Tôi đang viết trình thu thập thông tin cho một trang web sử dụng mẩu tin lưu niệm với CrawlSpider. Phế liệu cung cấp bộ lọc yêu cầu trùng lặp được tích hợp sẵn để lọc các yêu cầu trùng lặp dựa trên cá

6Nhiệt

3Trả lời

Giao diện điều khiển ứng dụng để đăng nhập vào trang web ASP.NET

Trước tiên, hãy tha thứ cho sự ngây thơ của tôi với chủ đề này. Tôi là một lập trình viên đã nghỉ hưu đã bắt đầu trước khi DOS xuất hiện. Tôi không phải là chuyên gia về ASP.NET. Một phần của những gì

10Nhiệt

1Trả lời

Trường hợp Meta Case có nhạy cảm không?

là <meta name="keywords" content="mykeyword, Mykeyword"> điều tương tự như <meta name="keywords" content="mykeyword"> có cả từ khoá được coi là tương tự bởi một trình thu thập web?

5Nhiệt

2Trả lời

Nutch không thu thập thông tin tất cả các liên kết dưới dạng

Tôi gặp sự cố khi thu thập dữ liệu trang web của mình ... có biểu mẫu có hai danh sách thả xuống .... và khi tôi bắt đầu thu thập thông tin, trình thu thập thông tin chỉ tìm nạp một phần liên kết từ b

5Nhiệt

1Trả lời

Cách đảm bảo trình thu thập dữ liệu web hoạt động cho trang web được lưu trữ trên AWS S3 và sử dụng AJAX

Hướng dẫn quản trị trang web của Google giải thích rằng máy chủ web phải xử lý các yêu cầu cho url chứa _escaped_fragment_ (Trình thu thập thông tin sửa đổi www.example.com/ajax.html#!mystate để www.e

6Nhiệt

3Trả lời

Facebook Crawler Bot Crashing Site

Facebook có thực hiện một số trình thu thập dữ liệu web không? Trang web của tôi đã bị lỗi vài lần trong vài ngày qua, bị quá tải nghiêm trọng bởi các IP mà tôi đã truy tìm lại trên Facebook. Tôi đã t