web-crawler

5Nhiệt

7Trả lời

Ứng dụng của tôi yêu cầu tôi tải xuống một lượng lớn trang web vào bộ nhớ để phân tích và xử lý thêm. Cách nhanh nhất để làm điều đó là gì? Phương pháp hiện tại của tôi (được hiển thị bên dưới) có vẻ

6Nhiệt

5Trả lời

AJAX có thể thu thập dữ liệu với _escaped_fragment_ trong htaccess

Xin chào các nhà phát triển đồng nghiệp! Chúng tôi sắp hoàn thành giai đoạn đầu tiên của ứng dụng web ajax của chúng tôi. Trong ứng dụng của chúng tôi, chúng tôi đang sử dụng mảnh băm như: http://ourd

6Nhiệt

2Trả lời

Làm thế nào để chọn một Nút radio bằng cách sử dụng Cơ chế trong Ruby?

tôi đang xây dựng trình thu thập thông tin và tôi đang sử dụng Cơ chế. Tôi muốn nhấp vào nút radio. Làm thế nào để làm điều đó ? Ví dụ: có hai nút radio cho biết 'A' và 'B'. Trang web tự động chọn B,

5Nhiệt

1Trả lời

Ví dụ/hướng dẫn NCrawler

Ai cũng có thể hướng dẫn tôi về bất kỳ ví dụ/hướng dẫn nào giải thích việc sử dụng NCrawler, tôi đã xem NCrawler Codeplex page nhưng không thể tìm thấy bất kỳ ví dụ chi tiết nào. Tôi đang cố gắng sử d

7Nhiệt

7Trả lời

Thư viện trình thu thập dữ liệu web PHP nào có sẵn?

Tôi đang tìm một số tập lệnh trình thu thập thông tin web PHP mạnh mẽ và được ghi lại tài liệu. Có lẽ một cổng PHP của dự án Java - http://wiki.apache.org/nutch/NutchTutorial Tôi đang tìm cả miễn phí

5Nhiệt

2Trả lời

Tìm kiếm SharePoint không lập chỉ mục nội dung của thư viện tài liệu

Tôi gặp vấn đề lạ khi MS Word tài liệu thư viện documemt của tôi không được lập chỉ mục. Khi tôi nhìn vào nhật ký thu thập thông tin, tôi có thể thấy rằng quá trình thu thập thông tin đang lập chỉ mục

11Nhiệt

2Trả lời

Nutch Không có đại lý nào được liệt kê trong 'http.agent.name'

Exception in thread "main" java.lang.IllegalArgumentException: Fetcher: No agents listed in 'http.agent.name' property. at org.apache.nutch.fetcher.Fetcher.checkConfiguration(Fetcher.java:1166)

13Nhiệt

2Trả lời

Phát lại một con nhện bị lơ lửng trên dữ liệu được lưu trữ

Tôi đã bắt đầu sử dụng Scrapy để xóa một vài trang web. Nếu sau này tôi thêm trường mới vào mô hình của mình hoặc thay đổi chức năng phân tích cú pháp của mình, tôi muốn có thể "phát lại" dữ liệu thô

16Nhiệt

3Trả lời

Làm cách nào để ngăn không cho Bing chuyển trang web của tôi sang lưu lượng truy cập bất thường?

Bingbot sẽ tấn công trang web của tôi khá khó khăn trong một vài giờ mỗi ngày và sẽ cực kỳ nhẹ trong suốt thời gian còn lại. Tôi muốn làm mịn các lần thu thập thông tin, giảm giới hạn tốc độ hoặc chặn

6Nhiệt

4Trả lời

Lưu tất cả các tập tin hình ảnh từ một trang web

Tôi đang tạo một ứng dụng nhỏ cho bản thân mình, nơi tôi chạy tập lệnh Ruby và lưu tất cả hình ảnh ra khỏi blog của mình. Tôi không thể tìm ra cách lưu tệp hình ảnh sau khi tôi đã xác định chúng. Bất