web-crawler

9Nhiệt

5Trả lời

Làm cách nào để cho phép trình thu thập thông tin truy cập vào chỉ mục index.php, sử dụng robots.txt?

Nếu tôi muốn chỉ cho phép trình thu thập thông tin truy cập index.php, điều này có hoạt động không? User-agent: * Disallow:/ Allow: /index.php

6Nhiệt

4Trả lời

Tại sao Ruby không được sử dụng để tạo ra một con nhện

Trong tập 78 của Joel & Jeff podcast, một trong những người Doctype/Litmus nói rằng bạn sẽ không bao giờ muốn xây dựng một con nhện bằng ruby. Có ai muốn đoán tại lý do của mình cho điều này?

5Nhiệt

1Trả lời

Tôi nên biết gì về thu thập thông tin của công cụ tìm kiếm?

Tôi không có nghĩa là những thứ SEO. Những gì tôi nên biết. Chẳng hạn như Động cơ có chạy javascript không? Họ có sử dụng cookie không? Cookie sẽ thực hiện trên các phiên thu thập thông tin (nói cooki

5Nhiệt

4Trả lời

Làm chậm tốc độ truy cập trang web

Có cách nào để buộc một con nhện làm chậm hoạt động của trang web không? Bất kỳ thứ gì có thể được đặt trong tiêu đề hoặc robots.txt? Tôi nghĩ tôi nhớ đã đọc một số điều về điều này là có thể nhưng kh

5Nhiệt

1Trả lời

php chuyển đổi tất cả các liên kết thành url tuyệt đối

Tôi đang viết trình thu thập thông tin trang web bằng php và tôi đã có mã có thể trích xuất tất cả các liên kết từ một trang web. Sự cố: các trang web sử dụng kết hợp các url tuyệt đối và tương đối. V

10Nhiệt

1Trả lời

Scrapy SgmlLinkExtractor bị bỏ qua là bỏ qua các liên kết được phép

Vui lòng xem this spider example trong tài liệu Scrapy. Giải thích là: Con nhện này sẽ bắt đầu thu thập thông tin trang chủ example.com, thu thập liên kết danh mục và liên kết mục, phân tích cú pháp s

9Nhiệt

3Trả lời

Quay proxy cho web scraping

Tôi đã có một trình thu thập dữ liệu web python và tôi muốn phân phối các yêu cầu tải xuống trong số nhiều máy chủ proxy khác nhau, có thể chạy mực (mặc dù tôi đang mở để lựa chọn thay thế). Ví dụ: nó

5Nhiệt

6Trả lời

Làm cách nào để thu thập toàn bộ Wikipedia?

Tôi đã dùng thử ứng dụng WebSphinx. Tôi nhận ra nếu tôi đặt wikipedia.org làm URL bắt đầu, nó sẽ không thu thập thông tin thêm. Do đó, làm cách nào để thu thập dữ liệu toàn bộ Wikipedia? Bất cứ ai có

5Nhiệt

4Trả lời

Có thể đăng nhập vào một trang web bằng C# không?

Có thể viết chương trình C# sẽ tải lên một trang web, chuyển các tham số biểu mẫu web để đăng nhập, sau đó nhấp vào liên kết và tải xuống thông tin trang? Rõ ràng, tôi sẽ cung cấp tên người dùng và mậ

22Nhiệt

6Trả lời

cách trình thu thập dữ liệu web xử lý javascript

Hôm nay, rất nhiều nội dung trên Internet được tạo bằng JavaScript (cụ thể bằng các cuộc gọi AJAX nền). Tôi đã tự hỏi làm thế nào các trình thu thập dữ liệu web như Google xử lý chúng. Họ có biết Java