web-crawler

8Nhiệt

2Trả lời

Không thể lấy đường ống Phế liệu để làm việc

Tôi có nhện mà tôi đã viết bằng cách sử dụng khung công tác Scrapy. Tôi đang gặp một số rắc rối khi nhận bất kỳ đường ống dẫn nào để hoạt động. Tôi có đoạn mã sau trong pipelines.py của mình: class Fi

11Nhiệt

5Trả lời

Trình thu thập thông tin web trong ruby

Đề xuất của bạn về cách viết trình thu thập dữ liệu web trong Ruby là gì? Bất kỳ lib tốt hơn cơ giới hóa?

18Nhiệt

5Trả lời

Tôi làm cách nào để xử lý Javascript trong trình thu thập dữ liệu web Perl?

Tôi muốn thu thập thông tin một trang web, vấn đề là, đầy đủ các thứ JavaScript, chẳng hạn như các nút và như vậy khi chúng được nhấn, chúng không thay đổi URL, nhưng dữ liệu trên trang được thay đổi.

5Nhiệt

5Trả lời

Ý tưởng BOT/Spider Trap

Tôi có một khách hàng có miền dường như bị tấn công khá mạnh bởi những gì dường như là một DDoS. Trong nhật ký, nó là các tác nhân người dùng tìm kiếm thông thường với các IP ngẫu nhiên nhưng chúng lậ

40Nhiệt

6Trả lời

Tìm kiếm trong nguồn html với GOOGLE?

Tôi có một số trang web và tôi không thể nhớ nơi tôi đã viết một số dòng mã. Khi các trang của tôi được Google lập chỉ mục, tôi muốn biết liệu Google có cung cấp cơ sở để tìm kiếm trong mã nguồn HTML/

5Nhiệt

6Trả lời

AJAX có thực sự thân thiện với SEO không?

Bây giờ với Web 2.0, xu hướng là AJAX, có rất nhiều khung công tác hiện có trên thị trường quảng bá AJAX, nhưng AJAX có thực sự thân thiện với SEO không?

6Nhiệt

6Trả lời

Sau khi thực hiện HttpWebRequests trong một thời gian, kết quả bắt đầu tính thời gian ra

Tôi có một ứng dụng thu thập thông tin các trang web. Có vẻ như sau 20-45 phút của việc tạo HttpWebRequests, một loạt trong số họ trả về thời gian chờ. Một điều chúng tôi làm là đính kèm một chức năng

6Nhiệt

2Trả lời

Cách biết Yêu cầu HTTP là BOT

Tôi đang tìm danh sách đầy đủ các User-Agents của BOTS (trình thu thập thông tin, trình thu thập thông tin, chương trình twitter, v.v.). Bạn có biết gì không? Cảm ơn

7Nhiệt

2Trả lời

Tôi có thể sử dụng WGET để tạo sơ đồ trang web của một trang web được cung cấp URL không?

Tôi cần một tập lệnh có thể thu thập dữ liệu một trang web và trả về danh sách tất cả các trang được thu thập thông tin ở dạng văn bản thuần hoặc tương tự; mà tôi sẽ gửi cho các công cụ tìm kiếm dưới

21Nhiệt

5Trả lời

cách trích xuất liên kết và tiêu đề từ trang .html?

cho trang web của tôi, tôi muốn thêm một chức năng mới. tôi muốn người dùng có thể tải lên tập tin sao lưu bookmark của mình (từ bất kỳ trình duyệt nếu có thể) để tôi có thể tải nó lên hồ sơ của họ và