web-crawler

19Nhiệt

3Trả lời

Làm thế nào tôi có thể kiểm tra an toàn là nút trống hay không? (Symfony 2 Crawler)

Khi tôi cố gắng đưa một số nội dung không tồn tại từ trang tôi bắt lỗi này: The current node list is empty. 500 Internal Server Error - InvalidArgumentException Làm thế nào tôi có thể an toàn kiểm

10Nhiệt

4Trả lời

Trình thu thập dữ liệu web hiện đại có sử dụng sự kiện nhấp chuột hoặc điều hướng trực tiếp đến href trên thẻ neo không?

Tôi đang xây dựng trang web mà tôi muốn hành xử giống như người dùng ưa thích, nhưng muốn trình thu thập dữ liệu web vẫn có thể điều hướng chính xác. Tôi có thẻ sau neo: <a class="overrideClick" href=

11Nhiệt

10Trả lời

Thư viện trình thu thập thông tin web Java

Tôi muốn tạo trình thu thập thông tin web dựa trên Java cho một thử nghiệm. Tôi nghe nói rằng làm cho một Web Crawler trong Java là con đường để đi nếu đây là lần đầu tiên của bạn. Tuy nhiên, tôi có h

8Nhiệt

11Trả lời

PHP- không thể thay đổi max_execution_time trong xampp

Tôi đã thử mọi thứ để thay đổi max_execution_time của tập lệnh trình thu thập thông tin php để có thể chạy một khoảng thời gian vô hạn. Tôi đã thay đổi các thiết lập max_execution_time tập tin php.ini

8Nhiệt

2Trả lời

thu thập dữ liệu trang web động bằng htmlunit

Tôi đang thu thập dữ liệu bằng cách sử dụng HtmlUnit từ trang web động, sử dụng cuộn vô hạn để tìm nạp dữ liệu động, giống như nguồn cấp tin tức của facebook. Tôi đã sử dụng các câu sau đây để mô phỏn

8Nhiệt

3Trả lời

Phế liệu - Chọn liên kết cụ thể dựa trên văn bản

Điều này sẽ dễ dàng nhưng tôi bị kẹt. <div class="paginationControl"> <a href="/en/overview/0-All_manufactures/0-All_models.html?page=2&powerunit=2">Link Text 2</a> | <a href="/en/overvi

5Nhiệt

5Trả lời

Cách tốt nhất để chọn hình ảnh từ HTML để sử dụng làm hình thu nhỏ/bản xem trước của trang

Giả sử không có hình ảnh hoặc liên kết img_source nào, có ai có kinh nghiệm thực tế hoặc tư vấn về kỹ thuật tốt hơn ngẫu nhiên hay không để chọn hình ảnh thể hiện tốt nhất một trang web? Cập nhật: Tất

8Nhiệt

1Trả lời

Tải xuống tất cả các tệp pdf từ kết quả tìm kiếm của Google Scholar bằng cách sử dụng wget

Tôi muốn viết một spider web đơn giản hoặc chỉ sử dụng wget để tải xuống kết quả pdf từ học giả google. Điều đó thực sự sẽ là một cách khá tốt để có được giấy tờ để nghiên cứu. Tôi đã đọc các trang sa

6Nhiệt

1Trả lời

Đặt giá trị của trường chọn chỉ sử dụng nhãn của tùy chọn, không phải giá trị trực tiếp, khi viết kiểm tra chức năng trong Symfony2

Khi viết kiểm tra chức năng, làm cách nào tôi có thể đặt giá trị của hộp chọn nếu tôi chỉ có nhãn của tùy chọn Tôi muốn, nhưng không phải là giá trị thực tế?

11Nhiệt

1Trả lời

Cách in nguồn html vào bảng điều khiển với các phantomjs

Tôi vừa downloaed và cài đặt các phantomj trên máy tính của mình. Tôi sao chép và dán tập lệnh sau vào tệp có tên hello.js: var page = require('webpage').create(); var url = 'https://www.google.com'