web-crawler

5Nhiệt

1Trả lời

Cách sử dụng đúng Quy tắc, hạn chế_xpath để thu thập dữ liệu và phân tích cú pháp các URL có nhiều mẩu tin lưu niệm?

Tôi đang cố gắng lập trình một spider thu thập thông tin để thu thập dữ liệu các nguồn cấp dữ liệu RSS của một trang web và sau đó phân tích cú pháp các thẻ meta của bài viết. Trang RSS đầu tiên là tr

8Nhiệt

3Trả lời

Thử nghiệm chức năng của Symfony2 - Nhấp vào các yếu tố có tương tác jQuery

Tôi đang thực hiện một số kiểm tra chức năng cho một ứng dụng được thực hiện với Symfony2 (2.1) và tôi đang gặp sự cố. Tôi có một số phần của trang web tải khi người dùng nhấp vào liên kết hoặc phần t

9Nhiệt

5Trả lời

Cách trích xuất URL từ một trang HTML bằng Python

Tôi phải viết trình thu thập dữ liệu web bằng Python. Tôi không biết cách phân tích một trang và trích xuất các URL từ HTML. Tôi nên đi đâu và học viết một chương trình như vậy? Nói cách khác, có một

10Nhiệt

4Trả lời

Chạy cục bộ tất cả các trình thu thập dữ liệu trong Scrapy

Có cách nào để chạy tất cả các trình thu thập dữ liệu trong một dự án Scrapy mà không sử dụng daemon Scrapy không? Đã từng có một cách để chạy nhiều nhện với scrapy crawl, nhưng cú pháp đó đã bị xóa v

6Nhiệt

1Trả lời

Sử dụng middleware để ngăn chặn scrapy từ các trang web đúp thăm

Tôi có một vấn đề như thế này: how to filter duplicate requests based on url in scrapy Vì vậy, tôi không muốn có một trang web để được thu thập thông nhiều hơn một lần. Tôi đã điều chỉnh phần mềm trun

10Nhiệt

2Trả lời

yêu cầu Facebook cho {url} /no_facebook_preview_picture.jpg trên 404 liên kết

Chúng tôi hoạt động một cụ rút gọn URL, trong tuần qua, hay như vậy chúng tôi đã bắt đầu nhìn thấy nhiều yêu cầu lạ cho {normal url}/no_facebook_preview_picture.jpg từ các IP Facebook sở hữu và user a

8Nhiệt

1Trả lời

Apache Nutch 2.1 khác nhau id id (null)

Tôi thu thập thông tin vài trang web với Apache Nutch 2.1. Trong khi thu thập thông tin, tôi thấy thông báo sau trên nhiều trang: ví dụ: Bỏ qua http://www.domainname.com/news/subcategory/111111/index.

7Nhiệt

1Trả lời

Cách thu thập dữ liệu từ nhiều trang vào một cấu trúc dữ liệu đơn lẻ với số liệu

Tôi đang cố gắng để xóa dữ liệu từ một trang web. Dữ liệu được cấu trúc dưới dạng nhiều đối tượng với mỗi tập hợp dữ liệu. Ví dụ: những người có tên, tuổi và nghề nghiệp. Vấn đề của tôi là dữ liệu này

12Nhiệt

2Trả lời

Thu thập thông tin không chính xác CrawlSpider không thu thập thông tin trang đích đầu tiên

Tôi mới sử dụng Scrapy và tôi đang thực hiện một bài tập cào và tôi đang sử dụng CrawlSpider. Mặc dù khung công tác Scrapy hoạt động rất đẹp và nó tuân theo các liên kết có liên quan, tôi dường như kh

7Nhiệt

1Trả lời

Thu thập dữ liệu nhiều trang web bằng Python Scrapy với độ sâu giới hạn trên mỗi trang web

Tôi mới sử dụng Scrapy và tôi đang cố gắng thu thập dữ liệu nhiều trang web từ một tệp văn bản với CrawlSpider. Tuy nhiên, tôi muốn giới hạn chiều sâu của việc cạo trên mỗi trang web và cũng có tổng s