Scrapy Nutch

Question

Tôi đang lên kế hoạch sử dụng tính năng vẽ web trong ứng dụng tôi hiện đang làm việc. Tôi đã làm một số nghiên cứu về Nutch và chạy một số thử nghiệm sơ bộ bằng cách sử dụng nó. Nhưng sau đó tôi đã gặp rắc rối. Nhưng khi tôi đã làm một số nghiên cứu sơ bộ và đã đi qua các tài liệu về scrapy tôi thấy rằng nó có thể nắm bắt chỉ cấu trúc dữ liệu (Bạn phải cung cấp cho tên div mà từ đó bạn muốn nắm bắt dữ liệu). Các phụ trợ của ứng dụng tôi đang phát triển dựa trên Python và tôi hiểu được sự cố là dựa trên Python và một số đã gợi ý rằng mẩu tin lưu niệm là tốt hơn so với Nutch.

Yêu cầu của tôi là thu thập dữ liệu từ hơn 1000 trang web khác nhau và chạy tìm kiếm các từ khóa có liên quan trong thông tin đó. Có cách nào có thể đáp ứng được yêu cầu tương tự.

1) Nếu có, bạn có thể chỉ ra một số ví dụ về cách nó có thể được thực hiện?

2) Hoặc Nutch + Solr là phù hợp nhất với yêu cầu của tôi

Answer 1

Scrapy sẽ làm việc một cách hoàn hảo trong trường hợp của bạn.

Bạn không cần phải cung cấp cho các div tên - bạn có thể nhận được bất cứ điều gì bạn muốn:

Scrapy đi kèm với cơ chế riêng của mình để trích xuất dữ liệu. Chúng được gọi là được gọi là bộ chọn XPath (hoặc chỉ là "bộ chọn") vì chúng "chọn" một số phần nhất định của tài liệu HTML được chỉ định bởi các biểu thức XPath .

Ngoài ra, bạn có thể sử dụng BeautifulSoup và lxml để trích xuất dữ liệu từ nội dung trang.

Bên cạnh đó, scrapy được dựa trên xoắn và hoàn toàn không đồng bộ và nhanh chóng.

Có rất nhiều ví dụ về nhện cào ở đây trên SO - chỉ cần xem qua các câu hỏi về thẻ scrapy. Nếu bạn có câu hỏi cụ thể hơn - chỉ cần hỏi.

Hy vọng điều đó sẽ hữu ích.

Answer 2

Phế liệu cồng kềnh và quá mức cần thiết cho nhiều tác vụ. Đáng ngạc nhiên chậm. Mã của nó là mong manh, có những thay đổi liên tục phá vỡ tính tương thích retro. Nếu bạn sử dụng Scrapy, bạn sẽ dành nhiều thời gian hơn trong việc cố gắng hiểu rõ nội bộ của Scrapy để hoàn thành công việc.