web-crawler

8Nhiệt

2Trả lời

Asp.net Request.Browser.Crawler - Danh sách trình thu thập thông tin động?

Tôi đã học tại sao Request.Browser.Crawler luôn luôn sai trong C# (http://www.digcode.com/default.aspx?page=ed51cde3-d979-4daf-afae-fa6192562ea9&article=bc3a7a4f-f53e-4f88-8e9c-c9337f6c05a0). Có ai sử

16Nhiệt

6Trả lời

Công cụ Trình thu thập thông tin web tốt là gì?

Tôi cần lập chỉ mục cho toàn bộ trang web, những tiện ích webcrawler nào có ở đó? Tôi tốt nhất là sau khi một cái gì đó mà NET có thể nói chuyện, nhưng đó không phải là một showstopper. Điều tôi thực

5Nhiệt

4Trả lời

Có thể phát triển một công cụ tìm kiếm web mạnh mẽ bằng Erlang, Mnesia & Yaws không?

Tôi đang nghĩ đến việc phát triển một công cụ tìm kiếm trên web bằng Erlang, Mnesia & Yaws. Có thể tạo một công cụ tìm kiếm web mạnh mẽ và nhanh nhất bằng các phần mềm này không? Điều gì sẽ cần để thự

8Nhiệt

2Trả lời

Thuộc tính HttpBrowserCapabilities.Crawler .NET

Thuộc tính HttpBrowserCapabilities.Crawler (http://msdn.microsoft.com/en-us/library/aa332775(VS.71).aspx) hoạt động như thế nào? Tôi cần phát hiện trình thu thập thông tin tùy chỉnh của đối tác và thu

14Nhiệt

6Trả lời

Tôi có thể chặn trình thu thập thông tin tìm kiếm cho mọi trang web trên máy chủ web Apache không?

Tôi có một số máy chủ dàn dựng trên internet công cộng chạy các bản sao của mã sản xuất cho một vài trang web. Tôi thực sự không thích nó nếu các trang dàn dựng được lập chỉ mục. Có cách nào tôi có th

18Nhiệt

3Trả lời

Robots.txt: chỉ cho phép SE chính

Có cách nào để định cấu hình robots.txt để trang web chỉ chấp nhận lượt truy cập từ Google, Yahoo! và nhện MSN?

7Nhiệt

5Trả lời

.NET KHÔNG CÓ Giao tiếp Socket Asynchronouos đáng tin cậy?

Tôi từng viết một Trình thu thập thông tin trong .NET. Để cải thiện khả năng mở rộng của nó, tôi đã cố gắng tận dụng API không đồng bộ của .NET. System.Net.HttpWebRequest có API không đồng bộ BeginGet

11Nhiệt

13Trả lời

thư viện tốt nhất để quét web

Tôi muốn nhận dữ liệu từ các trang web khác nhau, chẳng hạn như địa chỉ nhà hàng hoặc ngày của các sự kiện khác nhau cho một vị trí cụ thể và v.v. Thư viện nào tốt nhất tôi có thể sử dụng để trích xuấ

16Nhiệt

7Trả lời

Khuyến nghị cho một công cụ hỗ trợ để sử dụng với Lucene hoặc Solr?

Trình thu thập thông tin (spider) tốt là gì để sử dụng đối với các tài liệu HTML và XML (cục bộ hoặc dựa trên web) và hoạt động tốt trong không gian giải pháp Lucene/Solr? Có thể dựa trên Java nhưng k

5Nhiệt

1Trả lời

Có tương đương .NET của LWP của Perl/WWW :: Cơ chế hóa không?

Sau khi làm việc với các đối tượng của .NET là HttpWebRequest/Response, tôi muốn tự chụp mình hơn là sử dụng điều này để thu thập thông tin thông qua các trang web. Tôi đang tìm thư viện .NET hiện có