robots.txt

9Nhiệt

5Trả lời

Làm cách nào để cho phép trình thu thập thông tin truy cập vào chỉ mục index.php, sử dụng robots.txt?

Nếu tôi muốn chỉ cho phép trình thu thập thông tin truy cập index.php, điều này có hoạt động không? User-agent: * Disallow:/ Allow: /index.php

5Nhiệt

1Trả lời

Tôi làm cách nào để tuân theo robots.txt

Tôi đang tạo một ứng dụng thu thập dữ liệu trang web một lần trong một thời gian và tôi muốn nó tuân theo/tôn trọng robots.txt của trang web đang được thu thập thông tin. Làm thế nào để tôi bắt đầu vớ

7Nhiệt

1Trả lời

Robots.txt: Quy tắc ký tự đại diện này có hợp lệ không?

Câu hỏi đơn giản. Tôi muốn thêm: Disallow */*details-print/ Về cơ bản, quy tắc chặn ở dạng /foo/bar/dynamic-details-print --- foo và thanh trong ví dụ này cũng có thể hoàn toàn năng động. Tôi nghĩ đ

5Nhiệt

1Trả lời

Robots.txt, không cho phép URL đa ngôn ngữ

Tôi có một trang công khai mà người dùng không thể cho phép đăng nhập. Vì vậy, tôi có một url không có liên kết và bạn phải nhập bằng tay và sau đó đăng nhập theo cách thủ công rồi đăng nhập. Địa chỉ

6Nhiệt

3Trả lời

Bất kỳ ai có bất kỳ mã C# để phân tích robots.txt và đánh giá URL chống lại nó

câu hỏi ngắn: Có ai có bất kỳ mã C# để phân tích robots.txt và sau đó đánh giá URL chống lại nó để xem nếu họ sẽ được loại trừ hoặc không phải. Câu hỏi dài: Tôi đã tạo sơ đồ trang web mới chưa được ph

7Nhiệt

2Trả lời

làm thế nào để không cho phép tất cả các url động robots.txt

làm thế nào để không cho phép tất cả các url động trong robots.txt Disallow: /?q=admin/ Disallow: /?q=aggregator/ Disallow: /?q=comment/reply/ Disallow: /?q=contact/ Disallow: /?q=logout/ Disallo

19Nhiệt

9Trả lời

Thẻ meta và robots.txt

Bạn nên sử dụng thẻ meta * hoặc tệp robots.txt để thông báo cho trình thu thập thông tin/trình thu thập thông tin để bao gồm hoặc loại trừ một trang? Có vấn đề gì trong việc sử dụng cả thẻ meta và rob

18Nhiệt

3Trả lời

Robots.txt: chỉ cho phép SE chính

Có cách nào để định cấu hình robots.txt để trang web chỉ chấp nhận lượt truy cập từ Google, Yahoo! và nhện MSN?

5Nhiệt

3Trả lời

Ngôn ngữ lập trình nào tốt nhất để viết bot web?

Tôi muốn biết ngôn ngữ lập trình nào cung cấp số lượng thư viện tốt để lập trình bot web? Một cái gì đó như thu thập dữ liệu trang web cho dữ liệu. Giả sử tôi muốn tìm nạp thời tiết cho trang web weat

5Nhiệt

5Trả lời

Ý tưởng BOT/Spider Trap

Tôi có một khách hàng có miền dường như bị tấn công khá mạnh bởi những gì dường như là một DDoS. Trong nhật ký, nó là các tác nhân người dùng tìm kiếm thông thường với các IP ngẫu nhiên nhưng chúng lậ