BingBot & BaiduSpider không tôn trọng robots.txt

Question

Sau khi việc sử dụng CPU của tôi đột nhiên vượt quá 400% do các bot làm xáo trộn trang web của tôi, tôi đã tạo robots.txt như sau và đặt tệp vào thư mục gốc, ví dụ: "www.example .com/":

User-agent: * 
Disallow:/

Bây giờ Google tôn trọng tệp này và không có sự xuất hiện nào khác trong tệp nhật ký của tôi của Google. Tuy nhiên, BingBot & BaiduSpider vẫn hiển thị trong nhật ký của tôi (và rất nhiều).

Vì tôi đã tăng mức sử dụng CPU này rất lớn và tôi đã xóa tất cả các trang của mình qua địa chỉ IP bằng .htaccess & rồi tạo tệp robots.txt đó.

Tôi đã tìm kiếm ở khắp mọi nơi để xác nhận rằng tôi đã thực hiện đúng các bước (chưa thử tùy chọn "ReWrite" trong .htaccess).

Có ai có thể xác nhận rằng những gì tôi đã làm nên thực hiện công việc không? (Kể từ khi tôi bắt đầu liên doanh này, việc sử dụng CPU của tôi đã giảm xuống còn 120% trong vòng 6 ngày, nhưng ít nhất việc chặn các địa chỉ IP nên đã giảm mức sử dụng CPU xuống 5-10% thông thường của tôi).

Answer 1

Nếu đây là những trình thu thập thông tin hợp pháp từ Bingbot và Baiduspider thì cả hai đều nên tôn trọng tệp robots.txt của bạn như đã cho. Tuy nhiên, nó có thể mất thời gian trước khi họ nhặt nó lên và bắt đầu hành động trên nó nếu những tập tin này trước đó đã được lập chỉ mục - đó có lẽ là trường hợp ở đây.

Nó không áp dụng trong trường hợp này, nhưng cần lưu ý rằng việc giải thích tiêu chuẩn robots.txt của Baiduspider hơi khác so với các chương trình chính thống khác (ví dụ: Googlebot) ở một số khía cạnh. Ví dụ: trong khi tiêu chuẩn xác định đường dẫn URL trên bản ghi Disallow: chỉ đơn giản là tiền tố , Baiduspider sẽ chỉ khớp với toàn bộ tên thư mục/đường dẫn. Trong trường hợp Googlebot sẽ khớp với URL http://example.com/private/ khi được chỉ thị Disallow: /priv, Baiduspider sẽ không.

tham khảo:
http://www.baidu.com/search/robots_english.html