Bingbot sẽ tấn công trang web của tôi khá khó khăn trong một vài giờ mỗi ngày và sẽ cực kỳ nhẹ trong suốt thời gian còn lại.Làm cách nào để ngăn không cho Bing chuyển trang web của tôi sang lưu lượng truy cập bất thường?
Tôi muốn làm mịn các lần thu thập thông tin, giảm giới hạn tốc độ hoặc chặn hoàn toàn. Nó không thực sự gửi qua bất kỳ khách truy cập thực sự nào.
Có cách nào tôi có thể làm trơn tru việc thu thập dữ liệu hoặc tỷ lệ giới hạn không?
Bạn có thể cấm IP của mình bằng HTACCESS.
order allow,deny
deny from 192.168.44.201
deny from 224.39.163.12
deny from 172.16.7.92
allow from all
Thông tin thêm về mà bạn có thể tìm thấy ở đây: Blog about bot blocking
điều này có tác dụng phụ xấu: nó sẽ làm giảm pagerank của bạn – knocte
họ webmaster blog nói rằng họ hỗ trợ thêm một tham số crawl-chậm trễ vào tệp tin robots.txt của bạn để tăng tốc các bingbot.
User-agent: msnbot
Crawl-delay: 1
Có nhiều hơn một chút giải thích trong webmaster FAQ PDF
Các liên kết khác có thể hữu ích cũng như:
http://www.bing.com/toolbox/webmasters
http://www.bing.com/community/webmaster/f/12252/t/651373.aspx
Bạn có thể giới hạn số lượng kết nối từ bánh xích để f.i. 5 bởi iptables thiết lập như thế này (yêu cầu quyền root cho các bức tường lửa):
các thiết lập của iptables: iptables -I INPUT -p tcp -m connlimit --connlimit-trên 5 -j REJECT
Giới hạn này kết nối từ mỗi địa chỉ IP với không quá 5 kết nối đồng thời. Loại kết nối "khẩu phần" này và ngăn các trình thu thập thông tin truy cập trang web cùng một lúc.
Bạn đã thêm robots.txt làm thẻ. Điều đó không làm được điều đó cho bạn? – EboMike