Facebook Crawler Bot Crashing Site

Question

Facebook có thực hiện một số trình thu thập dữ liệu web không? Trang web của tôi đã bị lỗi vài lần trong vài ngày qua, bị quá tải nghiêm trọng bởi các IP mà tôi đã truy tìm lại trên Facebook.

Tôi đã thử tìm kiếm xung quanh nhưng không thể tìm thấy bất kỳ tài nguyên dứt khoát nào liên quan đến việc kiểm soát bot trình thu thập thông tin của Facebook thông qua robots.txt. Có một tài liệu tham khảo về việc bổ sung như sau:

User-agent: facebookexternalhit/1.1 Crawl-delay: 5

User-agent: facebookexternalhit/1.0 Crawl-delay: 5

User-agent : facebookexternalhit/* Thu thập thông tin chậm trễ: 5

Nhưng tôi không thể tìm thấy bất kỳ tham chiếu cụ thể nào về việc bot Facebook tôn trọng robots.txt hay không. Theo các nguồn tin cũ hơn, Facebook "không thu thập thông tin trang web của bạn". Nhưng điều này chắc chắn là sai, vì nhật ký máy chủ của tôi cho thấy họ thu thập dữ liệu trang web của tôi từ một tá + IP từ phạm vi 69.171.237.0/24 và 69.171.229.115/24 với tốc độ nhiều trang mỗi giây.

Và tôi không thể tìm thấy bất kỳ tài liệu nào về điều này. Tôi nghi ngờ nó là một cái gì đó mới mà FB chỉ thực hiện trong vài ngày qua, do máy chủ của tôi không bao giờ bị rơi trước đó.

Ai đó có thể xin lời khuyên?

Answer 1

Bất cứ điều gì facebook phát minh ra bạn chắc chắn cần phải sửa chữa máy chủ của bạn vì nó có thể sụp đổ nó với các yêu cầu bên ngoài.

Ngoài ra, chỉ là một hit đầu tiên trên google cho facebookexternalhit: http://www.facebook.com/externalhit_uatext.php

Answer 2

Chúng tôi thấy hành vi tương tự vào khoảng cùng thời gian (giữa tháng mười) - lũ yêu cầu từ Facebook gây ra các yêu cầu xếp hàng đợi và sự chậm chạp trên toàn hệ thống. Để bắt đầu với nó cứ 90 phút một lần; trong vài ngày, tần số này tăng lên và được phân phối ngẫu nhiên.

Các yêu cầu xuất hiện không tôn trọng robots.txt, vì vậy chúng tôi buộc phải nghĩ đến một giải pháp khác. Cuối cùng, chúng tôi thiết lập nginx để chuyển tiếp tất cả các yêu cầu với một useragent facebook đến một cặp máy chủ phụ trợ chuyên dụng. Nếu chúng ta đang sử dụng nginx> v0.9.6 chúng tôi đã có thể làm một regex đẹp cho điều này, nhưng chúng tôi không, vì vậy chúng tôi sử dụng một ánh xạ dọc theo dòng của

map $http_user_agent $fb_backend_http { 
      "facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)" 
        127.0.0.1:80; 
    } 

này đã làm việc độc đáo cho chúng ta; trong vài tuần mà chúng tôi đã nhận được búa này phân vùng yêu cầu giữ lưu lượng truy cập cao đi từ phần còn lại của hệ thống.

Dường như phần lớn đã chết cho chúng tôi bây giờ - chúng tôi chỉ thấy những lần tăng đột ngột. Tại sao điều này xảy ra, tôi vẫn không chắc chắn - dường như có một sự cố tương tự vào tháng Tư là do lỗi http://developers.facebook.com/bugs/409818929057013/ nhưng tôi không biết bất cứ điều gì tương tự gần đây hơn.

Answer 3

Như được thảo luận trong in this similar question on facebook and Crawl-delay, facebook không tự coi mình là bot và thậm chí không yêu cầu robots.txt của bạn, ít chú ý hơn đến nội dung của nó.

Bạn có thể triển khai mã giới hạn tốc độ của riêng bạn như được hiển thị trong liên kết câu hỏi tương tự.Ý tưởng là chỉ cần trả lại mã http 503 khi máy chủ của bạn vượt quá dung lượng hoặc bị tràn ngập bởi một tác nhân người dùng cụ thể.

Có vẻ như những người làm việc cho các công ty công nghệ lớn không hiểu "cải thiện bộ nhớ đệm của bạn" là một công ty nhỏ không có ngân sách để xử lý. Chúng tôi đang tập trung vào việc phục vụ khách hàng thực sự trả tiền và không có thời gian để chống lại các chương trình web cuồng nhiệt từ các công ty "thân thiện".