Tôi đã chú ý đến các trình theo dõi của tôi rằng các bot đang truy cập vào trang web của tôi ALOT. Tôi có nên thay đổi hoặc chỉnh sửa robots.txt hoặc thay đổi gì đó không? Bạn không chắc chắn nếu đó l
Tôi có một trang web với robots.txt sau trong thư mục gốc: User-agent: *
Disabled:/
User-agent: Googlebot
Disabled:/
User-agent: Googlebot-Image
Disallow:/
Và các trang trên trang web này đang n