robots.txt

159Nhiệt

1Trả lời

Có thể sử dụng url sơ đồ trang web tương đối trong robots.txt không?

Trong robots.txt, tôi có thể viết URL tương đối sau đây cho tệp sơ đồ trang web không? sitemap: /sitemap.ashx Hoặc tôi phải sử dụng đầy đủ (tuyệt đối) URL cho file sitemap, như: sitemap: http://subd

32Nhiệt

4Trả lời

Cách thông minh nhất để xử lý robots.txt trong Express là gì?

Tôi hiện đang làm việc trên một ứng dụng được xây dựng với Express (Node.js) và tôi muốn biết cách thông minh nhất để xử lý robots.txt khác nhau cho các môi trường khác nhau (phát triển, sản xuất) là

7Nhiệt

2Trả lời

Cách thêm tuyến đường vào robots.txt động trong ASP.NET MVC?

Tôi có tệp robots.txt không tĩnh nhưng được tạo động. Vấn đề của tôi là tạo một tuyến từ root/robots.txt đến hành động điều khiển của tôi. này làm việc: routes.MapRoute( name: "Robots", url: "robots"

6Nhiệt

1Trả lời

Chỉ cho phép Google CSE và không cho phép tìm kiếm tiêu chuẩn của Google trong ROBOTS.txt

Tôi có trang web mà tôi đang sử dụng Công cụ tìm kiếm tùy chỉnh của Google. Tôi muốn Google CSE thu thập thông tin trang web của tôi nhưng tôi muốn nó không nằm trong kết quả tìm kiếm thông thường của

5Nhiệt

1Trả lời

BingBot & BaiduSpider không tôn trọng robots.txt

Sau khi việc sử dụng CPU của tôi đột nhiên vượt quá 400% do các bot làm xáo trộn trang web của tôi, tôi đã tạo robots.txt như sau và đặt tệp vào thư mục gốc, ví dụ: "www.example .com/": User-agent: *

15Nhiệt

4Trả lời

cách ngăn chặn phân trang được lập chỉ mục trong các công cụ tìm kiếm

Tôi muốn các trang web dàn dựng của mình không được các công cụ tìm kiếm lập chỉ mục (Google là trang đầu tiên). Tôi đã nghe Wordpress thực hiện tốt việc này nhưng tôi muốn trở thành công nghệ bất khả

12Nhiệt

1Trả lời

Robots.txt - Định dạng thích hợp cho Trễ thu thập thông tin cho nhiều tác nhân người dùng là gì?

Dưới đây là mẫu robots.txt tệp để cho phép nhiều tác nhân người dùng với nhiều lần thu thập thông tin cho từng tác nhân người dùng. Các giá trị trì hoãn thu thập thông tin là nhằm mục đích minh họa và

15Nhiệt

1Trả lời

Cung cấp sitemap.xml và robots.txt với Spring MVC

Cách tốt nhất để máy chủ sitemap.xml và robots.txt với Spring MVC là gì? Tôi muốn máy chủ các tập tin này thông qua Controller một cách sạch sẽ nhất.

5Nhiệt

1Trả lời

HTTP 403 lỗi lấy robots.txt với mechanize

lệnh shell này thành công $ curl -A "Mozilla/5.0 (X11; Linux x86_64; rv:18.0) Gecko/20100101 Firefox/18.0 (compatible;)" http://fifa-infinity.com/robots.txt và in robots.txt. Bỏ qua tùy chọn tác nhâ

51Nhiệt

4Trả lời

Cách ngăn Google lập chỉ mục kho lưu trữ Github của tôi

Tôi sử dụng Github để lưu trữ văn bản của một trong các trang web của tôi, nhưng vấn đề là Google cũng lập chỉ mục văn bản trong Github. Vì vậy, cùng một văn bản sẽ hiển thị cả trên trang web của tôi