File Robots.txt mặc định của Wp cũ :

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/

Hoặc Bạn thường tham khảo lập trình có thể có thể nhẹ này

User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml

MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT

Chặn bot không đưa cho chỉ mục mọi web Bạn nắm tới câu lệnh giống như sau: User-agent:* Disallow: / Lệnh này có ý nghĩa: “Không đưa cho phép các bot của công cụ search truy cập cần và đánh chỉ mục trên mọi tài nguyên sở hữu ngay trên web site của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này sở hữu đừng nghĩa: “Cho phép bot lập chỉ mục mọi data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không đưa cho phép.” Chặn một trang hay đường dẫn đến bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này sở hữu có lẽ nghĩa: “Cho phép bot đánh chỉ mục mọi các dữ liệu cần trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này nắm tới nghĩa: “Chặn một hình ảnh nào đó từ trang web của bạn, ngăn không đưa cho các bot search và lập chỉ mục cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này nắm tới nghĩa: “Chặn botspam đăng nhập mọi data trên trang web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn đa số các dữ liệu chính trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này có nghĩa: “Chặn bot search hầu hết dữ liệu lắm trong thư mục /thumucbichan/ nhưng đưa cho phép lập chỉ mục file /filekhongbichan.html”

File robots.txt là gì? Hướng dẫn tùy chỉnh trên wordpress