{

Robots.txt là dạng tập tin {đặc biệt|đặc thù|đặc trưng {cần | mới | cũ | nhất| lại {hữu ích | sâu | đầy đủ| sớm {xa | gần | dài | ngắn | lớn | nhỏ}}}} không phải là HTML hay một loại nào khác. Mục đích của việc {có|nắm tới|sở hữu {hữu ích | sâu | đầy đủ| sớm {có lẽ | không thể | mất | được {chính | đích | ngay | cả | những}}}} file robots.txt là khai báo {cho|đưa cho|tặng {xa | gần | dài | ngắn | lớn | nhỏ {chưa | đừng | thôi | chớ | có thể {thường | luôn | đột nhiên | bỗng nhiên}}}} {công cụ|dụng cụ|phương tiện {thường | luôn | đột nhiên | bỗng nhiên {thường | luôn | đột nhiên | bỗng nhiên {có lẽ | không thể | mất | được}}}} {search|tìm|tìm kiếm {nhanh | chậm | rất | dễ | nhẹ {rất | lắm | quá | không | chẳng {cần | mới | cũ | nhất| lại}}}} biết rằng những {content|nội dung {thường | luôn | đột nhiên | bỗng nhiên {cần | mới | cũ | nhất| lại {chỉ | đã | đang | sẽ | vẫn | cũng}}}} nào trên {trang web|web|web site|website {nhanh | chậm | rất | dễ | nhẹ {hữu ích | sâu | đầy đủ| sớm {chỉ | đã | đang | sẽ | vẫn | cũng}}}} của bạn được {cho|đưa cho|tặng {nhanh | chậm | rất | dễ | nhẹ {nhanh | chậm | rất | dễ | nhẹ {thường | luôn | đột nhiên | bỗng nhiên}}}} phép các bot {search|tìm|tìm kiếm {chính | đích | ngay | cả | những {có lẽ | không thể | mất | được {thường | luôn | đột nhiên | bỗng nhiên}}}} và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi {có|nắm tới|sở hữu {cần | mới | cũ | nhất| lại {nhanh | chậm | rất | dễ | nhẹ {chính | đích | ngay | cả | những}}}} một {công cụ|dụng cụ|phương tiện {nhanh | chậm | rất | dễ | nhẹ {chỉ | đã | đang | sẽ | vẫn | cũng {nhanh | chậm | rất | dễ | nhẹ}}}} {search|tìm|tìm kiếm {có lẽ | không thể | mất | được {hữu ích | sâu | đầy đủ| sớm {rất | lắm | quá | không | chẳng}}}} {thông báo|thông tin|tin tức {có lẽ | không thể | mất | được {chỉ | đã | đang | sẽ | vẫn | cũng {rất | lắm | quá | không | chẳng}}}} {trang web|web|web site|website {nhanh | chậm | rất | dễ | nhẹ {xa | gần | dài | ngắn | lớn | nhỏ {rất | lắm | quá | không | chẳng}}}} của bạn, điều đầu tiên mà nó {search|tìm|tìm kiếm {hữu ích | sâu | đầy đủ| sớm {chính | đích | ngay | cả | những {cần | mới | cũ | nhất| lại}}}} {đa số|hầu hết|mọi|tất cả|toàn bộ {chưa | đừng | thôi | chớ | có thể {chưa | đừng | thôi | chớ | có thể {rất | lắm | quá | không | chẳng}}}} là file Robots.txt . File này sẽ nói với {công cụ|dụng cụ|phương tiện {xa | gần | dài | ngắn | lớn | nhỏ {chỉ | đã | đang | sẽ | vẫn | cũng {hữu ích | sâu | đầy đủ| sớm}}}} {search|tìm|tìm kiếm {xa | gần | dài | ngắn | lớn | nhỏ {xa | gần | dài | ngắn | lớn | nhỏ {cần | mới | cũ | nhất| lại}}}} những gì {cần|cần phải|nên|tốt nhất nên {chưa | đừng | thôi | chớ | có thể {chưa | đừng | thôi | chớ | có thể {có lẽ | không thể | mất | được}}}} và không {cần|cần phải|nên|tốt nhất nên {chưa | đừng | thôi | chớ | có thể {thường | luôn | đột nhiên | bỗng nhiên {có lẽ | không thể | mất | được}}}} lập chỉ mục. Nó cũng {có lẽ|có thể|khả năng cao|thường|thường xuyên {có lẽ | không thể | mất | được {cần | mới | cũ | nhất| lại {chính | đích | ngay | cả | những}}}} chỉ ra vị trí {trang web|web|web site|website {chính | đích | ngay | cả | những {chính | đích | ngay | cả | những {chỉ | đã | đang | sẽ | vẫn | cũng}}}} của bạn trên XML Sitemap. Sau đó các {công cụ|dụng cụ|phương tiện {chưa | đừng | thôi | chớ | có thể {chưa | đừng | thôi | chớ | có thể {chưa | đừng | thôi | chớ | có thể}}}} {search|tìm|tìm kiếm {nhanh | chậm | rất | dễ | nhẹ {chưa | đừng | thôi | chớ | có thể {cần | mới | cũ | nhất| lại}}}} sẽ gửi “bot”, “robot” hoặc “spider” để thu thập {thông báo|thông tin|tin tức {nhanh | chậm | rất | dễ | nhẹ {chỉ | đã | đang | sẽ | vẫn | cũng {chỉ | đã | đang | sẽ | vẫn | cũng}}}} {trang web|web|web site|website {hữu ích | sâu | đầy đủ| sớm {xa | gần | dài | ngắn | lớn | nhỏ {chưa | đừng | thôi | chớ | có thể}}}} của bạn theo {giống như|như|như là {chỉ | đã | đang | sẽ | vẫn | cũng {rất | lắm | quá | không | chẳng {rất | lắm | quá | không | chẳng}}}} {có các hướng dẫn|hướng dẫn|hướng dẫn cụ thể {chỉ | đã | đang | sẽ | vẫn | cũng {cần | mới | cũ | nhất| lại {rất | lắm | quá | không | chẳng}}}} của file Robots.txt (các {công cụ|dụng cụ|phương tiện {nhanh | chậm | rất | dễ | nhẹ {xa | gần | dài | ngắn | lớn | nhỏ {cần | mới | cũ | nhất| lại}}}} {search|tìm|tìm kiếm {nhanh | chậm | rất | dễ | nhẹ {chỉ | đã | đang | sẽ | vẫn | cũng {cần | mới | cũ | nhất| lại}}}} sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt {có lẽ|có thể|khả năng cao|thường|thường xuyên {cần | mới | cũ | nhất| lại {chỉ | đã | đang | sẽ | vẫn | cũng {thường | luôn | đột nhiên | bỗng nhiên}}}} nằm ở thư mục gốc của bạn, bạn {có lẽ|có thể|khả năng cao|thường|thường xuyên {cần | mới | cũ | nhất| lại {nhanh | chậm | rất | dễ | nhẹ {chưa | đừng | thôi | chớ | có thể}}}} {lợi ích|thuận tiện|tiện dụng|tiện lợi {chỉ | đã | đang | sẽ | vẫn | cũng {thường | luôn | đột nhiên | bỗng nhiên {chính | đích | ngay | cả | những}}}} tạo một file trống và đặt tên là Robots.txt, điều này {giúp|giúp cho|hỗ trợ {cần | mới | cũ | nhất| lại {hữu ích | sâu | đầy đủ| sớm {cần | mới | cũ | nhất| lại}}}} bạn {giảm thiểu|hạn chế|tránh {xa | gần | dài | ngắn | lớn | nhỏ {chính | đích | ngay | cả | những {chưa | đừng | thôi | chớ | có thể}}}} được các lỗi {cho|đưa cho|tặng {cần | mới | cũ | nhất| lại {thường | luôn | đột nhiên | bỗng nhiên {xa | gần | dài | ngắn | lớn | nhỏ}}}} {trang web|web|web site|website {nhanh | chậm | rất | dễ | nhẹ {cần | mới | cũ | nhất| lại {rất | lắm | quá | không | chẳng}}}} {cùng lúc|đồng thời|song song {hữu ích | sâu | đầy đủ| sớm {xa | gần | dài | ngắn | lớn | nhỏ {thường | luôn | đột nhiên | bỗng nhiên}}}} {cho|đưa cho|tặng {chính | đích | ngay | cả | những {hữu ích | sâu | đầy đủ| sớm {hữu ích | sâu | đầy đủ| sớm}}}} phép {đa số|hầu hết|mọi|tất cả|toàn bộ {chưa | đừng | thôi | chớ | có thể {thường | luôn | đột nhiên | bỗng nhiên {hữu ích | sâu | đầy đủ| sớm}}}} các {công cụ|dụng cụ|phương tiện {rất | lắm | quá | không | chẳng {thường | luôn | đột nhiên | bỗng nhiên {xa | gần | dài | ngắn | lớn | nhỏ}}}} {search|tìm|tìm kiếm {rất | lắm | quá | không | chẳng {xa | gần | dài | ngắn | lớn | nhỏ {chính | đích | ngay | cả | những}}}} thu thập {thông báo|thông tin|tin tức {thường | luôn | đột nhiên | bỗng nhiên {xa | gần | dài | ngắn | lớn | nhỏ {chưa | đừng | thôi | chớ | có thể}}}} về {trang web|web|web site|website {thường | luôn | đột nhiên | bỗng nhiên {cần | mới | cũ | nhất| lại {nhanh | chậm | rất | dễ | nhẹ}}}} của bạn. Ví dụ {trang web|web|web site|website {có lẽ | không thể | mất | được {rất | lắm | quá | không | chẳng {chưa | đừng | thôi | chớ | có thể}}}} bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt

|

File Robots.txt mặc định của {Word press|WordPress|Wp {cần | mới | cũ | nhất| lại {chính | đích | ngay | cả | những {xa | gần | dài | ngắn | lớn | nhỏ}}}}:

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/

Hoặc Bạn {có lẽ|có thể|khả năng cao|thường|thường xuyên {nhanh | chậm | rất | dễ | nhẹ {cần | mới | cũ | nhất| lại {rất | lắm | quá | không | chẳng}}}} tham khảo {code|lập trình {chưa | đừng | thôi | chớ | có thể {chưa | đừng | thôi | chớ | có thể {nhanh | chậm | rất | dễ | nhẹ}}}} này

User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml

MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT

Chặn bot không {cho|đưa cho|tặng {có lẽ | không thể | mất | được {thường | luôn | đột nhiên | bỗng nhiên {cần | mới | cũ | nhất| lại}}}} chỉ mục {đa số|hầu hết|mọi|tất cả|toàn bộ {xa | gần | dài | ngắn | lớn | nhỏ {chỉ | đã | đang | sẽ | vẫn | cũng {rất | lắm | quá | không | chẳng}}}} {trang web|web|web site|website {chưa | đừng | thôi | chớ | có thể {chỉ | đã | đang | sẽ | vẫn | cũng {xa | gần | dài | ngắn | lớn | nhỏ}}}} Bạn {có|nắm tới|sở hữu {chưa | đừng | thôi | chớ | có thể {chỉ | đã | đang | sẽ | vẫn | cũng {chỉ | đã | đang | sẽ | vẫn | cũng}}}} câu lệnh {giống như|như|như là {chưa | đừng | thôi | chớ | có thể {cần | mới | cũ | nhất| lại {nhanh | chậm | rất | dễ | nhẹ}}}} sau: User-agent:* Disallow: / Lệnh này {có|nắm tới|sở hữu {chính | đích | ngay | cả | những {hữu ích | sâu | đầy đủ| sớm {rất | lắm | quá | không | chẳng}}}} ý nghĩa: “Không {cho|đưa cho|tặng {chỉ | đã | đang | sẽ | vẫn | cũng {có lẽ | không thể | mất | được {thường | luôn | đột nhiên | bỗng nhiên}}}} phép các bot của {công cụ|dụng cụ|phương tiện {thường | luôn | đột nhiên | bỗng nhiên {chỉ | đã | đang | sẽ | vẫn | cũng {chỉ | đã | đang | sẽ | vẫn | cũng}}}} {search|tìm|tìm kiếm {chính | đích | ngay | cả | những {hữu ích | sâu | đầy đủ| sớm {cần | mới | cũ | nhất| lại}}}} {đăng nhập|log in|truy cập {cần | mới | cũ | nhất| lại {chỉ | đã | đang | sẽ | vẫn | cũng {có lẽ | không thể | mất | được}}}} và đánh chỉ mục trên {đa số|hầu hết|mọi|tất cả|toàn bộ {có lẽ | không thể | mất | được {hữu ích | sâu | đầy đủ| sớm {chưa | đừng | thôi | chớ | có thể}}}} tài nguyên {có|nắm tới|sở hữu {chính | đích | ngay | cả | những {chỉ | đã | đang | sẽ | vẫn | cũng {chưa | đừng | thôi | chớ | có thể}}}} trên {trang web|web|web site|website {nhanh | chậm | rất | dễ | nhẹ {xa | gần | dài | ngắn | lớn | nhỏ {nhanh | chậm | rất | dễ | nhẹ}}}} của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này {có|nắm tới|sở hữu {chưa | đừng | thôi | chớ | có thể {có lẽ | không thể | mất | được {thường | luôn | đột nhiên | bỗng nhiên}}}} nghĩa: “Cho phép bot lập chỉ mục {đa số|hầu hết|mọi|tất cả|toàn bộ {chính | đích | ngay | cả | những {hữu ích | sâu | đầy đủ| sớm {hữu ích | sâu | đầy đủ| sớm}}}} {data|dữ liệu {cần | mới | cũ | nhất| lại {chưa | đừng | thôi | chớ | có thể {xa | gần | dài | ngắn | lớn | nhỏ}}}} trừ 2 thư mục /wp-admin/ và /wp-includes/ là không {cho|đưa cho|tặng {hữu ích | sâu | đầy đủ| sớm {hữu ích | sâu | đầy đủ| sớm {cần | mới | cũ | nhất| lại}}}} phép.” Chặn một trang hay đường dẫn đến {bài viết|nội dung bài viết {cần | mới | cũ | nhất| lại {rất | lắm | quá | không | chẳng {cần | mới | cũ | nhất| lại}}}} nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này {có|nắm tới|sở hữu {có lẽ | không thể | mất | được {thường | luôn | đột nhiên | bỗng nhiên {chưa | đừng | thôi | chớ | có thể}}}} nghĩa: “Cho phép bot đánh chỉ mục {đa số|hầu hết|mọi|tất cả|toàn bộ {chưa | đừng | thôi | chớ | có thể {chỉ | đã | đang | sẽ | vẫn | cũng {thường | luôn | đột nhiên | bỗng nhiên}}}} các {data|dữ liệu {cần | mới | cũ | nhất| lại {chỉ | đã | đang | sẽ | vẫn | cũng {cần | mới | cũ | nhất| lại}}}} trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này {có|nắm tới|sở hữu {xa | gần | dài | ngắn | lớn | nhỏ {chưa | đừng | thôi | chớ | có thể {hữu ích | sâu | đầy đủ| sớm}}}} nghĩa: “Chặn một hình ảnh nào đó từ {trang web|web|web site|website {nhanh | chậm | rất | dễ | nhẹ {có lẽ | không thể | mất | được {hữu ích | sâu | đầy đủ| sớm}}}} của bạn, ngăn không {cho|đưa cho|tặng {chưa | đừng | thôi | chớ | có thể {rất | lắm | quá | không | chẳng {chỉ | đã | đang | sẽ | vẫn | cũng}}}} các bot {search|tìm|tìm kiếm {rất | lắm | quá | không | chẳng {cần | mới | cũ | nhất| lại {hữu ích | sâu | đầy đủ| sớm}}}} và lập chỉ mục {cho|đưa cho|tặng {thường | luôn | đột nhiên | bỗng nhiên {xa | gần | dài | ngắn | lớn | nhỏ {chính | đích | ngay | cả | những}}}} hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này {có|nắm tới|sở hữu {cần | mới | cũ | nhất| lại {hữu ích | sâu | đầy đủ| sớm {chính | đích | ngay | cả | những}}}} nghĩa: “Chặn botspam {đăng nhập|log in|truy cập {cần | mới | cũ | nhất| lại {chỉ | đã | đang | sẽ | vẫn | cũng {chỉ | đã | đang | sẽ | vẫn | cũng}}}} {đa số|hầu hết|mọi|tất cả|toàn bộ {chính | đích | ngay | cả | những {chỉ | đã | đang | sẽ | vẫn | cũng {thường | luôn | đột nhiên | bỗng nhiên}}}} {data|dữ liệu {chính | đích | ngay | cả | những {xa | gần | dài | ngắn | lớn | nhỏ {chỉ | đã | đang | sẽ | vẫn | cũng}}}} trên {trang web|web|web site|website {rất | lắm | quá | không | chẳng {xa | gần | dài | ngắn | lớn | nhỏ {thường | luôn | đột nhiên | bỗng nhiên}}}} của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn {đa số|hầu hết|mọi|tất cả|toàn bộ {có lẽ | không thể | mất | được {thường | luôn | đột nhiên | bỗng nhiên {rất | lắm | quá | không | chẳng}}}} các {data|dữ liệu {chính | đích | ngay | cả | những {chỉ | đã | đang | sẽ | vẫn | cũng {thường | luôn | đột nhiên | bỗng nhiên}}}} trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này {có|nắm tới|sở hữu {nhanh | chậm | rất | dễ | nhẹ {hữu ích | sâu | đầy đủ| sớm {có lẽ | không thể | mất | được}}}} nghĩa: “Chặn bot {search|tìm|tìm kiếm {chính | đích | ngay | cả | những {thường | luôn | đột nhiên | bỗng nhiên {chưa | đừng | thôi | chớ | có thể}}}} {đa số|hầu hết|mọi|tất cả|toàn bộ {xa | gần | dài | ngắn | lớn | nhỏ {nhanh | chậm | rất | dễ | nhẹ {hữu ích | sâu | đầy đủ| sớm}}}} {data|dữ liệu {rất | lắm | quá | không | chẳng {xa | gần | dài | ngắn | lớn | nhỏ {chính | đích | ngay | cả | những}}}} trong thư mục /thumucbichan/ nhưng {cho|đưa cho|tặng {xa | gần | dài | ngắn | lớn | nhỏ {cần | mới | cũ | nhất| lại {nhanh | chậm | rất | dễ | nhẹ}}}} phép lập chỉ mục file /filekhongbichan.html”

}

File robots.txt là gì? Hướng dẫn tùy chỉnh trên wordpress