Hướng dẫn tạo file robots.txt

Như các bạn đã biết, file robots dùng để thông báo cho công cụ tìm kiếm đến những trang nào thực sự cần index và không nên vào những trang không cần index. Hầu hết những trang nào sử dụng file robots.txt dùng để ngăn chặn robot của Google hay các công cụ tìm kiếm khác đến thăm. Việc tạo file robots rất có ích trong SEO.

huong-dan-tao-file-robots-txt

File robots là một file rất đơn giản, bạn có thể tạo chúng ở bất kỳ chỗ nào có thể soạn văn bản. Nếu bạn sử dụng WordPress một file robots.txt sẽ có dạng như sau

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/

Định nghĩa thuộc tính trong WordPress:

Dòng “User-agent”:* có nghĩa là tất cả những robot tìm kiếm từ Google, Yahoo và Bing nên sử dụng hướng dẫn này của bạn để tìm kiếm trang web.

Dòng “Disallow: /wp-“: dòng code này báo cho công cụ tìm kiếm biết nó không nên index ở những file của WordPress bắt đầu bằng wp-.

Dưới đây là đoạn mã trong file robots.txt mà Lộc đang sử dụng:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Sitemap: http://locleplus.com/sitemap_index.xml

Hoặc bạn có thể sử dụng plugin SEO by Yoast để tạo bằng cách vào SEO >> Edit Files và ấn vào nút tạo nếu chưa có. Sau khi tạo xong nó đã thêm sẵn nội dung cho file này.

Nếu bạn không dùng nền tảng mã nguồn mở WordPress thì bạn có thể thay dòng Disallow với file và folders mà bạn không muốn bot của Google tìm đến. Ví dụ:

User-agent: *
Disallow: /images/
Disallow: /cgi-bin/

Lưu ý: các bạn phải thêm chữ “s” ở tên file robots.txt nhé. Cái này mình để ý có nhiều bạn nhầm lẫn lắm.

Chúc các bạn SEO thành công!

Trả lời