Rất nhiều SEOer băn khoăn không biết flie robots.txt là gì? Cú pháp của tập tin này như thế nào? Làm sao để tạo file robots.txt WordPress đơn giản? Nếu bạn cũng đang băn khoăn những vấn đề trên thì hãy theo dõi ngay câu trả lời trong bài viết dưới đây nhé!
File robots.txt là gì?
File robots.txt là một tệp văn bản giúp các công cụ tìm kiếm biết được có thể hoặc không thể yêu cầu thu thập dữ liệu từ một tệp hoặc những trang con trên website của bạn.
Trên thực tế, việc tạo robots.txt WordPress giúp các nhà quản trị web và SEOer chủ động, linh hoạt hơn trong việc cho phép hoặc không cho phép con Robots tìm kiếm của Google Index một phần nào đó của trang web.
File robots.txt là gì?
Cú pháp của file robots.txt
Cú pháp file robots.txt là một ngôn ngữ riêng của tập tin này. Định dạng cơ bản của file robots.txt như sau:
User-agent:
Disallow:
Allow:
Crawl-delay:
Sitemap:
Trong đó:
- User-agent: Đây là phần chỉ tên của các trình thu thập, truy cập vào trong website (Bing Bot, Googlebot,…).
- Disallow: Có nhiệm vụ thông báo cho các User-agent không truy cập vào dữ liệu của một URL cụ thể. Mỗi URL chỉ sử dụng được duy nhất 1 dòng Disallow.
- Allow: Lệnh thực hiện để thông báo cho Googlebot truy cập vào thư mục con hoặc một trang web bất kỳ.
- Crawl-delay: Phần này có nhiệm vụ thông báo cho các Web Crawler biết thời gian phải chờ đợi để tải và thu thập dữ liệu trên website nào đó.
- Sitemap: Dùng để cung cấp vị trí của bất kỳ Sitemap XML nào khi được liên kết trực tiếp với URL cố định.
Lý do cần tạo file robots.txt
Tạo file robots.txt cho website giúp người quản trị web và SEOer dễ dàng kiểm soát số lượt truy cập của các Robots tìm kiếm trong từng khu vực trên toàn site. Điều này cũng tương đồng với việc nếu bạn đặt sai một thao tác nào đó thì Googlebot sẽ không thể index website được.
Tuy nhiên, việc tạo file robots.txt mang lại rất nhiều lợi ích. Dưới đây là những lý do mà bạn cần tạo file robots.txt:
- File robots.txt giúp ngăn chặn hiện tượng trùng lặp content trên website
- Giúp để chế độ riêng tư cho một số trang trên website
- Chỉ định vị trí nhất định của Sitemap
- Ngăn không cho các công cụ của Google có thể Index một số tệp cố định trên website, bao gồm cả tệp hình ảnh hay PDF,…
- Đảm bảo không hiển thị các trang kết quả tìm kiếm nội bộ trên SERP.
- Hỗ trợ ngăn chặn hiện tượng máy chủ bị quá tải khi có nhiều nội dung đang thu thập trong cùng một thời điểm.
Lý do cần tạo file robots.txt
Vị trí của file robots.txt trên một website
Vị trí của file robots.txt trên một website nằm ngay bên dưới phần thư mục gốc của sever. Chẳng hạn nếu site của bạn đặt trong thư mục gốc của địa chỉ seotoro.vn thì file robots.txt sẽ đặt ở đường dẫn seotoro.vn/robots.txt. Cụ thể kết quả ban đầu sẽ như sau:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Cách kiểm tra website có file robots.txt hay không?
Nếu bạn đang phân vân không biết trang web của mình đã có file robots.txt hay chưa thì hãy thử bằng cách nhập Root Domain của bạn, sau đó thêm đuôi /robots.txt vào cuối URL. Nếu bạn thấy không có trang đuôi dạng .txt xuất hiện thì tức website của bạn đang không có file robots.txt.
Cách kiểm tra website có file robots.txt hay không?
Hướng dẫn tạo file robots.txt WordPress đơn giản
Trường hợp bạn muốn thay đổi tệp robots.txt của mình hoặc khi kiểm tra website không thấy có tệp tin này thì có thể tham khảo những hướng dẫn tạo file robots.txt WordPress đơn giản bên dưới nhé!
Tạo file robots.txt WordPress đơn giản bằng Yoast SEO
Tạo file robots.txt WordPress bằng Yoast SEO là cách đơn giản và phổ biến nhất hiện nay. Bạn chỉ cần đăng nhập vào Dashboard website của mình, sau đó nhìn màn hình bên trái -> nhấn vào SEO -> Chọn Tools.
Hướng dẫn tạo file robots.txt bằng Yoast SEO
Kế tiếp, bạn hãy nhấn vào file editor. Tuy nhiên nếu web của bạn không xuất hiện mục file editor thì chứng tỏ WordPress chưa được kích hoạt trình quản lý chỉnh sửa file. Vì thế bạn hãy thực hiện thao tác kích hoạt này thông File Transfer Protocol (FTP) nhé.
Cuối cùng, bạn chỉ cần điều chỉnh và tạo file robots.txt trực tiếp trên Yoast SEO theo hình dưới đây là xong.
Điều chỉnh và tạo file robots.txt trực tiếp trên Yoast SEO
Sử dụng bộ Plugin All in One SEO
Nếu không thích tạo file robots.txt bằng Yoast SEO thì bạn có thể chuyển sang sử dụng bộ Plugin All in One SEO để thiết lập tệp tin này. Các bước thực hiện thiết lập đơn giản như sau:
Bước 1: Vào giao diện chính của Plugin All in One SEO Pack -> Chọn All in One SEO.
Bước 2: Click vào Features Manager -> Nhập Active cho mục robots.txt để kích hoạt tệp tin này.
Sử dụng bộ Plugin All in One SEO để tạo file robots.txt
Tạo vào upload file robots.txt qua FTP
Nếu có thời gian, bạn có thể chọn cách tạo file robots.txt thủ công cho WordPress của mình thông qua FTP. Bạn hãy sử dụng Textedit hoặc Notepad để tạo file mẫu như bài viết đã nêu bên trên, sau đó upload nó qua FTP mà không cần mất công sử dụng Plugin.
Upload file robots.txt qua FTP
Dù bạn lựa chọn cách tạo file robots.txt cho WordPress của mình bằng cách nào thì cũng nên lưu ý một vài điểm sau:
- Nên đặt tệp tin này trong các thư mục cao cấp nhất của trang web để các con bot dễ dàng tìm thấy.
- Txt có sự phân biệt giữa chữ thường và chữ hoa. Do đó tệp tin cần phải đặt tên đúng là “robots.txxt”, không được phép tự ý viết hoa bất kỳ ký tự nào.
Như vậy bài viết này Seotoro đã cùng bạn tìm hiểu file robots.txt là gì cũng như vai trò, cách thiết lập tệp tin này rồi nhé. Hy vọng những thông tin trên sẽ đem lại những kiến thức bổ ích cho bạn! Nếu bạn cần tư vấn các vấn đề về website, vui lòng liên hệ hotline: 0971 206 168 để được tư vấn miễn phí nhé.
