Hướng dẫn cách tạo file robots.txt cho WordPress đơn giản nhất

File robots.txt cho WordPress là gì? Tại sao nên dùng file robots.txt?

File robots.txt là một file văn bản đơn giản nằm trên máy chủ web của bạn, nó được sử dụng để cung cấp thông tin cho các máy tìm kiếm về cách mà các trang web của bạn nên được truy cập và xử lý. Chúng cho phép bạn kiểm soát các trình thu thập dữ liệu trên trang web của bạn, giúp ngăn chặn các trang bị lặp lại, giảm tải cho máy chủ và tăng tốc độ tải trang web. File robots.txt cho WordPress

File robots.txt và vai trò của với website

Việc sử dụng file robots.txt rất quan trọng đối với các trang web với nội dung động, nội dung phức tạp hoặc các trang web chứa các tài nguyên như hình ảnh, tệp media, video,… nó giúp ngăn chặn các trình thu thập dữ liệu truy cập và tải các tài nguyên không cần thiết, từ đó giảm tải cho máy chủ và cải thiện hiệu suất trang web của bạn.

Nếu bạn không sử dụng file robots.txt, các trình thu thập dữ liệu như Googlebot hoặc Bingbot sẽ truy cập và xử lý tất cả các trang và tài nguyên trên trang web của bạn. Điều này có thể làm tăng tải cho máy chủ và kéo dài thời gian tải trang web của bạn.

File robots.txt nằm ở đâu trong WordPress?

Trong WordPress, file robots.txt có thể được tạo và sửa đổi thông qua trình quản lý tệp hoặc trình chỉnh sửa mã nguồn. Thường thì, file robots.txt được đặt tại thư mục gốc của website.

Để kiểm tra xem file robots.txt của website có tồn tại hay không, bạn chỉ cần thêm /robots.txt vào sau đường dẫn gốc của website và truy cập vào đó. Ví dụ, nếu đường dẫn gốc của website của bạn là www.example.com, bạn có thể kiểm tra file robots.txt bằng cách truy cập vào www.example.com/robots.txt.

Các quy tắc cơ bản của Robots Exclusion Standard

Robots Exclusion Standard (RES) là một giao thức được sử dụng để hướng dẫn các trình thu thập dữ liệu như máy tìm kiếm truy cập trang web. File robots.txt là tệp được sử dụng để chỉ định các chỉ thị cho các trình thu thập dữ liệu. Dưới đây là một số quy tắc cơ bản mà bạn có thể thêm vào file robots.txt trong WordPress:

1. User-agent: đây là chỉ thị được sử dụng để xác định trình thu thập dữ liệu nào được phép truy cập trang web. Bạn có thể sử dụng nó để chỉ định một số trình thu thập dữ liệu cụ thể mà bạn muốn cho phép hoặc từ chối truy cập.
2. Disallow: đây là chỉ thị được sử dụng để chỉ định các trang mà các trình thu thập dữ liệu không được phép truy cập. Bạn có thể sử dụng nó để ẩn các trang không cần thiết khỏi các trình thu thập dữ liệu.
3. Allow: đây là chỉ thị được sử dụng để chỉ định các trang mà các trình thu thập dữ liệu được phép truy cập. Bạn có thể sử dụng nó để cho phép các trang được truy cập mà không bị ảnh hưởng bởi các chỉ thị Disallow.
4. Sitemap: đây là chỉ thị được sử dụng để chỉ định vị trí của tệp sitemap trên trang web của bạn. Các trình thu thập dữ liệu có thể sử dụng tệp sitemap để tìm thấy tất cả các trang có trên trang web của bạn.
5. Crawl-delay: đây là chỉ thị được sử dụng để chỉ định thời gian giữa các lần truy cập của các trình thu thập dữ liệu trên trang web của bạn. Bạn có thể sử dụng nó để kiểm soát tốc độ truy cập của các trình thu thập dữ liệu và tránh tình trạng quá tải trang web của bạn.

Quy tắc cơ bản để thêm file robots.txt

Những quy tắc trên đây là những quy tắc cơ bản và quan trọng nhất bạn nên biết khi tạo file robots.txt trong WordPress. Tuy nhiên, bạn có thể thêm nhiều quy tắc khác để tối ưu hóa trang web của bạn cho các trình thu thập dữ liệu.

File robots.txt trong WordPress cần thêm quy tắc gì?

Về cơ bản, file robots.txt là cách để các nhà quản trị web đặt ra các quy tắc và hướng dẫn để các bot của công cụ tìm kiếm thu thập thông tin từ website của họ và lập chỉ mục. Do đó, bạn hoàn toàn có thể đặt ra các quy tắc riêng của mình kèm theo một số các quy tắc cơ bản đã được mặc định.

Bạn có thể chặn hướng dẫn các bot không quét một số trang nhất định và tập trung vào các nội dung cần index. Ngoài ra, chặn một số loại bot nhận định cũng là một nước đi khá phổ biến của nhiều người, chẳng hạn như chặn bingbot (bot của công cụ tìm kiếm bing).

Trong WordPress, tùy vào nhu cầu sử dụng, bạn có thể thêm một số quy tắc cho file robots.txt để tối ưu hóa việc thu thập và index trang web của mình. Dưới đây là một số quy tắc cơ bản mà bạn có thể áp dụng:

Quy tắc của file robots.txt trong WordPress

• Cho phép thu thập tất cả các thông tin trên website

User-agent: *

Disallow:

• Chặn hoàn toàn việc thu thập thông tin

User-agent: *

Disallow: /

• Chỉ cho phép truy cập một số thư mục, ví dụ dưới đây là cài đặt mặc định:

User–agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

• Chỉ cho phép truy cập trang chủ và một số trang cần thiết khác:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Allow: /$

Allow: /contact-us.html

Ngoài ra, bạn cũng có thể sử dụng các quy tắc phức tạp hơn để kiểm soát truy cập của bot đến trang web của mình. Tuy nhiên, cần lưu ý rằng file robots.txt chỉ là một hướng dẫn và không thể ngăn chặn các bot hoặc hacker truy cập trái phép vào trang web của bạn.

Hơn nữa, bạn cũng nên thường xuyên cập nhật các bước phát triển mới về cách các bot thu thập thông tin từ trang web của bạn. Một ví dụ điển hình là việc chặn bot khỏi các thư mục như /wp-admin/ và /wp-includes/. Thông tin từ các thư mục này có thể cần thiết trong việc xác định chất lượng của trang web, nên chắc chắn là các bot sẽ cần có được thông tin này để cải thiện thứ hạng của trang web.

Vì thế, xu hướng hiện nay chính là tránh phụ thuộc quá nhiều vào file robots.txt cho việc quản lý các bot và chỉ chặn quyền truy cập trong các trường hợp cần thiết hoặc bất khả kháng.

Làm thế nào để tạo file robots.txt trên WordPress?

Để tạo file robots.txt trên WordPress, có thể sử dụng một số cách sau:

Sử dụng Yoast SEO

Bước 1: Đăng nhập vào tài khoản quản trị WordPress.

Bước 2: Chọn menu “SEO” > “Tools” > “File Editor”.

Bước 3: Nhấn “Create robots.txt file”.

Bước 4: Tùy chỉnh nội dung file robots.txt theo nhu cầu.

Bước 5: Nhấn “Save Changes to Robots.txt” để lưu thay đổi.

Qua bộ plugin All in One SEO Pack

Bước 1: Đăng nhập vào tài khoản quản trị WordPress.

Bước 2: Chọn menu “All in One SEO” > “Feature Manager”.

Bước 3: Bật chức năng “Robots.txt Generator”.

Bước 4: Nhấn “Edit Robots.txt” để tạo và chỉnh sửa file robots.txt.

Bước 5: Lưu thay đổi bằng cách nhấn “Save Changes”.

Tạo, upload file robots.txt WordPress qua FTP

Bước 1: Tạo một file mới trên máy tính có tên là “robots.txt”.

Bước 2: Thêm nội dung muốn cho vào file.

Bước 3: Sử dụng một chương trình FTP để kết nối tới hosting của WordPress.

Bước 4: Upload file “robots.txt” lên thư mục gốc của website.

Bước 5: Kiểm tra bằng cách truy cập đường dẫn domain.com/robots.txt để xác nhận file đã được tạo thành công.

Cách kiểm tra xem file WordPress robots.txt

Để kiểm tra xem file robots.txt của WordPress đã được tạo và được đặt đúng vị trí hay chưa, bạn có thể làm theo các bước sau:

Kiểm tra file robots.txt sau khi tạo

1. Truy cập vào trang web của bạn.
2. Thêm “/robots.txt” vào sau địa chỉ URL của trang web của bạn, ví dụ: https://example.com/robots.txt
3. Nếu trang hiển thị nội dung của file robots.txt, điều đó có nghĩa là file đã được tạo và được đặt đúng vị trí.
4. Nếu không thấy nội dung của file robots.txt, có thể file chưa được tạo hoặc được đặt sai vị trí.

Bạn cũng có thể sử dụng các công cụ trực tuyến để kiểm tra file robots.txt của trang web của mình, chẳng hạn như trang web của Google.

Xem thêm: Tìm hiểu core web vitals là gì và lợi ích của việc tối ưu khía cạnh này.

Lời kết

Viết file robots.txt đúng cách là một phần quan trọng trong việc tối ưu hóa SEO cho website của bạn. Việc sử dụng các công cụ để kiểm tra và tối ưu file robots.txt sẽ giúp cho website của bạn được đánh giá cao hơn trong việc tìm kiếm trên các công cụ tìm kiếm. On Digitals hi vọng với hướng dẫn trên, bạn đã có thể tạo và kiểm tra file robots.txt cho website WordPress của mình một cách đơn giản và dễ dàng.

Để cập nhật các bài viết mới liên quan đến SEO website, hãy truy cập vào website On Digitals. Nếu các bạn có nhu cầu sử dụng dịch vụ SEO cho website doanh nghiệp, hãy liên hệ với chúng tôi để biết thêm thông tin chi tiết.