Robots.txt là gì? Cách cấu hình robots.txt cho WordPress đúng, không chặn nhầm Google

Một website mới hoàn thành, mọi thứ đẹp đẽ, nhưng sau một tháng vẫn không thấy trên Google. Nguyên nhân đôi khi chỉ là một dòng trong tệp robots.txt chặn toàn bộ website. Hiểu robots.txt giúp bạn tránh những lỗi nhỏ nhưng hậu quả lớn như vậy.

Robots.txt là gì?

Robots.txt là tệp văn bản đặt tại tenmien.com/robots.txt. Khi bot của công cụ tìm kiếm (như Googlebot) đến website, nó đọc tệp này đầu tiên để biết những khu vực nào được phép thu thập dữ liệu.

Một tệp robots.txt đơn giản:

• User-agent: * áp dụng cho mọi bot.
• Disallow: /wp-admin/ không thu thập khu vực quản trị.
• Allow: /wp-admin/admin-ajax.php cho phép tệp cần thiết.
• Sitemap: https://tenmien.com/sitemap_index.xml khai báo sitemap.

Robots.txt khác noindex thế nào?

	Robots.txt (Disallow)	Thẻ noindex
Tác dụng	Không cho bot thu thập nội dung	Cho thu thập nhưng không đưa vào kết quả
Ẩn khỏi Google	Không chắc chắn; URL vẫn có thể hiện nếu có liên kết	Có, khi Google đọc được thẻ
Dùng khi	Tiết kiệm tài nguyên thu thập, khu vực kỹ thuật	Trang không muốn xuất hiện trên Google

Lưu ý: nếu chặn một trang bằng robots.txt, Google không đọc được thẻ noindex trên trang đó. Muốn ẩn trang, đừng chặn nó trong robots.txt mà dùng noindex.

Mẫu robots.txt cho WordPress

Phần lớn website WordPress chỉ cần cấu hình đơn giản:

• Cho phép toàn bộ website.
• Chặn khu vực quản trị /wp-admin/ (trừ admin-ajax.php).
• Khai báo đường dẫn sitemap.

Không nên chặn thư mục chứa CSS, JavaScript, hình ảnh (như /wp-content/, /wp-includes/) vì Google cần những tệp này để hiển thị và đánh giá trang.

Cách xem và chỉnh robots.txt

1. Mở trình duyệt, truy cập tenmien.com/robots.txt để xem nội dung hiện tại.
2. Trong WordPress, plugin SEO (Rank Math, Yoast) có trình chỉnh sửa robots.txt.
3. Hoặc chỉnh tệp robots.txt trong thư mục gốc qua quản lý tệp của hosting.
4. Kiểm tra báo cáo robots.txt trong Google Search Console.

Lỗi chặn nhầm phổ biến

1. “Disallow: /” sau khi website chạy thật. Trong giai đoạn phát triển, website thường bị chặn toàn bộ; quên bỏ chặn khi ra mắt khiến website không lên Google.
2. Tuỳ chọn “Ngăn chặn các công cụ tìm kiếm” trong Cài đặt > Đọc của WordPress vẫn được bật.
3. Chặn thư mục tài nguyên (CSS, JS) khiến Google không hiển thị đúng trang.
4. Chặn trang muốn ẩn thay vì dùng noindex.
5. Cú pháp sai, ví dụ thiếu dấu gạch chéo, sai chữ hoa thường trong đường dẫn.

Khi nào nên chặn bằng robots.txt?

• Khu vực quản trị, trang đăng nhập.
• Trang kết quả tìm kiếm nội bộ, trang lọc tạo ra vô số URL.
• Tệp, thư mục không có giá trị tìm kiếm, tốn tài nguyên thu thập.

Với website nhỏ, cấu hình mặc định hợp lý thường là đủ; đừng chặn quá nhiều.

Ví dụ thực tế

Một công ty vận tải ra mắt website mới do đơn vị khác làm. Ba tuần sau, tìm tên công ty vẫn không thấy website. Kiểm tra cho thấy robots.txt có dòng chặn toàn bộ website và tuỳ chọn ngăn công cụ tìm kiếm trong WordPress vẫn bật từ giai đoạn phát triển. Sau khi sửa, gửi sitemap và yêu cầu lập chỉ mục trang chủ, website xuất hiện với tên thương hiệu chỉ sau vài ngày.

Checklist robots.txt

• Truy cập được tenmien.com/robots.txt.
• Không có “Disallow: /” cho mọi bot.
• Không chặn CSS, JS, hình ảnh.
• Có khai báo sitemap.
• Tuỳ chọn ngăn công cụ tìm kiếm trong WordPress đã tắt.
• Search Console không báo lỗi robots.txt.

Bot AI và robots.txt

Một số công cụ AI có bot riêng đọc robots.txt. Bạn có thể chọn cho phép hoặc chặn từng bot theo tên. Cân nhắc kỹ: chặn có thể khiến nội dung không được các công cụ trả lời bằng AI tham chiếu. Xem tối ưu website cho tìm kiếm AI.

Kiểm tra nhanh website có đang chặn Google không

1. Truy cập tenmien.com/robots.txt và tìm dòng “Disallow: /”.
2. Vào WordPress, Cài đặt > Đọc, kiểm tra ô “Ngăn chặn các công cụ tìm kiếm đánh chỉ mục website này” phải bỏ chọn.
3. Xem mã nguồn trang chủ, tìm thẻ meta robots có chữ “noindex”.
4. Dùng công cụ Kiểm tra URL trong Search Console để xem Google có được phép thu thập và lập chỉ mục không.
5. Tìm “site:tenmien.com” trên Google xem có trang nào xuất hiện.

Năm bước này mất chưa đến mười phút nhưng có thể phát hiện nguyên nhân phổ biến nhất khiến website mới không lên Google. Xem thêm website không lên Google: nguyên nhân và cách khắc phục.

Robots.txt cho website đang phát triển

Trong giai đoạn xây dựng, thay vì chỉ dựa vào robots.txt, nên đặt website thử nghiệm sau mật khẩu hoặc giới hạn truy cập. Cách này ngăn cả người lạ lẫn bot, và khi ra mắt chỉ cần gỡ mật khẩu, tránh quên sửa robots.txt. Luôn có bước kiểm tra robots.txt trong checklist nghiệm thu bàn giao.

Câu hỏi thường gặp

Website không có robots.txt có sao không?
Không có tệp thì bot mặc định được thu thập toàn bộ; vẫn nên có tệp để khai báo sitemap và chặn khu vực không cần thiết.

Robots.txt có bảo mật được thông tin không?
Không; tệp công khai, ai cũng đọc được. Đừng liệt kê đường dẫn nhạy cảm trong đó với hy vọng giấu đi.

Sửa robots.txt bao lâu có hiệu lực?
Google lưu tạm tệp và đọc lại định kỳ; thường trong vòng một ngày.

Có cần chặn trang danh mục, thẻ không?
Thường không cần chặn; nếu trang thẻ mỏng nội dung, có thể dùng noindex.

Chặn trang trong robots.txt nhưng vẫn thấy trên Google là sao?
Google có thể hiển thị URL bị chặn nếu có liên kết trỏ đến, dù không đọc được nội dung. Muốn ẩn hẳn, bỏ chặn và dùng thẻ noindex.

Có nên chặn bot của các công cụ SEO bên thứ ba không?
Tuỳ nhu cầu; chặn giúp giảm tải máy chủ nhưng không ảnh hưởng thứ hạng trên Google.