Lỗi robots.txt chặn Google: bảy lỗi chặn nhầm thường gặp và cách kiểm tra

Lỗi robots.txt chặn Google thường đến từ quy tắc Disallow viết quá rộng, file đặt sai chỗ, hoặc máy chủ trả lỗi khi Google tải file. Cách kiểm tra là mở /robots.txt ở cửa sổ ẩn danh rồi xem báo cáo robots.txt trong Search Console. Bài này đi qua bảy lỗi chặn nhầm và quy trình sửa từng bước.

robots.txt hoạt động thế nào

File robots.txt cho trình thu thập biết URL nào được phép truy cập. Theo Google Search Central, mục đích chính là tránh làm quá tải máy chủ của bạn.

Có một điểm hay bị hiểu sai: robots.txt không giữ được trang khỏi Google. Trang bị chặn vẫn có thể hiện URL trên kết quả tìm kiếm, chỉ là không có mô tả, vì các trang khác có thể liên kết tới nó. Muốn giữ trang khỏi Google, hãy dùng noindex hoặc bảo vệ bằng mật khẩu.

Nếu bạn không quy định gì thì mặc định mọi file đều được phép thu thập, theo hướng dẫn tạo và gửi robots.txt của Google. Nghĩa là một site chưa có robots.txt vẫn hoạt động bình thường.

Cú pháp Disallow, Allow, Sitemap

Google hỗ trợ bốn trường: user-agent, allow, disallow và sitemap. Theo tài liệu về cách Google diễn giải robots.txt, các trường khác như crawl-delay không được hỗ trợ. Ví dụ cơ bản:

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml

Vài quy tắc cần nhớ:

• Tên trường không phân biệt hoa thường, nhưng giá trị đường dẫn thì có.
• Đường dẫn của Disallow và Allow phải bắt đầu bằng /. Nếu là thư mục thì kết thúc bằng /.
• * khớp 0 hoặc nhiều ký tự, $ đánh dấu kết thúc URL.
• Khi hai quy tắc xung đột, quy tắc có đường dẫn dài hơn được ưu tiên. Nếu vẫn xung đột thì dùng quy tắc ít hạn chế hơn, ví dụ Allow: /folder thắng Disallow: /folder.
• Dòng Sitemap cần URL đầy đủ giao thức và host. Google không tự đoán các biến thể http/https hay www/không www.

Bảy lỗi thường gặp dẫn đến chặn nhầm Google

1. Để nguyên Disallow: / cho mọi bot

Đây là dạng robots.txt disallow all: User-agent: * kèm Disallow: / chặn toàn bộ trình thu thập. Quy tắc này hợp lý khi bạn cố ý đóng site, nhưng sẽ gây hại nếu còn sót lại trên site đang chạy.

2. Đặt file sai vị trí hoặc sai host

File phải nằm ở thư mục gốc. File trong thư mục con không hợp lệ. Quy tắc cũng chỉ áp dụng cho đúng host, giao thức và cổng nơi file được đặt. Nếu bạn dùng cả www và không www, hãy kiểm tra từng host.

3. Chặn ảnh, script hoặc CSS mà trang cần

Chỉ nên chặn tệp tài nguyên khi trang tải thiếu chúng vẫn không bị ảnh hưởng đáng kể. Nếu thiếu chúng khiến Google khó hiểu trang thì đừng chặn.

4. Dùng robots.txt để giấu trang khỏi kết quả tìm kiếm

Chặn bằng robots.txt không đồng nghĩa với việc trang biến mất khỏi Google. Google không lập chỉ mục nội dung của trang bị chặn, nhưng vẫn có thể lập chỉ mục URL. Khi kết hợp nhiều quy tắc thu thập và lập chỉ mục, quy tắc này có thể triệt tiêu quy tắc kia. Hãy chọn đúng công cụ cho đúng mục đích.

5. Đường dẫn khớp rộng hơn dự định

/fish khớp /fishheads, nhưng không khớp /Fish.asp hay /catfish. Thiếu dấu / ở cuối thư mục, hoặc gõ sai chữ hoa chữ thường, đều làm quy tắc chặn nhiều hơn hoặc ít hơn ý bạn. Riêng /$ chỉ khớp trang gốc.

6. Tách nhóm user-agent riêng cho Googlebot

Mỗi trình thu thập chỉ dùng một nhóm user-agent khớp sát nhất. Nhóm riêng của Googlebot và nhóm * không gộp với nhau. Nếu bạn thêm nhóm Googlebot, các quy tắc trong nhóm * sẽ không áp dụng cho Googlebot nữa. Thứ tự nhóm trong file không quan trọng.

7. File lỗi khi Google tải hoặc đọc

Một số tình huống cần để ý:

• Mã 5xx: trong 12 giờ đầu Google ngừng thu thập và thử lại, sau đó trong 30 ngày dùng bản tốt gần nhất.
• Chuyển hướng: Google theo tối đa 5 lần, sau đó coi như 404.
• Soạn file bằng Word có thể chèn ký tự lạ như dấu nháy cong. File nên là văn bản thuần, mã hóa UTF-8.
• File vượt giới hạn 500 KiB thì phần dư bị bỏ qua. Dòng không hợp lệ cũng bị bỏ qua.

Cách kiểm tra bằng Search Console

Đầu tiên, mở tenmiencuaban.com/robots.txt trong cửa sổ ẩn danh để chắc file công khai và hiển thị đúng nội dung.

Sau đó dùng báo cáo robots.txt trong Search Console. Báo cáo cho biết Google tìm thấy file robots.txt nào ở tối đa 20 host của site, lần thu thập gần nhất và các cảnh báo hoặc lỗi.

Một số lưu ý khi đọc báo cáo:

• Báo cáo chỉ dùng được với Domain property, hoặc URL-prefix không có đường dẫn, ví dụ https://example.com/.
• Một URL chỉ hiện nếu có trạng thái Fetched hoặc Not Fetched trong 30 ngày gần nhất.
• Trạng thái Not Fetched - Not found (404) là chấp nhận được nếu bạn không có robots.txt. Nếu đã đặt file mà vẫn thấy lỗi này, hãy thử kiểm tra URL để xem có vấn đề truy cập không.

Với robots.txt wordpress hay CMS khác, trước hết hãy xem bạn có sửa trực tiếp file được không. Trên Wix hoặc Blogger, có thể bạn phải dùng trang cài đặt của CMS thay vì sửa file.

Quy trình sửa an toàn

Quy trình của Google gồm bốn bước: tạo file, thêm quy tắc, tải lên thư mục gốc, kiểm tra. Khi sửa lỗi chặn nhầm, bạn có thể đi theo thứ tự sau:

1. Xác định quy tắc gây chặn: đọc từng nhóm user-agent, tìm Disallow: / hoặc đường dẫn khớp rộng.
2. Sửa bằng trình soạn thảo văn bản thuần, lưu UTF-8, không dùng Word.
3. Đảm bảo mọi đường dẫn bắt đầu bằng /, và dòng Sitemap có URL đầy đủ.
4. Tải file lên thư mục gốc. Google tự phát hiện file sau khi tải lên.
5. Mở lại /robots.txt ở cửa sổ ẩn danh, rồi xem trạng thái trong báo cáo robots.txt.

Sửa xong, bạn cần chờ: bộ nhớ đệm của robots.txt thường tối đa 24 giờ, có thể lâu hơn khi Google không làm mới được. Báo cáo Search Console cũng cho phép yêu cầu thu thập lại trong tình huống khẩn cấp.

Quảng cáo: nếu muốn rà cả website thay vì từng file, công cụ TỐI ƯU SEO kiểm tra theo bộ 1.042 tiêu chí SEO; kiểm tra cơ bản miễn phí, kiểm tra chuyên sâu trừ credit. Trên website của người dùng, mọi thay đổi đều chờ bạn duyệt và có nút hoàn tác. Bạn có thể đăng ký dùng thử miễn phí để xem báo cáo.

Câu hỏi thường gặp

Không có file robots.txt thì Google có thu thập được site không?

Có. Nếu không quy định gì thì mặc định mọi file đều được phép thu thập, và trạng thái 404 cho robots.txt trong Search Console là chấp nhận được.

Chặn bằng robots.txt có làm trang biến mất khỏi Google không?

Không chắc. Google không lập chỉ mục nội dung trang bị chặn nhưng vẫn có thể lập chỉ mục URL và hiện không kèm mô tả. Muốn giữ trang khỏi Google, hãy dùng noindex hoặc mật khẩu.

Google có dùng crawl-delay trong robots.txt không?

Không. Google chỉ hỗ trợ bốn trường: user-agent, allow, disallow và sitemap.

Nguồn tham khảo

• Introduction to robots.txt, Google Search Central, 10/12/2025. Đọc ngày 22/10/2026.
• How Google interprets the robots.txt specification, Google (Crawling infrastructure), 31/08/2026. Đọc ngày 22/10/2026.
• Create and Submit a robots.txt File, Google (Crawling infrastructure), 21/11/2025. Đọc ngày 22/10/2026.
• robots.txt report – Search Console Help, Google Search Console Help. Đọc ngày 22/10/2026.