Audit chỉ mục và ngân sách thu thập bằng Search Console

Audit chỉ mục và ngân sách thu thập cho biết Google đang thấy website của bạn ở mức nào: trang quan trọng nào đã vào chỉ mục, trang nào bị bỏ lại, và Google có phí thời gian vào những URL vô giá trị hay không. Bước này đọc báo cáo Lập chỉ mục trang, sitemap và báo cáo Thống kê thu thập dữ liệu trong Search Console.

Bước 1.2 "Audit chỉ mục và ngân sách thu thập" làm gì và nằm ở đâu trong quy trình?

Bước này đối chiếu danh sách URL bạn muốn được tìm thấy với danh sách URL Google đã lập chỉ mục, rồi tìm nguyên nhân cho khoảng cách giữa hai danh sách. Nó đứng ngay sau audit kỹ thuật trong giai đoạn 1 của quy trình, vì cần dữ liệu sitemap và mã trạng thái đã kiểm ở bước trước.

Đầu ra là tỷ lệ URL quan trọng được lập chỉ mục, danh sách URL bị bỏ lại kèm nguyên nhân, và nhận định về việc thu thập dữ liệu có bị lãng phí hay không. Phần việc sửa tương ứng nằm ở giai đoạn 3 của quy trình.

URL quan trọng đã được lập chỉ mục chưa?

Tiêu chí đầu tiên là tỷ lệ URL quan trọng đang nằm trong chỉ mục. URL quan trọng ở đây là những URL trong sitemap và những trang kiếm tiền như trang sản phẩm, trang dịch vụ, bài viết trụ cột.

Cách làm: vào báo cáo Lập chỉ mục trang trong Search Console, xuất danh sách URL đã lập chỉ mục, rồi đối chiếu với danh sách trong sitemap bằng bảng tính để tính tỷ lệ.

Theo trang trợ giúp Search Console về báo cáo Lập chỉ mục trang, báo cáo chỉ hiển thị danh sách mẫu tối đa 1.000 URL cho mỗi lý do, nên website lớn cần lấy dữ liệu qua API. Báo cáo cũng không dùng để kiểm trạng thái một trang cụ thể; trường hợp đó hãy dùng công cụ Kiểm tra URL.

Hai trạng thái dễ gây lo lắng nhất là "Crawled – currently not indexed" và "Discovered – currently not indexed". Theo cùng trang trợ giúp, trạng thái đầu nghĩa là Google đã thu thập trang nhưng chưa lập chỉ mục, và trang có thể được lập chỉ mục sau này. Trạng thái sau nghĩa là Google đã phát hiện trang nhưng chưa thu thập, đôi khi vì Google lên lịch lại để tránh làm quá tải website. Tiêu chí này yêu cầu lọc hai nhóm đó theo sitemap và theo template kiếm tiền, chỉ đếm URL quan trọng. Bài đã phát hiện nhưng chưa được lập chỉ mục và bài đã thu thập nhưng chưa được lập chỉ mục giải thích cách phân tích từng nguyên nhân.

Hai tiêu chí còn lại của nhóm này nhìn theo hướng ngược lại: có URL nào được lập chỉ mục mà không nên có không (index bloat), và có URL nào bị gắn nhãn "Duplicate without user-selected canonical" trên template quan trọng không. Index bloat gồm các trang thẻ rác, trang lưu trữ, trang kết quả tìm kiếm nội bộ và URL có tham số. Theo trang trợ giúp, nhãn trùng lặp không phải lỗi, nhưng nếu Google chọn sai bản chính, bạn có thể khai báo canonical rõ ràng. Xem thêm trang chính tắc khác lựa chọn của người dùng.

Sitemap có đang nói đúng về URL quan trọng không?

Ba tiêu chí tiếp theo kiểm tra sitemap bằng dữ liệu đã có từ bước audit kỹ thuật, nên không cần crawl lại. Sitemap là danh sách URL bạn tự giới thiệu cho Google, nên nó chỉ có giá trị khi danh sách sạch: không có URL lỗi, URL bị chặn hay URL không phải bản chính.

Chúng hỏi: có URL gắn noindex mà vẫn nằm trong sitemap không, có URL trả 301, 404 hoặc 5xx nằm trong sitemap không, và sitemap có chỉ chứa URL canonical, có thể lập chỉ mục, với ngày lastmod trung thực không.

Nếu danh sách đầy URL lỗi hoặc URL bị chặn, tín hiệu về sitemap mất giá trị. Theo tài liệu về URL chính tắc của Google, sitemap là tín hiệu yếu về URL ưa thích, nên cần nhất quán với canonical và chuyển hướng. Chỉ kiểm bổ sung khi sitemap thay đổi sau lượt audit kỹ thuật.

Báo cáo Thống kê thu thập dữ liệu cho biết điều gì?

Bốn tiêu chí đọc báo cáo Thống kê thu thập dữ liệu (Crawl stats) trong phần Cài đặt của Search Console. Báo cáo này chỉ có ở thuộc tính cấp gốc, tức thuộc tính Domain hoặc thuộc tính tiền tố URL ở cấp gốc, nên hãy chọn đúng thuộc tính trước khi mở.

Theo trang trợ giúp, đây là công cụ nâng cao; website dưới 1.000 trang thường không cần dùng. Với website lớn hơn, nó giúp biết Googlebot thấy máy chủ của bạn ra sao.

• Lỗi máy chủ 5xx trong 90 ngày: đọc tỷ lệ 5xx trong mục theo mã phản hồi, rồi đối chiếu URL với nhật ký máy chủ.
• Mã 429 trả về Googlebot: lọc trong nhóm mã phản hồi khác. Theo tài liệu về mã trạng thái, Google coi 429 là dấu hiệu máy chủ quá tải và tạm thời giảm tốc độ thu thập.
• Trạng thái máy chủ (host status): theo trang trợ giúp có ba nhóm được theo dõi là robots.txt, phân giải DNS và kết nối máy chủ, và nên ở trạng thái xanh. Vạch đỏ trong 90 ngày là tín hiệu cần điều tra.
• Thời gian phản hồi trung bình: đây là trung bình thời gian phản hồi của mọi tài nguyên Google tải về. Đối chiếu với phân tích nhật ký để biết trang nào chậm.

Khi số yêu cầu trong báo cáo cao hơn nhiều so với nhật ký máy chủ, trang trợ giúp nêu nguyên nhân thường gặp là robots.txt không khả dụng quá lâu. Đây là lý do nên kiểm cả robots.txt có bị chặn nhầm hay không.

Ngân sách thu thập có bị lãng phí không?

Ba tiêu chí cuối nói về hiệu quả thu thập. Theo tài liệu về ngân sách thu thập của Google (cập nhật 2026), ngân sách gồm giới hạn năng lực thu thập và nhu cầu thu thập; yếu tố bạn kiểm soát nhiều nhất là số URL trùng lặp hoặc không cần thu thập.

Hướng dẫn nâng cao của tài liệu dành cho website có trên 1 triệu trang với nội dung đổi hằng tuần, hoặc trên 10.000 trang với nội dung đổi hằng ngày. Với website nhỏ hơn, giữ sitemap cập nhật và xem báo cáo Lập chỉ mục trang thường xuyên là đủ.

Ba tiêu chí cụ thể là:

• Tỷ lệ thu thập bị lãng phí: phân tích nhật ký, nhóm URL Googlebot tải theo mẫu như facet, tham số, tìm kiếm nội bộ, 404, chuyển hướng, rồi tính phần trăm. Nếu không có nhật ký thô, kết quả chỉ là ước tính thay thế và cần ghi rõ như vậy.
• Hiệu suất thu thập ước tính: lấy tổng số URL có thể lập chỉ mục sau khi khử trùng sitemap với dữ liệu crawl, chia cho số trang Googlebot thu thập trung bình mỗi ngày. Đây là con số ước lượng để biết cần bao lâu để Google đi hết website, không phải chỉ số chính thức.
• URL HTML quá lớn: theo trang tổng quan về trình thu thập của Google (cập nhật 06/2026), các trình thu thập của Google mặc định chỉ tải 15 MB đầu của một tệp, và nội dung vượt mức đó bị bỏ qua; trang này cũng nêu ví dụ Googlebot có thể có giới hạn nhỏ hơn như 2 MB. Lọc URL có HTML nặng trong công cụ crawl hoặc phân tích nhật ký, vì phần nội dung nằm sau giới hạn có thể không được đọc.

Theo tài liệu ngân sách thu thập, thực hành nên làm gồm gộp nội dung trùng lặp, chặn URL không quan trọng bằng robots.txt, trả 404 hoặc 410 cho trang đã xóa vĩnh viễn, tránh chuỗi chuyển hướng dài và giữ sitemap kèm lastmod chính xác. Tài liệu cũng lưu ý không dùng noindex để tiết kiệm ngân sách, vì Google vẫn phải tải trang rồi mới bỏ.

Công cụ TỐI ƯU SEO kiểm phần nào trong bước này?

Quảng cáo: phần này giới thiệu công cụ TỐI ƯU SEO.

TỐI ƯU SEO kết nối Google Search Console và quét website theo bộ quy trình 8 giai đoạn gồm 1.042 tiêu chí. Các tiêu chí đọc dữ liệu từ Search Console, như trạng thái lập chỉ mục và Thống kê thu thập dữ liệu, cần bạn kết nối tài khoản trước; chưa kết nối thì kết quả hiển thị là chưa kiểm tra. Kiểm tra cơ bản miễn phí, kiểm tra chuyên sâu trừ credit theo từng tiêu chí. Bạn có thể đăng ký dùng thử và xem bảy cách tự sửa lỗi SEO website cùng giới hạn của từng cách.

Tóm tắt

• Bước này so sánh URL bạn muốn được thấy với URL Google đã lập chỉ mục, rồi tìm nguyên nhân khoảng cách.
• "Crawled" và "Discovered – currently not indexed" khác nhau: một bên đã thu thập chưa lập chỉ mục, một bên chưa thu thập.
• Sitemap chỉ nên chứa URL canonical, có thể lập chỉ mục và trả mã thành công.
• Báo cáo Thống kê thu thập dữ liệu giúp phát hiện lỗi 5xx, mã 429 và trạng thái máy chủ.
• Website nhỏ ít khi cần lo ngân sách thu thập; ưu tiên giữ sitemap sạch.

Câu hỏi thường gặp

Website nhỏ có cần quan tâm ngân sách thu thập không?

Thường không. Theo tài liệu của Google, hướng dẫn nâng cao về ngân sách thu thập dành cho website rất lớn hoặc đổi nội dung rất nhanh. Với website nhỏ, việc cần làm là giữ sitemap cập nhật, tránh URL trùng lặp và xem báo cáo Lập chỉ mục trang đều đặn.

Vì sao trang của tôi "Crawled – currently not indexed"?

Google đã đọc trang nhưng chưa thấy đủ lý do để đưa vào chỉ mục. Theo trang trợ giúp Search Console, trang có thể được lập chỉ mục sau này và bạn không cần gửi lại yêu cầu thu thập. Hãy kiểm tra chất lượng nội dung, liên kết nội bộ tới trang và tín hiệu trùng lặp trước.

Có nên dùng noindex để tiết kiệm ngân sách thu thập không?

Không. Theo tài liệu về ngân sách thu thập, Google vẫn phải tải trang rồi mới bỏ khi gặp noindex, nên cách này không tiết kiệm được lượt thu thập. Muốn giảm lãng phí, hãy gộp trùng lặp, chặn URL không cần bằng robots.txt hoặc trả mã 404 và 410 cho trang đã xóa.

Báo cáo Thống kê thu thập dữ liệu lấy dữ liệu bao lâu?

Theo trang trợ giúp, trạng thái máy chủ đánh giá dữ liệu trong 90 ngày gần nhất, còn các phần khác theo khoảng thời gian bạn chọn. Báo cáo chỉ có ở thuộc tính cấp gốc, nên hãy chọn đúng thuộc tính khi mở.

Làm sao biết một URL đã được lập chỉ mục chưa?

Dùng công cụ Kiểm tra URL trong Search Console cho từng trang, vì báo cáo Lập chỉ mục trang không dùng để kiểm một trang cụ thể. Với danh sách lớn, xuất dữ liệu qua API rồi đối chiếu với sitemap bằng bảng tính.

Nguồn tham khảo

• Báo cáo Lập chỉ mục trang (Page indexing), Google (Trợ giúp Search Console). Đọc ngày 28/10/2026.
• Báo cáo Thống kê thu thập dữ liệu (Crawl stats), Google (Trợ giúp Search Console). Đọc ngày 28/10/2026.
• Overview of Google crawlers and fetchers, Google (Crawling infrastructure), cập nhật 12/06/2026. Đọc ngày 28/10/2026.
• Optimize your crawl budget (Crawl Budget Management), Google for Developers, 2026-07-22. Đọc ngày 23/10/2026.
• How HTTP Status Codes Affect Google's Crawlers, Google Search Central, cập nhật 04/02/2026. Đọc ngày 28/10/2026.
• How to specify a canonical URL with rel="canonical" and other methods, Google Search Central, 10/07/2026. Đọc ngày 23/10/2026.