Sơ đồ trang và lập chỉ mục cho site mới mở: đưa bài vào chỉ mục mà không đẻ rác
Site mới trong hệ cần sơ đồ trang sạch, chặn trang rác do khuôn sinh ra và theo dõi trạng thái lập chỉ mục. Bảng loại trang rác, thứ tự mở và bẫy bản thử lọt.
Với site mới mở trong hệ, đưa bài vào chỉ mục gồm ba việc: nộp một sơ đồ trang chỉ chứa các trang chuẩn đáng lập chỉ mục, chặn những trang rác mà khuôn trang tự sinh ra (thẻ, tìm kiếm nội bộ, lưu trữ theo ngày, trang tác giả rỗng), và để site có vài đường dẫn thật từ nơi đã được biết tới. Sau đó theo dõi trạng thái từng nhóm trang và sửa nguyên nhân, không bấm yêu cầu lập chỉ mục hàng loạt.
Không có cách nào buộc máy tìm kiếm lập chỉ mục một trang; sơ đồ trang chỉ giúp máy phát hiện. Việc trang có được đưa vào chỉ mục hay không phụ thuộc đánh giá của chính máy tìm kiếm về giá trị trang. Vì vậy với site mới, chất lượng tín hiệu đầu tiên quan trọng: một site mới mà phần lớn đường dẫn được phát hiện là trang rác sẽ khiến máy thu thập tiêu thời gian vào rác. Bài này đi theo góc hệ nhiều site, nơi khuôn dùng chung sinh rác hàng loạt và bản thử dễ lọt ra ngoài.
Sơ đồ trang đúng cho site mới
Sơ đồ trang của site mới nên nhỏ, sạch và trung thực. Các điểm dưới đây dựa trên hướng dẫn về sơ đồ trang của Google; chi tiết giới hạn kỹ thuật có trong tài liệu chính thức.
- Chỉ chứa trang chuẩn: trả mã thành công, không chuyển hướng, không chặn lập chỉ mục, không bị canonical trỏ đi nơi khác.
- Chứa bài viết, trang chuyên mục có giá trị riêng, trang giới thiệu; không chứa trang thẻ, trang tìm kiếm, trang phân trang có tham số.
- Tách sơ đồ theo loại (bài, chuyên mục, trang tĩnh) và gom bằng một tệp chỉ mục sơ đồ. Khi có vấn đề, dễ thấy nhóm nào không được lập chỉ mục.
- Trường lastmod chỉ đổi khi nội dung chính của trang đổi. Google nói dùng lastmod khi nó chính xác một cách nhất quán, và bỏ qua các trường ưu tiên, tần suất thay đổi.
- Mỗi tệp sơ đồ có giới hạn về số đường dẫn và dung lượng; site nội dung mới hiếm khi chạm tới, nhưng khuôn dùng chung nên tự chia tệp khi vượt.
- Khai đường dẫn sơ đồ trong tệp chỉ dẫn cho máy thu thập và nộp qua công cụ dành cho chủ site. Cách “ping” sơ đồ trang tới Google đã ngừng được hỗ trợ.
- Sơ đồ được sinh tự động từ cơ sở dữ liệu bài, không phải tệp tĩnh chép từ site khác.
Mục cuối nghe hiển nhiên nhưng là lỗi có thật ở hệ dùng chung khuôn: sơ đồ trang của site mới được chép từ site mẫu, chứa đường dẫn của site mẫu, và máy tìm kiếm nhận một tệp liệt kê toàn tên miền khác.
Trang rác do khuôn sinh ra: nhận diện và xử lý
Khuôn trang dùng chung thường tự sinh nhiều loại trang không ai dự định cho người đọc tìm thấy qua tìm kiếm. Với site mới chỉ có vài chục bài, số trang rác có thể nhiều hơn số bài.
| Loại trang | Sinh ra từ đâu | Xử lý gợi ý |
|---|---|---|
| Trang thẻ có một hai bài | Mỗi thẻ gắn cho bài sinh một trang | Chặn lập chỉ mục cho tới khi thẻ có đủ bài và có đoạn giới thiệu riêng |
| Trang kết quả tìm kiếm nội bộ | Ô tìm kiếm, bot thử từ khoá | Chặn lập chỉ mục và chặn thu thập; không bao giờ đưa vào sơ đồ |
| Lưu trữ theo ngày, tháng | Khuôn kiểu nhật ký | Tắt hẳn với site kiến thức |
| Trang tác giả rỗng | Tài khoản quản trị, tài khoản thử | Gỡ tài khoản thử; trang tác giả thật phải có tiểu sử |
| Trang tệp đính kèm | Mỗi ảnh tải lên có một trang riêng | Chuyển hướng về bài chứa ảnh hoặc tắt |
| Biến thể có tham số | Sắp xếp, lọc, mã theo dõi chiến dịch | Canonical về bản không tham số; không liên kết nội bộ tới bản có tham số |
| Trang chuyên mục trống | Chuyên mục tạo sẵn theo kế hoạch | Chưa có bài thì ẩn khỏi menu và chặn lập chỉ mục |
Sửa ở khuôn một lần là sạch cho mọi site mở sau. Đó là lý do nên rà bảng này trên site mới đầu tiên một cách kỹ lưỡng, rồi biến kết quả thành cấu hình mặc định của khuôn.
Thứ tự mở một site mới
Mở site với bao nhiêu bài là quyết định biên tập, không có con số chuẩn. Điều đáng tránh là mở site khi mới có vài bài mỏng và hàng chục chuyên mục trống: ấn tượng đầu tiên của cả người đọc lẫn máy là một site chưa xong. Mở với một nhóm bài trụ của một hai mảng, đủ để người đọc đến từ bất kỳ bài nào cũng có bài đọc tiếp, thường tốt hơn mở rộng mà nông.
Trước ngày mở: gỡ mọi chặn lập chỉ mục và mật khẩu của giai đoạn dựng (lỗi quên gỡ phổ biến hơn lỗi quên đặt); kiểm tệp chỉ dẫn cho máy thu thập không chặn toàn site; kiểm trang chủ, một bài, một chuyên mục trả về đúng; tạo thuộc tính trong công cụ dành cho chủ site và nộp sơ đồ trang.
Ngày mở: một đường dẫn thật từ nơi đã có người đọc, ví dụ trang danh mục thương hiệu của nhà xuất bản hoặc một bài liên quan ở site anh em, nếu nhà xuất bản đã quyết định công khai quan hệ. Một liên kết vì người đọc là đủ để máy phát hiện; liên kết dày đặc từ mọi trang của mọi site anh em là thứ không nên làm.
Tuần đầu: đọc nhật ký máy chủ để xem máy thu thập đã ghé chưa, ghé những trang nào. Nếu nó đang tiêu thời gian vào trang thẻ hay trang tìm kiếm, quay lại bảng trang rác.
Đọc trạng thái lập chỉ mục cho đúng
“Đã phát hiện, hiện chưa được lập chỉ mục”. Máy biết đường dẫn nhưng chưa thu thập. Với site mới, thường chỉ là chưa tới lượt. Nếu kéo dài với số lượng lớn, kiểm xem máy chủ có chậm không và site có đang có quá nhiều đường dẫn rác chiếm lượt không.
“Đã thu thập, hiện chưa được lập chỉ mục”. Máy đã đọc trang và chưa chọn đưa vào chỉ mục. Đây là trạng thái đáng đọc kỹ: thường gặp ở trang mỏng, trang na ná trang khác trong site hoặc ở site anh em, trang chuyên mục chỉ là danh sách.
“Trang trùng lặp, Google chọn bản chuẩn khác”. Kiểm bản Google chọn là bản nào. Nếu là bản ở site anh em, đó là tín hiệu trùng nội dung giữa hai site cần xử lý.
“Bị chặn bởi thẻ noindex” trên trang lẽ ra phải lập chỉ mục. Thường do quên gỡ cấu hình giai đoạn dựng, hoặc khuôn chặn nhầm một loại trang. Sửa ở khuôn, kiểm mọi site dùng cùng khuôn.
Yêu cầu lập chỉ mục từng trang. Công cụ kiểm tra đường dẫn cho phép yêu cầu thu thập lại từng trang, có giới hạn số lần. Dùng cho vài trang quan trọng vừa sửa, không dùng thay sơ đồ trang. Các giao diện lập chỉ mục tự động của Google chỉ dành cho một số loại nội dung đặc thù, không dành cho bài kiến thức.
Tình huống: năm site cùng khuôn, mở trong một tháng, bản thử lọt chỉ mục
Ví dụ giả định. Nhóm kỹ thuật dựng năm site mới trên cùng khuôn, mỗi site có một bản thử trên tên miền phụ để biên tập viên duyệt. Bản thử được chặn bằng tệp chỉ dẫn cho máy thu thập. Ba tuần sau ra mắt, nhóm phát hiện một số bài của hai site đang hiện trong kết quả tìm kiếm dưới tên miền bản thử, còn bản thật ở trạng thái trùng lặp.
Nguyên nhân hay gặp: tệp chỉ dẫn chỉ ngăn thu thập, không ngăn lập chỉ mục một đường dẫn được biết qua liên kết ở nơi khác; một biên tập viên đã dán đường dẫn bản thử vào tài liệu công khai, hoặc bản thử có sơ đồ trang tự sinh. Khi máy biết bản thử trước, nó có thể coi bản thử là bản gốc.
Cách phòng đúng là khoá bản thử bằng mật khẩu ở tầng máy chủ, để mọi yêu cầu không có mật khẩu bị từ chối; khi đó không có gì để lập chỉ mục. Nếu bản thử đã lọt, mở lại cho máy đọc được thẻ chặn lập chỉ mục hoặc chuyển hướng từng đường dẫn bản thử sang bản thật, rồi dùng công cụ gỡ đường dẫn tạm thời của công cụ dành cho chủ site trong lúc chờ.
Với hệ nhiều site, đặt quy tắc chung: mọi bản thử đều có mật khẩu, không ngoại lệ, và bước gỡ chặn khi ra mắt nằm trong danh mục kiểm có người ký tên.
Bốn tuần đầu: theo dõi gì, sửa gì
Phần này chỉ nói về lập chỉ mục, không nói về lượt đọc. Mỗi tuần một lần, mười lăm phút cho mỗi site mới.
- Tuần một: đọc nhật ký máy chủ, lọc lượt của máy thu thập đã xác minh. Máy đã ghé chưa, ghé trang nào nhiều nhất. Nếu là trang rác, sửa khuôn ngay.
- Tuần một: mở báo cáo sơ đồ trang trong công cụ dành cho chủ site, xác nhận sơ đồ đã được đọc và số đường dẫn phát hiện khớp số bài.
- Tuần hai: xem báo cáo lập chỉ mục theo từng sơ đồ con (bài, chuyên mục, trang tĩnh). Ghi số trang ở từng trạng thái để tuần sau so.
- Tuần hai: kiểm vài đường dẫn bằng công cụ kiểm tra đường dẫn, xem trang Google hiển thị có đủ nội dung không, bản chuẩn được chọn có đúng không.
- Tuần ba: với trang ở trạng thái đã thu thập mà chưa lập chỉ mục, đọc lại từng trang: có mỏng không, có trùng bài khác trong site hoặc site anh em không.
- Tuần bốn: tổng kết vào hồ sơ site: những gì đã sửa ở khuôn, những bài cần viết lại, và đưa các sửa đổi ở khuôn về khuôn chung cho mọi site.
Điểm dừng hợp lý: khi số trang rác bị thu thập giảm rõ, sơ đồ trang được đọc đều, và trạng thái các bài trụ chuyển dần sang đã lập chỉ mục. Từ đó chuyển sang nhịp theo dõi hằng tháng chung với các site khác.
Sai lầm hay gặp khi đưa site mới vào chỉ mục
Bấm yêu cầu lập chỉ mục cho từng bài mỗi ngày. Việc này có giới hạn số lần và không thay được sơ đồ trang. Thời gian đó dành để sửa trang rác hoặc viết bài tốt hơn thì có ích hơn.
Quên gỡ chặn của giai đoạn dựng. Thẻ chặn lập chỉ mục toàn site, tệp chỉ dẫn chặn tất cả, mật khẩu ở tầng máy chủ: chỉ cần sót một thứ là site ra mắt mà không ai thấy. Danh mục kiểm ngày ra mắt phải có mục này.
Đưa trang chuyển hướng, trang lỗi vào sơ đồ. Sơ đồ chứa đường dẫn không chuẩn làm giảm độ tin cậy của chính sơ đồ và lãng phí lượt thu thập.
Ra mắt với nhiều chuyên mục trống. Trang chuyên mục rỗng hoặc chỉ một bài là trang mỏng ngay từ đầu. Mở chuyên mục khi đã có bài.
Coi lập chỉ mục là đích. Được lập chỉ mục chỉ có nghĩa là trang có thể xuất hiện. Nó không nói gì về việc trang có được chọn cho truy vấn nào. Đích vẫn là người đọc.
Hỏi đáp
Site mới bao lâu thì được lập chỉ mục?
Không có thời gian chắc chắn. Tuỳ việc máy phát hiện site qua đâu, máy chủ phản hồi nhanh không, số trang rác nhiều hay ít và máy đánh giá nội dung thế nào. Thay vì đợi một mốc, theo dõi nhật ký xem máy thu thập đã ghé chưa và báo cáo trạng thái từng nhóm trang trong công cụ dành cho chủ site.
Có nên nộp sơ đồ trang khi site mới chỉ có mười bài không?
Có. Sơ đồ nhỏ vẫn giúp máy biết đủ các trang cần thu thập và giúp chủ site theo dõi trạng thái theo nhóm. Điều quan trọng là sơ đồ chỉ chứa trang đáng lập chỉ mục, và được sinh tự động để bài mới tự có mặt.
Dùng chung một thuộc tính công cụ chủ site cho nhiều site được không?
Mỗi tên miền nên có thuộc tính riêng để thấy riêng vấn đề lập chỉ mục, hình phạt thủ công, lỗi bảo mật của site đó. Có thể dùng chung một tài khoản quản lý nhiều thuộc tính, nhưng không gộp nhiều tên miền vào một báo cáo.
Chặn trang thẻ khỏi chỉ mục có làm mất người đọc không?
Thường không, vì trang thẻ có một hai bài hiếm khi là câu trả lời tốt nhất cho truy vấn nào. Người đọc vẫn dùng trang thẻ để duyệt trong site. Khi một thẻ đã có nhiều bài và được biên tập thêm đoạn giới thiệu, có thể mở lại cho lập chỉ mục.
Site anh em liên kết sang site mới bao nhiêu là hợp lý?
Liên kết ở nơi người đọc thật sự cần: một bài liên quan, trang giới thiệu nhà xuất bản nếu có công khai quan hệ. Không cần và không nên đặt liên kết ở chân trang mọi trang của mọi site. Máy phát hiện site mới qua sơ đồ trang và vài liên kết thật là đủ.
Đã gỡ noindex mà trang vẫn chưa vào chỉ mục thì làm gì?
Kiểm lại trang trả mã thành công, không bị canonical trỏ đi nơi khác, có trong sơ đồ trang, có liên kết nội bộ tới. Yêu cầu thu thập lại cho vài trang quan trọng nhất. Sau đó chờ; nếu trạng thái chuyển sang đã thu thập mà chưa lập chỉ mục, vấn đề nằm ở nội dung.
- sơ đồ trang site mới
- sitemap xml
- lập chỉ mục
- site mới không được index
- trang rác chỉ mục
- noindex
- đã phát hiện chưa lập chỉ mục
- bản thử lọt chỉ mục
- thẻ lastmod
- ra mắt site