Lưu lượng bot trên site nội dung: nhận diện, lọc và vì sao số liệu bị phồng
Bot thu thập, công cụ giám sát, trình xem trước đường dẫn làm phồng số liệu site nội dung. Bảng nhận diện, dấu hiệu bất thường và quy trình lọc từng bước.
Lưu lượng bot là mọi lượt truy cập do chương trình tự động tạo ra: máy thu thập của công cụ tìm kiếm và của các hệ AI, công cụ kiểm tra thứ hạng, công cụ giám sát thời gian hoạt động, chương trình chép nội dung, máy quét lỗ hổng, trình tạo ô xem trước khi có người dán đường dẫn vào ứng dụng nhắn tin. Một phần bot tự khai tên rõ ràng, một phần giả làm trình duyệt bình thường, và một phần chạy cả mã đo trên trang nên lọt thẳng vào công cụ phân tích như người thật.
Site nội dung bị bot nhiều vì nó có nhiều trang công khai, ít đăng nhập, cập nhật đều đặn: đúng loại tài nguyên các chương trình thu thập thích nhất. Với hệ nhiều site, bot còn phồng số theo kiểu khó thấy: chính công cụ giám sát của nhà xuất bản gọi hàng chục trang chủ mỗi phút. Bài này chỉ cách nhận diện từng loại, dấu hiệu số liệu đang phồng, và một quy trình lọc mà nhóm nhỏ làm được.
Các loại bot thường ghé site nội dung
Không phải bot nào cũng xấu, và không phải bot nào cũng nên chặn. Việc đầu tiên là biết mình đang gặp loại nào, vì cách xử lý khác nhau.
| Loại | Tự khai tên? | Lọt vào mã đo trên trang? | Nên làm gì |
|---|---|---|---|
| Máy thu thập của công cụ tìm kiếm | Có, xác minh được qua tra ngược tên máy | Thường không, hoặc rất ít | Không chặn; loại khỏi báo cáo người đọc |
| Máy thu thập cho hệ AI | Phần lớn có | Ít | Quyết định cho phép hay không là chuyện chính sách; dù sao cũng loại khỏi số người đọc |
| Công cụ giám sát thời gian hoạt động (kể cả của mình) | Thường có | Có nếu công cụ dựng trang bằng trình duyệt thật | Loại theo địa chỉ và tên; trỏ giám sát vào một trang nhẹ riêng |
| Trình tạo ô xem trước đường dẫn | Thường có | Hiếm | Loại khỏi báo cáo; đừng nhầm là lượt chia sẻ đem về người đọc |
| Công cụ kiểm tra thứ hạng, phân tích đối thủ | Có hoặc không | Có khi chạy trình duyệt không giao diện | Loại; chặn nếu tốn tài nguyên |
| Chương trình chép nội dung, quét lỗ hổng | Thường giả làm trình duyệt | Có khi có | Giới hạn tốc độ, chặn theo hành vi |
| Lượt giới thiệu rác (referrer spam) | Không | Có, hoặc gửi thẳng vào công cụ đo | Lọc theo nguồn giới thiệu và theo tên máy chủ nhận |
Cột thứ ba quan trọng nhất với người làm số liệu. Bot không chạy mã đo chỉ phồng nhật ký máy chủ; bot chạy mã đo phồng luôn cả báo cáo mà biên tập viên đọc hằng tuần. Loại sau khó thấy hơn và gây quyết định sai nhiều hơn.
Tình huống: công cụ giám sát của chính mình
Ví dụ giả định. Một nhà xuất bản giữ 20 site, dùng một dịch vụ giám sát gọi trang chủ của từng site mỗi phút để báo khi site sập. Mỗi site nhận 60 × 24 = 1.440 lượt mỗi ngày từ riêng việc này, cả hệ là 28.800 lượt mỗi ngày. Nếu dịch vụ giám sát kiểm từ ba địa điểm khác nhau, con số nhân ba.
Nhật ký máy chủ ghi đủ các lượt đó. Nếu dịch vụ giám sát chỉ tải mã nguồn trang mà không chạy mã đo, báo cáo phân tích không bị ảnh hưởng, nhưng mọi phép đếm dựa trên nhật ký đều sai. Nếu nhóm bật chế độ kiểm “như trình duyệt thật” để bắt lỗi hiển thị, dịch vụ chạy luôn mã đo và trang chủ của 20 site bỗng có hàng nghìn “người dùng” mỗi ngày, thời gian trên trang gần bằng không, tất cả đến từ vài thành phố đặt trung tâm dữ liệu.
Cách sửa gọn: tạo một trang kiểm sức khoẻ riêng, nhẹ, không có mã đo, không nằm trong sơ đồ trang, và trỏ giám sát vào đó. Khi cần kiểm nội dung trang thật, dùng tần suất thưa hơn và loại địa chỉ của dịch vụ giám sát khỏi mọi báo cáo. Ghi vào sổ sự kiện ngày đổi, để biểu đồ có một bậc giảm mà người xem sau này hiểu vì sao.
Dấu hiệu số liệu đang bị bot làm phồng
Một trang tăng vọt mà các trang khác đứng yên. Người thật hiếm khi dồn về đúng một bài cũ không có lý do. Kiểm nguồn giới thiệu: nếu trống hoặc là một tên miền lạ, khả năng cao là bot hoặc giới thiệu rác.
Thời gian tương tác gần bằng không trên số lượng lớn. Người thật bấm nhầm thì có, nhưng hàng nghìn lượt đều không có tương tác thường là chương trình tải trang rồi đi.
Địa lý tập trung bất thường. Site tiếng Việt về thủ tục trong nước mà một ngày có nhiều lượt từ một thành phố nước ngoài nơi đặt trung tâm dữ liệu lớn là dấu hiệu đáng xem.
Giờ truy cập phẳng. Người đọc có nhịp ngày đêm; bot thì đều đặn suốt hai mươi bốn giờ. Một đường phẳng chồng lên đường cong ngày đêm cho thấy phần bot nằm dưới.
Trang không tồn tại được gọi nhiều. Lượt gọi tới đường dẫn trang quản trị của một nền tảng mà site không dùng, hoặc tới các tệp cấu hình, là máy quét đang dò. Chúng không vào báo cáo phân tích nhưng chiếm tài nguyên máy chủ.
Người dùng mới gần như tuyệt đối. Bot hiếm khi giữ cookie, nên mỗi lượt là một “người mới”. Một nhóm lưu lượng toàn người mới, cùng độ phân giải màn hình, cùng ngôn ngữ trình duyệt là đáng ngờ.
Quy trình lọc bot cho hệ nhiều site
Lọc làm ở ba tầng: tầng biên (chặn bớt trước khi tới máy chủ), tầng thu thập (không ghi vào công cụ đo), tầng báo cáo (gắn cờ, loại khi tính). Nhóm nhỏ nên bắt đầu từ tầng báo cáo vì không sợ chặn nhầm người thật.
- Lập danh sách địa chỉ nội bộ cần loại: máy văn phòng, máy chủ chạy tác vụ định kỳ, dịch vụ giám sát, công cụ kiểm thử của người kỹ thuật.
- Bật tuỳ chọn loại bot đã biết trong công cụ phân tích nếu có. Tuỳ chọn này thường chỉ bắt bot tự khai tên, nên chưa đủ, nhưng là bước rẻ.
- Trong nhật ký máy chủ, tách lượt theo tác nhân người dùng thành ba nhóm: tự khai là bot, trình duyệt phổ biến, và nhóm lạ. Xem nhóm lạ bằng mắt một lần để thêm vào danh sách.
- Với lượt tự khai là máy thu thập của công cụ tìm kiếm lớn, xác minh bằng tra ngược tên máy theo hướng dẫn chính thức của công cụ đó; lượt giả danh thì xếp vào nhóm chép nội dung.
- Đặt quy tắc hành vi cho nhóm còn lại: quá nhiều trang trong một phút từ một địa chỉ, không bao giờ tải ảnh hay tệp giao diện, gọi tuần tự theo sơ đồ trang. Gắn cờ trước, quan sát một tuần, rồi mới chặn.
- Giới hạn tốc độ ở tầng biên cho các trang đắt (tìm kiếm nội bộ, trang lọc có tham số) thay vì chặn hẳn.
- Lưu danh sách lọc ở một kho chung cho mọi site, có ngày sửa, có người sửa. Mỗi tháng rà một lần.
Điểm dừng hợp lý: khi biểu đồ theo giờ của các site có lại nhịp ngày đêm rõ, và tỷ lệ lượt không tương tác về mức ổn định qua các tuần. Lọc thêm sau đó thường tốn công mà thay đổi kết luận rất ít.
Chặn hay chỉ loại khỏi báo cáo
Chặn ở tầng biên tiết kiệm tài nguyên máy chủ nhưng có hai rủi ro. Một là chặn nhầm người thật dùng mạng doanh nghiệp, mạng riêng ảo hoặc trình duyệt ít phổ biến; họ thấy trang lỗi và không quay lại. Hai là chặn nhầm máy thu thập của công cụ tìm kiếm, và hậu quả hiện ra chậm, vài tuần sau mới thấy bài mới không vào chỉ mục.
Loại khỏi báo cáo thì an toàn hơn: người thật vẫn đọc được, chỉ số liệu là sạch hơn. Nhược điểm là máy chủ vẫn phải phục vụ bot, và với máy chủ dùng chung nhiều site, một con bot quét mạnh vào một site có thể làm chậm cả hệ.
Quy tắc thực dụng: chặn hoặc giới hạn tốc độ những gì vừa tốn tài nguyên vừa không có ích (máy quét lỗ hổng, chương trình chép hàng loạt, lượt gọi trang tìm kiếm nội bộ dồn dập); chỉ loại khỏi báo cáo những gì vô hại hoặc có ích (máy thu thập của công cụ tìm kiếm, trình xem trước đường dẫn). Tệp chỉ dẫn cho máy thu thập chỉ được các bot lịch sự tôn trọng; đừng coi nó là hàng rào.
Riêng máy thu thập cho hệ AI, cho phép hay chặn là quyết định về chính sách nội dung của nhà xuất bản, cần bàn riêng, không nên để người kỹ thuật tự quyết trong lúc dọn số liệu.
Tính lại số cũ sau khi bật bộ lọc
Bật bộ lọc xong, nhóm thường gặp câu hỏi khó chịu: các báo cáo tháng trước, có khi đã gửi cho đối tác hay người góp vốn, giờ tính sao. Có ba cách, và nên chọn trước khi bật chứ không phải sau.
Cách thứ nhất là tính lại toàn bộ chuỗi cũ bằng bộ lọc mới, nếu còn dữ liệu thô. Đây là cách sạch nhất: biểu đồ liền mạch, so sánh cùng kỳ năm trước vẫn có nghĩa. Nó chỉ làm được khi nhật ký thô hoặc dữ liệu sự kiện chi tiết còn được giữ, nên chính sách lưu giữ quá ngắn sẽ chặn đường này.
Cách thứ hai là giữ nguyên số cũ, bắt đầu chuỗi mới từ ngày bật lọc, và chạy song song cả hai cách đếm trong một tháng để biết hệ số chênh. Ví dụ giả định: trong tháng chạy song song, số sau lọc của một site bằng khoảng bảy phần mười số trước lọc. Hệ số đó cho phép ước lượng lại các tháng cũ, ghi rõ là ước lượng.
Cách thứ ba, tệ nhất nhưng phổ biến nhất, là không làm gì: biểu đồ tụt một bậc, không ai ghi chú, và vài tháng sau người mới vào nhóm đọc thấy “site mất ba phần mười người đọc từ tháng X”. Nếu báo cáo đã gửi ra ngoài, gửi kèm một dòng giải thích ngắn ở kỳ kế tiếp: định nghĩa đã đổi, số cũ cao hơn vì lẫn lưu lượng tự động. Nói trước luôn rẻ hơn giải thích sau.
Sai lầm hay gặp khi lọc bot
Lọc khác nhau ở mỗi site. Site này loại giám sát, site kia không; khi đặt cạnh nhau trên bảng số, site kia trông “đông” hơn chỉ vì bẩn hơn. Bộ lọc phải là một bản chung.
Lọc rồi quên ghi ngày. Biểu đồ tụt một bậc sau ngày bật bộ lọc, và ba tháng sau có người hoảng vì tưởng site mất người đọc.
Coi tác nhân người dùng là bằng chứng. Chuỗi này do chương trình tự khai, ai cũng giả được. Tác nhân là manh mối, xác minh bằng địa chỉ và hành vi.
Chặn cả dải địa chỉ của nhà cung cấp đám mây lớn. Nhiều dịch vụ hợp lệ, kể cả trình đọc tin và công cụ của người đọc, chạy trên các dải đó. Chặn cả dải là chặn cả người dùng của các dịch vụ ấy.
Xoá dữ liệu gốc sau khi lọc. Giữ dữ liệu thô một thời gian theo chính sách lưu giữ, chỉ lọc ở bước tính. Khi bộ lọc sai, còn có cái để tính lại.
Hỏi đáp
Làm sao biết một lượt truy cập tự xưng là máy thu thập của công cụ tìm kiếm có thật không?
Các công cụ tìm kiếm lớn đều công bố cách xác minh, thường là tra ngược địa chỉ ra tên máy rồi tra xuôi tên máy ra lại đúng địa chỉ, hoặc so với danh sách dải địa chỉ họ công bố. Làm theo tài liệu chính thức của từng công cụ; đừng chỉ tin chuỗi tác nhân người dùng.
Bot có làm hỏng thứ hạng của site không?
Bot không trực tiếp làm giảm thứ hạng, nhưng có thể gây hại gián tiếp: làm máy chủ chậm khiến trang tải lâu hoặc lỗi lúc máy thu thập của công cụ tìm kiếm ghé, hoặc chép nội dung đăng nơi khác. Vì vậy cần giới hạn bot tốn tài nguyên, kể cả khi không quan tâm tới số liệu.
Bao nhiêu phần trăm bot là bình thường với site nội dung?
Không có tỷ lệ chuẩn đáng tin để so. Tỷ lệ phụ thuộc số trang, độ tuổi site, khuôn trang có mở trang tìm kiếm hay trang lọc không, và site có bị nhắm tới không. Thay vì so với một con số ngoài, theo dõi tỷ lệ của chính từng site qua thời gian và điều tra khi nó đổi đột ngột.
Có nên chặn máy thu thập của các hệ AI để giữ số liệu sạch không?
Hai việc nên tách riêng. Giữ số liệu sạch thì chỉ cần loại chúng khỏi báo cáo. Chặn hay cho phép là quyết định về việc nội dung của nhà xuất bản có được các hệ AI đọc và dùng hay không, cần cân nhắc lợi ích được dẫn nguồn và quyền với nội dung, rồi áp dụng nhất quán cho cả hệ.
Lượt giới thiệu rác là gì và có hại gì?
Đó là lượt truy cập giả, thường gửi thẳng vào công cụ phân tích, mang theo một nguồn giới thiệu lạ để người quản trị tò mò ghé thăm trang đó. Nó không hại máy chủ nhưng làm bẩn báo cáo nguồn truy cập. Lọc bằng cách chỉ nhận dữ liệu có tên máy chủ đúng của site và loại các nguồn giới thiệu đã biết là rác.
Site nhỏ vài chục bài có cần lọc bot không?
Có, thậm chí cần hơn. Site nhỏ có ít người đọc nên chỉ vài trăm lượt bot mỗi ngày đã đủ làm lệch mọi tỷ lệ. Việc tối thiểu là loại địa chỉ nội bộ và dịch vụ giám sát, bật tuỳ chọn loại bot đã biết, và xem biểu đồ theo giờ một lần mỗi tháng.
- lưu lượng bot
- lọc bot
- bot thu thập dữ liệu
- số liệu bị phồng
- bot truy cập website
- nhận diện bot
- traffic ảo
- trình thu thập ai
- giám sát uptime
- nhật ký truy cập