Đếm người đọc bằng nhật ký máy chủ: làm được gì khi không gắn mã theo dõi
Nhật ký máy chủ đếm được lượt đọc, nguồn tới và cả dấu hiệu đọc hết bài mà không cần mã theo dõi. Quy tắc lọc, bẫy bộ đệm và proxy, giới hạn cần biết.
Nhật ký máy chủ đếm được khá nhiều thứ về người đọc mà không cần gắn đoạn mã theo dõi nào: trang nào được tải, khi nào, từ nguồn giới thiệu nào, bằng loại thiết bị gì, và qua các tệp phụ được tải kèm, cả việc người đọc có cuộn tới cuối bài hay không. Nó không cho biết thời gian đọc chính xác, không nhận ra một người quay lại bằng thiết bị khác, và bỏ sót mọi lượt đọc được phục vụ từ bộ đệm phía trước máy chủ.
Với hệ nhiều site, nhật ký có hai lợi thế. Mọi site đều có sẵn, cùng định dạng, nên so sánh được ngay mà không phải gắn mã cho từng site. Và nó không phụ thuộc trình duyệt của người đọc, nên không bị trình chặn quảng cáo làm mất số. Cái giá là phải tự lọc bot và tự định nghĩa lượt đọc. Phần dưới đi qua những gì nhật ký ghi, quy tắc biến dòng nhật ký thành lượt đọc, và những bẫy khiến phép đếm sai mà không ai hay.
Một dòng nhật ký truy cập ghi những gì
Định dạng phổ biến của các máy chủ web ghi mỗi yêu cầu thành một dòng gồm: địa chỉ của bên gửi yêu cầu, thời điểm, phương thức và đường dẫn được yêu cầu, mã trạng thái trả về, số byte gửi đi, trang giới thiệu (trang mà người đọc đứng trước khi bấm sang), và chuỗi tác nhân người dùng do trình duyệt tự khai. Tuỳ cấu hình, có thể thêm tên miền được gọi, thời gian xử lý, địa chỉ thật của người đọc khi đi qua lớp trung gian.
Điều cần hiểu: nhật ký ghi yêu cầu, không ghi trang. Một lần người đọc mở bài sinh ra một yêu cầu cho trang HTML và hàng chục yêu cầu cho ảnh, tệp giao diện, phông chữ, mã chạy. Nếu đếm mọi dòng, một lượt đọc thành ba mươi “lượt”. Phép đếm đầu tiên luôn là giữ lại các yêu cầu trang HTML, bỏ phần còn lại, nhưng đừng vứt phần còn lại đi, vì chính các tệp phụ đó là bằng chứng có trình duyệt thật đứng sau.
Trên máy chủ chạy nhiều site, mỗi site thường có tệp nhật ký riêng hoặc có trường tên miền để tách. Kiểm cấu hình trước: nếu mọi site ghi chung một tệp mà thiếu trường tên miền, các trang cùng đường dẫn như trang giới thiệu hay trang liên hệ của hai mươi site sẽ trộn vào nhau và không tách lại được.
Từ dòng nhật ký tới lượt đọc: bộ quy tắc lọc
Bộ quy tắc dưới đây biến nhật ký thô thành số lượt đọc tương đối sạch. Thứ tự có ý nghĩa: các bước đầu loại nhiều dòng nhất với ít rủi ro nhất.
- Chỉ giữ yêu cầu phương thức lấy trang thông thường; bỏ các yêu cầu chỉ hỏi phần đầu trang (thường là công cụ giám sát và kiểm liên kết).
- Chỉ giữ mã trạng thái thành công; lượt chuyển hướng tính ở trang đích, lượt lỗi đếm riêng để sửa lỗi.
- Chỉ giữ đường dẫn của trang bài viết theo mẫu đường dẫn của site; trang chủ, chuyên mục, tìm kiếm đếm riêng.
- Loại theo danh sách tác nhân người dùng là bot và danh sách địa chỉ nội bộ, dùng chung bản với bộ lọc của cả hệ.
- Loại các địa chỉ không bao giờ tải tệp phụ của trang trong cùng phút. Trình duyệt thật gần như luôn tải tệp giao diện hoặc ảnh; chương trình chép thường chỉ lấy HTML.
- Gộp các yêu cầu cùng địa chỉ, cùng tác nhân, cùng trang trong một khoảng ngắn thành một lượt, để tải lại trang không bị đếm hai lần.
- Ghi kết quả theo ngày, theo site, theo bài vào một bảng tổng hợp; chỉ bảng tổng hợp đi vào báo cáo, nhật ký thô ở lại máy chủ.
Quy tắc thứ năm là quy tắc làm sạch mạnh nhất và cũng dễ sai nhất khi site dùng bộ đệm cho tệp phụ: nếu ảnh và tệp giao diện được phục vụ từ nơi khác, nhật ký máy chủ chính không thấy chúng. Khi đó phải bỏ quy tắc này hoặc ghép nhật ký từ nơi phục vụ tệp phụ.
Tín hiệu “đọc thật” ẩn trong nhật ký
Nhiều người nghĩ nhật ký chỉ đếm được lượt tải. Thực ra khuôn trang có thể được thiết kế để nhật ký kể thêm. Cách đơn giản nhất là tải ảnh theo kiểu trì hoãn: ảnh chỉ được trình duyệt yêu cầu khi người đọc cuộn gần tới nó. Nếu bài có một ảnh minh hoạ ở khoảng hai phần ba thân bài, mỗi lần ảnh đó được yêu cầu là một lần có người cuộn tới đó. Chia số lần tải ảnh này cho số lượt tải trang, nhóm biên tập có một tỷ lệ cuộn sâu thô mà không cần mã đo nào.
Tín hiệu thứ hai là trang giới thiệu nội bộ. Khi người đọc bấm từ bài này sang bài khác trong cùng site, dòng nhật ký của bài thứ hai ghi bài thứ nhất làm trang giới thiệu. Đếm các cặp này cho biết bài nào dẫn người đọc đi tiếp, bài nào là điểm cuối. Với hệ nhiều site, cặp giới thiệu chéo giữa các site anh em cho biết liên kết qua lại có được người đọc dùng thật hay chỉ nằm đó.
Tín hiệu thứ ba là khoảng cách thời gian giữa hai trang của cùng một địa chỉ và tác nhân. Không chính xác như thời gian tương tác, nhưng đủ để phân biệt người mở năm bài trong một phút (đang lướt tìm) với người mở bài thứ hai sau tám phút (đã đọc bài đầu).
Cả ba tín hiệu đều là ước lượng. Ghi rõ là ước lượng từ nhật ký trong báo cáo, và đừng đặt cạnh số từ mã đo trên trang như thể cùng một thước.
Nhật ký trả lời được gì, không trả lời được gì
Trước khi quyết định có gắn mã đo hay không, đối chiếu câu hỏi của nhóm với bảng sau.
| Câu hỏi | Nhật ký máy chủ | Ghi chú |
|---|---|---|
| Bài nào được tải nhiều nhất trong tháng? | Được, sau khi lọc bot | Đủ dùng cho xếp hạng bài trong một site |
| Người đọc tới từ đâu? | Một phần | Trang giới thiệu thường bị cắt còn tên miền, và ứng dụng di động hay không gửi |
| Người đọc có cuộn tới cuối bài? | Ước lượng được | Cần ảnh tải trì hoãn ở vị trí phù hợp |
| Người đọc ở lại bao lâu? | Rất thô | Chỉ đoán được qua khoảng cách giữa hai trang; bài cuối cùng không đo được |
| Bao nhiêu người quay lại trong tháng? | Kém | Địa chỉ thay đổi, nhiều người chung một địa chỉ; chỉ dùng làm xu hướng |
| Lỗi nào người đọc đang gặp? | Rất tốt | Mã lỗi và đường dẫn hỏng hiện rõ, mã đo trên trang không thấy được |
| Bot nào đang ghé, ghé bao nhiêu? | Rất tốt | Đây là thế mạnh riêng của nhật ký |
Nếu phần lớn câu hỏi của nhóm nằm ở các dòng “được” và “rất tốt”, nhật ký là đủ, và nhóm tránh được việc gắn mã theo dõi lên mọi trang của hai mươi site.
Bẫy lớn nhất: bộ đệm và lớp trung gian phía trước máy chủ
Hệ nhiều site thường đặt một mạng phân phối nội dung hoặc một lớp proxy trước máy chủ để chịu tải và cấp chứng chỉ. Lớp này gây hai sai lệch mà người đọc nhật ký hay bỏ qua.
Sai lệch thứ nhất là địa chỉ. Máy chủ thấy địa chỉ của lớp trung gian, không phải của người đọc. Nếu cấu hình nhật ký chưa ghi trường chứa địa chỉ thật do lớp trung gian chuyển kèm, mọi lượt truy cập trông như đến từ vài chục địa chỉ, bộ lọc theo địa chỉ mất tác dụng và phép gộp lượt sai hoàn toàn. Kiểm bằng cách mở một trang từ mạng di động của mình rồi tìm dòng tương ứng: địa chỉ ghi lại có phải của điện thoại không.
Sai lệch thứ hai là bộ đệm. Nếu lớp trung gian lưu sẵn trang HTML và trả cho người đọc mà không hỏi máy chủ, những lượt đó không bao giờ có trong nhật ký máy chủ. Bài càng được đọc nhiều càng dễ nằm trong bộ đệm, nên nhật ký đếm thiếu đúng những bài phổ biến nhất. Có hai cách: lấy nhật ký từ chính lớp trung gian nếu dịch vụ cho phép, hoặc chỉ đệm tệp phụ còn trang HTML luôn đi qua máy chủ. Cách nào cũng phải ghi vào sổ cấu hình để người sau biết số đang được đếm ở tầng nào.
Tình huống điển hình: một site trong hệ bật đệm toàn trang để chịu một đợt chia sẻ lớn, sau đó quên tắt. Biểu đồ nhật ký của site đó tụt mạnh đúng lúc người đọc đông nhất, và cuộc họp tháng kết luận ngược hoàn toàn với thực tế.
Lưu giữ nhật ký có trách nhiệm
Nhật ký chứa địa chỉ mạng, trong nhiều trường hợp được coi là dữ liệu cá nhân. Đếm người đọc không cần giữ chúng lâu.
- Đặt thời hạn giữ nhật ký thô ngắn và ghi vào chính sách nội bộ; sau thời hạn chỉ còn bảng tổng hợp.
- Rút gọn địa chỉ (bỏ phần cuối) trước khi đưa vào bảng tổng hợp, vì phép đếm theo bài không cần địa chỉ đầy đủ.
- Không gom nhật ký của hai mươi site vào một kho rồi ghép theo địa chỉ để vẽ hành trình người đọc qua các site anh em; việc đó biến phép đếm thành theo dõi.
- Giới hạn người được đọc nhật ký thô: người kỹ thuật cần, biên tập viên chỉ cần bảng tổng hợp.
- Ghi trong chính sách riêng tư của từng site rằng máy chủ lưu nhật ký truy cập cho mục đích vận hành và thống kê, giữ trong thời hạn nào.
Mức chi tiết pháp lý tuỳ quy định hiện hành về dữ liệu cá nhân; khi lập chính sách lưu giữ, kiểm văn bản gốc hoặc hỏi người có chuyên môn pháp lý.
Khi nào nên gắn thêm mã đo trên trang
Khi câu hỏi chính là thời gian đọc. Nếu nhóm cần biết bài dài có được đọc trọn hay không ở mức đủ tin để quyết định viết lại, khoảng cách giữa hai trang trong nhật ký là quá thô. Mã đo đếm thời gian khi trang thật sự hiện trước mắt người đọc là công cụ đúng cho câu hỏi này.
Khi phần lớn trang được phục vụ từ bộ đệm. Nếu không lấy được nhật ký ở lớp trung gian và không muốn bỏ đệm trang HTML, nhật ký máy chủ đếm thiếu một cách có hệ thống. Một đoạn mã đo nhỏ chạy ở trình duyệt không bị bộ đệm làm mất.
Khi cần đo tương tác cụ thể. Bấm mở mục lục, bấm vào bảng, gửi biểu mẫu câu hỏi, sao chép đoạn văn: các hành động này không sinh yêu cầu tới máy chủ hoặc sinh yêu cầu khó nhận ra trong nhật ký.
Khi chưa nên gắn. Khi nhóm chưa có định nghĩa lượt đọc, chưa có bộ lọc bot chung, và chưa ai đọc báo cáo hằng tháng. Gắn mã lúc đó chỉ sinh thêm một nguồn số liệu chênh với nhật ký, thêm một dòng trong chính sách riêng tư và thêm việc xin đồng ý của người đọc ở những nơi quy định đòi hỏi.
Nếu gắn, gắn tối giản. Chọn loại mã đo không đặt mã định danh lâu dài, chỉ đo các sự kiện đã liệt kê sẵn, cùng một cấu hình cho mọi site. Nhật ký vẫn giữ vai trò đếm lỗi và đếm bot, thứ mã đo trên trang không làm được.
Hỏi đáp
Nhật ký máy chủ và mã đo trên trang cho hai con số khác nhau, tin cái nào?
Không cái nào là “đúng”, vì chúng đếm ở hai chỗ khác nhau. Nhật ký thường cao hơn vì còn bot, mã đo thường thấp hơn vì bị chặn và vì người thoát trước khi mã chạy. Chọn một nguồn làm chuẩn cho từng loại câu hỏi, ghi rõ, và theo dõi khoảng chênh giữa hai nguồn như một chỉ báo.
Máy chủ dùng chung nhiều site thì có đọc được nhật ký riêng của từng site không?
Thường được, vì máy chủ web hay ghi nhật ký riêng theo từng tên miền, hoặc có trường tên miền trong mỗi dòng. Nếu là gói dùng chung do bảng điều khiển quản lý, nhật ký thường nằm trong thư mục của từng tài khoản và được nén theo kỳ. Kiểm cấu hình một lần và ghi lại đường dẫn cho mọi site.
Có công cụ nào đọc nhật ký sẵn không, hay phải tự viết?
Có nhiều chương trình mã nguồn mở và dịch vụ đọc được định dạng nhật ký phổ biến và vẽ báo cáo. Chúng giúp bắt đầu nhanh, nhưng bộ lọc bot mặc định thường lỏng. Dù dùng công cụ nào, vẫn cần áp bộ lọc chung của hệ và định nghĩa lượt đọc riêng thì số các site mới so được với nhau.
Tải ảnh trì hoãn để đo cuộn có làm chậm trang không?
Ngược lại, tải trì hoãn thường giúp trang hiện nhanh hơn vì ảnh xa không được tải ngay. Chỉ cần đặt kích thước khung ảnh sẵn để trang không bị nhảy khi ảnh hiện ra. Việc đo chỉ là tận dụng một yêu cầu vốn sẽ xảy ra, không thêm yêu cầu nào.
Nhật ký có cho biết người đọc dùng điện thoại hay máy tính không?
Có, ở mức ước lượng, qua chuỗi tác nhân người dùng. Phần lớn trình duyệt khai rõ là thiết bị di động hay không. Tỷ lệ này hữu ích khi quyết định ưu tiên thiết kế trang đọc, nhưng nên làm tròn và xem theo xu hướng, vì chuỗi tác nhân ngày càng được trình duyệt rút gọn.
Nên giữ nhật ký thô trong bao lâu?
Đủ lâu để tính lại bảng tổng hợp khi phát hiện bộ lọc sai, thường là vài tuần đến vài tháng tuỳ nhịp rà soát của nhóm, và không lâu hơn mức cần. Con số cụ thể do nhà xuất bản quyết định, ghi trong chính sách nội bộ và chính sách riêng tư, đối chiếu với quy định hiện hành.
- nhật ký máy chủ
- access log
- đếm người đọc
- phân tích log
- không dùng mã theo dõi
- đo lường không cookie
- log nginx apache
- lượt đọc thật
- bộ đệm cdn
- phân tích phía máy chủ