Zero and Seven · Hệ thương hiệu nội dung số

Giám sát hàng chục site nội dung: kiểm sống, kiểm đúng nội dung và cảnh báo vừa đủ

Cách giám sát hệ hàng chục site nội dung: ba tầng kiểm từ còn sống tới đúng nội dung, kiểm qua đường người đọc, gom cảnh báo theo nguyên nhân và nhịp tim tác vụ.

Vận hành nhiều siteĐăng 8 phút đọcNhóm biên tập 0n7

Giám sát hàng chục site nội dung cần ba tầng: kiểm sống (trang có trả lời không), kiểm đúng (trang trả lời có phải nội dung của chính site đó, đầy đủ, không lỗi ngầm) và kiểm đường đi (người đọc thật đi qua tên miền, chứng chỉ, chuyển hướng có trơn tru không). Cảnh báo gửi đi phải được gom theo nguyên nhân chung, để khi một máy chủ chết người trực nhận một tin chứ không phải ba mươi.

Giám sát một website đơn lẻ thường dừng ở tầng một: gọi trang chủ năm phút một lần, không trả lời thì báo. Với hệ nhiều site chung mã, chung máy, tầng một bỏ sót những lỗi đặc trưng nhất của hệ: site trả mã thành công nhưng hiện nội dung của site khác, trang trắng có mã thành công, hay chứng chỉ ở máy chủ gốc là chứng chỉ tự ký mà người đọc không thấy chỉ vì có lớp phân phối nội dung che phía trước.

Ba tầng kiểm: mỗi tầng bắt được gì, bỏ sót gì

Mỗi tầng kiểm có giá trị riêng và có điểm mù riêng. Đặt cạnh nhau giúp thấy vì sao chỉ một tầng là không đủ.

TầngCách kiểmBắt đượcBỏ sót
Kiểm sốngGọi trang, xem mã trả về và thời gian phản hồiMáy chủ chết, lỗi máy chủ, quá chậmTrang trắng có mã thành công, nội dung sai site, trang lỗi được trình bày đẹp
Kiểm đúng nội dungTìm một chuỗi dấu hiệu riêng của từng site trong trang trả về, kiểm độ dài trangNội dung lẫn site, trang trắng, khuôn hỏng làm mất phần thân bàiLỗi chỉ xảy ra với người đã đăng nhập, lỗi ở trang ít ai mở
Kiểm đường điGọi qua tên miền thật, kiểm chứng chỉ, kiểm chuyển hướng giữa có và không có tiền tố, giữa giao thức thường và bảo mậtChứng chỉ sắp hết hạn, vòng chuyển hướng, cổng không mã hoá vẫn trả nội dungLỗi bên trong máy chủ khi lớp phân phối đang trả bản đệm
Nhịp tim tác vụTác vụ định kỳ ghi dấu khi chạy xong, giám sát báo khi dấu quá cũSao lưu không chạy, tác vụ đăng bài hẹn giờ ngừngTác vụ chạy nhưng làm sai

Dòng cuối thường bị quên vì tác vụ định kỳ không có trang nào để gọi. Nhưng chính những tác vụ này hỏng im lặng lâu nhất: lệnh sao lưu đêm dừng sau một lần đổi mật khẩu, hay tác vụ dọn đệm không còn chạy từ khi chuyển máy. Mỗi tác vụ quan trọng nên ghi một dấu thời gian khi xong, và giám sát chỉ cần kiểm dấu đó có cũ hơn chu kỳ của tác vụ hay không.

Kiểm đúng nội dung: chuỗi dấu hiệu cho từng site

Cách rẻ nhất để biết trang trả về đúng là chọn cho mỗi site một chuỗi chỉ site đó có, rồi kiểm chuỗi đó có mặt trong trang. Chuỗi tốt là thứ nằm trong phần thân được sinh từ dữ liệu, không nằm trong phần khuôn cố định: ví dụ tên chuyên mục đặc trưng của site, hay một dòng mô tả chỉ site đó dùng. Nếu chọn tên site trong thẻ tiêu đề, trang hiện danh sách bài của site khác vẫn qua kiểm vì khuôn vẫn đúng tên.

Kèm theo là kiểm độ dài: trang chủ của một site kiến thức có độ dài khá ổn định. Trang trả về ngắn bất thường so với bình thường thường là khuôn đã sinh nhưng phần thân lỗi giữa chừng. Ngưỡng nên đặt rộng, ví dụ giả định dưới một nửa độ dài trung bình của tuần trước, để không báo mỗi khi trang chủ bớt một bài.

Với hệ có nhiều site cùng một khuôn, nên kiểm thêm một trang bài và một trang chuyên mục cho mỗi site, không chỉ trang chủ. Chọn trang bài cố định, ít khi sửa, để chuỗi dấu hiệu không đổi theo nội dung. Lỗi ở hàm dựng trang bài không làm hỏng trang chủ, và ngược lại. Ba trang mỗi site, ba mươi site, mười phút một lần, vẫn là lượng yêu cầu rất nhỏ so với người đọc thật, nên không cần tiết kiệm ở đây.

Kiểm qua đường người đọc, không qua lối tắt

Người vận hành hay kiểm bằng cách gọi thẳng vào địa chỉ máy chủ, bỏ qua lớp phân phối nội dung, và bỏ kiểm chứng chỉ cho tiện. Cách này hữu ích khi muốn cô lập máy chủ, nhưng nó không phải đường người đọc đi, và nó che hai nhóm lỗi hay gặp.

Nhóm thứ nhất là chứng chỉ ở máy chủ gốc. Khi lớp phân phối cấp chứng chỉ ở biên, người đọc thấy biểu tượng khoá bình thường dù máy chủ gốc đang dùng chứng chỉ tự ký hoặc đã hết hạn. Mọi thứ ổn cho tới ngày ai đó đổi chế độ kết nối giữa biên và gốc sang kiểm chứng chỉ nghiêm ngặt, và cả loạt site ngừng cùng lúc. Nhóm thứ hai là cổng không mã hoá: một số tên miền vẫn trả nội dung đầy đủ qua giao thức thường thay vì chuyển hướng sang giao thức bảo mật. Kiểm thẳng vào máy chủ không bao giờ thấy điều này vì người kiểm chỉ gọi cổng bảo mật.

Vì vậy bộ giám sát nên có hai loại kiểm tách rõ tên: kiểm qua đường người đọc (tên miền thật, có kiểm chứng chỉ, có đi theo chuyển hướng) để biết người đọc thấy gì, và kiểm thẳng vào gốc để khoanh vùng khi có lỗi. Khi báo cáo kết quả, ghi rõ đang đo đường nào. Một dòng "trang trả lời bình thường" không nói được gì nếu không biết nó đi đường nào.

Cảnh báo vừa đủ: gom theo nguyên nhân

Một nguyên nhân, một cảnh báo. Máy chủ chết thì ba mươi site cùng không trả lời. Nếu mỗi site gửi một tin, người trực nhận ba mươi tin trong một phút và phải tự suy ra chúng cùng nguyên nhân. Bộ giám sát nên biết site nào nằm trên máy nào, và khi đa số site của một máy cùng lỗi thì gửi một tin về máy đó.

Xác nhận trước khi báo. Một lần gọi thất bại có thể do mạng chập chờn. Báo sau hai ba lần thất bại liên tiếp, hoặc khi kiểm từ hai điểm khác nhau cùng thấy lỗi. Đổi lại, cảnh báo đến trễ vài phút nhưng đáng tin.

Phân mức rõ ràng. Mức khẩn: site không phục vụ được người đọc, nội dung sai site, chứng chỉ hết hạn. Mức cần xử lý trong ngày: chậm bất thường, chứng chỉ còn dưới hai tuần, sao lưu thiếu một site. Mức tổng hợp tuần: những thứ cần biết nhưng không cần hành động ngay. Chỉ mức khẩn được phép đánh thức người trực.

Báo cả lúc hồi phục. Tin "đã trở lại bình thường" giúp người trực biết sự cố tự hết hay vẫn đang kéo dài, và cho dữ liệu về thời gian gián đoạn để ghi vào biên bản.

Cảnh báo nào bị phớt lờ ba lần thì sửa hoặc bỏ. Mệt mỏi vì cảnh báo là con đường ngắn nhất tới việc bỏ lỡ cảnh báo thật. Mỗi tháng xem lại: cảnh báo nào đã kêu mà không ai làm gì, vì sao. Hoặc ngưỡng sai, hoặc cảnh báo không cần thiết.

Một bảng tổng cho người không trực kỹ thuật

Cảnh báo dành cho người trực. Chủ hệ và biên tập viên cần thứ khác: một trang nhìn vào là biết hôm nay hệ ra sao, không phải đọc luồng tin nhắn. Bảng tổng tốt cho hệ nhiều site thường chỉ có vài con số ở đầu: bao nhiêu site đang ổn, bao nhiêu đang lỗi, bao nhiêu chứng chỉ sắp hết hạn, bao nhiêu tác vụ định kỳ quá hạn. Bên dưới là danh sách site, mỗi dòng một trạng thái.

Nguyên tắc đáng giữ là mỗi con số phải bấm được. Con số "ba site lỗi" mà không mở ra được danh sách ba site đó là con số chết: người xem thấy có vấn đề nhưng không lần ra được tên nào gây ra, và phải đi hỏi người trực. Cũng vậy với "năm chứng chỉ sắp hết hạn" hay "hai tác vụ quá hạn". Cách chắc là cho mọi con số đi qua cùng một hàm hiển thị luôn kèm liên kết tới danh sách lọc, thay vì nhớ thêm liên kết từng chỗ.

Danh sách dài thì phân trang chứ không cắt. Bảng tổng cắt ở năm mươi dòng đầu khi hệ có tám mươi site là giấu mất ba mươi site mà người xem không biết. Cuối cùng, bảng tổng nên ghi giờ cập nhật gần nhất ở chỗ dễ thấy. Một bảng toàn màu xanh nhưng cập nhật lần cuối từ hôm qua không nói được gì về hôm nay. Nếu bộ giám sát ngừng chạy, bảng phải chuyển sang trạng thái báo lỗi chứ không giữ nguyên màu xanh cũ.

Dựng giám sát cho hệ từ con số không

Nếu hệ chưa có gì, đừng cố dựng đủ mọi tầng trong một tuần. Thứ tự sau cho giá trị sớm nhất.

  1. Lập danh sách site: tên miền, máy chủ, chuỗi dấu hiệu, người phụ trách. Đây cũng là nguồn cho bộ gom cảnh báo.
  2. Bật kiểm sống cho trang chủ mọi site qua đường người đọc, báo sau hai lần lỗi liên tiếp.
  3. Thêm kiểm đúng nội dung bằng chuỗi dấu hiệu, trang chủ trước, trang bài sau.
  4. Thêm kiểm chứng chỉ: số ngày còn lại của chứng chỉ ở biên, và nếu có thể, của chứng chỉ ở máy chủ gốc.
  5. Gắn nhịp tim cho tác vụ sao lưu, rồi tới các tác vụ định kỳ khác.
  6. Thêm gom cảnh báo theo máy chủ khi đã có trên mười site.
  7. Sau một tháng, xem lại mọi cảnh báo đã gửi, chỉnh ngưỡng.

Điểm dừng hợp lý cho nhóm nhỏ là sau bước năm. Từ đó trở đi, mỗi phép kiểm mới nên được thêm vì một sự cố đã xảy ra mà giám sát không bắt được, không phải vì công cụ có sẵn tính năng.

Sai lầm hay gặp

Những lỗi dưới đây không làm giám sát ngừng chạy, chúng làm giám sát nói dối, và đó là kiểu hỏng nguy hiểm hơn.

  • Phép kiểm trả "sạch" khi không kiểm được gì. Danh sách site đọc lỗi thành rỗng, vòng kiểm chạy không lần nào, kết quả báo không có lỗi. Mọi phép kiểm phải báo số lượng đã kiểm, và số đó bằng không thì là lỗi.
  • Kiểm từ chính máy chủ đang được kiểm. Máy chết thì bộ kiểm cũng chết, không ai báo. Bộ giám sát phải chạy ở máy khác, tốt nhất ở mạng khác.
  • Gọi địa chỉ nội bộ của máy. Gọi vào địa chỉ vòng lặp của máy chủ thường rơi vào khối cấu hình mặc định của hệ thống, trả trang lỗi giả hoặc trang trống, không phản ánh site nào.
  • Không ai nhận cảnh báo cuối tuần. Giám sát chỉ có giá trị khi có người đọc kết quả. Ghi rõ lịch trực, kể cả khi lịch đó chỉ là "chủ hệ xem điện thoại hai lần mỗi ngày nghỉ".
  • Đo hiệu năng bằng yêu cầu không nén. Công cụ dòng lệnh mặc định không xin bản nén, nhận về trang lớn hơn nhiều lần so với trình duyệt, và cho số đo thời gian tải sai lệch.

Hỏi đáp

Kiểm mỗi bao lâu một lần là hợp lý?

Với site kiến thức, năm phút một lần cho kiểm sống và kiểm nội dung trang chủ là mức phổ biến; trang bài và trang chuyên mục có thể mười lăm phút. Kiểm chứng chỉ mỗi ngày một lần là đủ. Kiểm dày hơn không làm sự cố ngắn đi nếu không có người phản ứng nhanh hơn.

Có nên tự viết kịch bản giám sát hay dùng dịch vụ có sẵn?

Dịch vụ có sẵn lo phần kiểm từ nhiều nơi và gửi cảnh báo, rất hợp cho tầng kiểm sống và chứng chỉ. Kiểm đúng nội dung theo chuỗi riêng và gom theo máy chủ thường phải tự cấu hình thêm. Nhiều nhóm kết hợp: dịch vụ bên ngoài cho tầng một, kịch bản tự viết cho phần đặc thù của hệ.

Làm sao biết site chậm do mình hay do máy chủ quá tải chung?

So thời gian xử lý phía máy chủ với thời gian tổng mà người đọc chờ. Nếu thời gian xử lý mã của site không đổi mà thời gian tổng tăng, nguyên nhân nằm ở tài nguyên chung hoặc mạng. Ghi cả tải hệ thống của máy vào bảng giám sát để đối chiếu.

Có cần giám sát trang quản trị không?

Có, ở mức nhẹ. Trang quản trị hỏng không ảnh hưởng người đọc ngay, nhưng làm biên tập viên không đăng được bài. Một phép kiểm trang đăng nhập quản trị có trả lời đúng hay không, mỗi giờ một lần, là đủ để biết trước khi người viết phải báo.

Giám sát có làm phồng số liệu người đọc không?

Có thể, nếu yêu cầu kiểm đi vào hệ thống đo lường như người đọc thật. Đặt cho bộ kiểm một chuỗi nhận diện riêng và lọc chuỗi đó khỏi số liệu, hoặc gọi những trang không gắn mã đo. Đừng để số liệu người đọc của site nhỏ bị chính bộ giám sát chiếm phần lớn.

  • giám sát nhiều website
  • kiểm tra site còn sống
  • cảnh báo sự cố
  • uptime nhiều site
  • kiểm tra nội dung trang
  • giám sát chứng chỉ
  • nhịp tim tác vụ
  • mệt mỏi cảnh báo
  • vận hành hệ site nội dung