Zero and Seven · Hệ thương hiệu nội dung số

Xử lý sự cố trên hệ nhiều site: khoanh vùng, khôi phục và biên bản sau sự cố

Quy trình xử lý sự cố cho hệ nhiều site: ba câu hỏi khoanh vùng, khôi phục trước rồi mới tìm nguyên nhân, chia vai khi trực và viết biên bản không đổ lỗi.

Vận hành nhiều siteĐăng 8 phút đọcNhóm biên tập 0n7

Xử lý sự cố trên hệ nhiều site đi theo ba bước: khoanh vùng (một site hay nhiều site, một máy hay nhiều máy, từ lúc nào), khôi phục (đưa người đọc về trạng thái dùng được, thường bằng quay lui chứ không bằng sửa tại chỗ), rồi mới tìm nguyên nhân và viết biên bản. Đảo thứ tự, tìm nguyên nhân trước khi khôi phục, là cách phổ biến nhất để biến sự cố mười phút thành sự cố hai giờ.

Hệ nhiều site có lợi thế riêng khi khoanh vùng: có rất nhiều điểm so sánh. Site hỏng khác site không hỏng ở điểm nào thì nguyên nhân thường nằm ở điểm đó. Bài này đi qua cách tận dụng lợi thế đó, khung quyết định quay lui, và cách viết biên bản để sự cố không lặp lại.

Ba câu hỏi khoanh vùng và điều mỗi câu trả lời gợi ra

Ba câu hỏi đầu tiên luôn giống nhau, và mỗi tổ hợp câu trả lời trỏ tới một tầng nghi vấn.

Câu trả lờiGợi ý tầng nghi vấnKiểm tiếp gì
Một site, các site khác cùng máy bình thườngDữ liệu, cấu hình hoặc mã riêng của site đóThay đổi gần nhất của riêng site: bài nhập hàng loạt, cấu hình, ghi đè giao diện
Mọi site chung mã, trên nhiều máyLần đẩy mã gần nhấtNhật ký triển khai; quay lui ngay nếu khớp thời gian
Mọi site trên một máy, các máy khác bình thườngTài nguyên máy: đĩa, bộ nhớ, dịch vụ chung, hàng xóm ồnTải hệ thống, dung lượng đĩa, tiến trình nặng nhất
Mọi site qua một lớp biên hay một nơi quản bản ghiTầng biên hoặc tên miềnGọi thẳng vào máy chủ gốc; nếu bình thường thì lỗi ở biên
Chỉ một nhóm người đọc, ví dụ một nhà mạng hay một vùngMạng hoặc biên ở vùng đóKiểm từ nhiều điểm khác nhau

Câu hỏi thứ ba, "từ lúc nào", thường quyết định nhanh nhất. Đặt mốc bắt đầu sự cố cạnh nhật ký triển khai, lịch chạy tự động và nhật ký thay đổi cấu hình. Phần lớn sự cố khớp với một thay đổi do chính nhóm làm trong vài giờ trước đó.

Khôi phục trước, tìm nguyên nhân sau

Khi người đọc đang thấy trang lỗi, mục tiêu duy nhất là để họ thấy trang dùng được, càng sớm càng tốt. Cám dỗ lớn nhất với người kỹ thuật là mở nhật ký ra tìm dòng lỗi, hiểu cho ra, rồi sửa tận gốc. Việc đó đúng, nhưng sai thời điểm. Nếu sự cố khớp thời gian với một lần đẩy, quay lui lần đẩy đó trước, rồi tìm hiểu trên bản thử khi người đọc đã yên.

Lý do không chỉ là thời gian. Sửa tại chỗ dưới áp lực là lúc dễ gây lỗi thứ hai nhất: sửa vội trên máy chủ, quên kéo về kho mã, lần đẩy sau xoá mất bản sửa hoặc đè lại lỗi cũ. Quay lui là thao tác đã biết trước kết quả, sửa tại chỗ thì không.

Có những sự cố không quay lui được vì không do thay đổi của nhóm: đĩa đầy, chứng chỉ hết hạn, bot tấn công. Khi đó khôi phục nghĩa là biện pháp tạm cho tác dụng nhanh: dọn nhật ký cũ để giải phóng đĩa, cấp tạm chứng chỉ, chặn đường dẫn bị tấn công. Ghi lại mọi biện pháp tạm, vì biện pháp tạm không được ghi lại thường trở thành cấu hình vĩnh viễn không ai hiểu.

Khung quyết định quay lui

Quay lui ngay, không cần bàn. Site trả trang lỗi hoặc trang trắng, site hiện nội dung của site khác, trang quản trị không lưu được bài, và sự cố bắt đầu trong vòng vài giờ sau một lần đẩy. Những tình huống này được định trước để người trực không phải đánh thức ai hỏi ý kiến.

Cân nhắc, thường quay lui. Lỗi chỉ ở một tính năng phụ, nhưng không biết sửa mất bao lâu. Nếu bản đẩy có nhiều thay đổi khác cần giữ, có thể tắt riêng tính năng bằng cờ thay vì quay lui cả bản.

Không quay lui. Bản đẩy có thay đổi cấu trúc cơ sở dữ liệu theo kiểu không đảo ngược được, và dữ liệu mới đã được ghi. Quay lui mã lúc này có thể làm mã cũ ghi sai vào cấu trúc mới. Phải sửa tiến lên, và đây là lý do thay đổi cấu trúc nên luôn theo kiểu cộng thêm.

Không chắc thì hỏi một câu. Quay lui có làm mất dữ liệu người đọc hay bài đã đăng sau thời điểm đẩy không? Nếu không, quay lui.

Vai trò khi có hơn một người

Nhóm nhỏ thường xử lý sự cố bằng cách mọi người cùng nhảy vào, mỗi người thử một hướng. Kết quả là hai người cùng sửa một tệp, một người quay lui trong khi người kia đang đẩy bản sửa, và không ai nắm được hệ đang ở trạng thái nào. Với sự cố kéo dài hơn vài phút, chia vai giúp ích ngay cả khi chỉ có hai ba người.

Vai thứ nhất là người chỉ huy: quyết định làm gì tiếp theo, ai làm, và là người duy nhất được ra lệnh thay đổi trên máy chủ. Vai thứ hai là người thao tác: thực hiện lệnh, báo kết quả. Vai thứ ba là người ghi chép và liên lạc: ghi dòng thời gian (mấy giờ thấy gì, làm gì, kết quả gì), báo cho biên tập viên và chủ hệ. Một người có thể kiêm hai vai, nhưng vai chỉ huy và vai ghi chép không nên bỏ trống.

Dòng thời gian ghi trong lúc sự cố là tài sản quý nhất cho biên bản sau này. Nhớ lại sau khi xong luôn thiếu và sai thứ tự, đặc biệt là những hướng đã thử mà không ra kết quả, trong khi chính những hướng đó cho thấy hệ khó chẩn đoán ở đâu.

Viết biên bản sau sự cố

Biên bản viết trong vòng vài ngày, khi chi tiết còn nhớ. Mục đích là để sự cố không lặp lại, không phải để tìm người chịu lỗi.

  1. Tóm tắt một đoạn: chuyện gì xảy ra, ảnh hưởng tới bao nhiêu site và người đọc, kéo dài bao lâu.
  2. Dòng thời gian từ lúc thay đổi gây lỗi được thực hiện, lúc phát hiện, các mốc xử lý, tới lúc khôi phục hoàn toàn.
  3. Nguyên nhân trực tiếp và nguyên nhân sâu hơn. Hỏi tiếp "vì sao" vài lần: lỗi do đoạn mã sai; vì sao đoạn mã sai lọt qua; vì sao kiểm thử không bắt được; vì sao giám sát báo muộn.
  4. Điều đã chạy tốt: giám sát báo đúng, quay lui nhanh, sổ tay có mục đúng.
  5. Việc cần làm, mỗi việc có người nhận và hạn. Ưu tiên việc chặn cả lớp lỗi, ví dụ sửa công cụ kiểm, hơn việc vá đúng một chỗ.
  6. Cập nhật sổ tay vận hành và mục bẫy.

Biên bản không đổ lỗi không có nghĩa là không ai chịu trách nhiệm. Nó có nghĩa là giả định mọi người đều đã làm điều hợp lý nhất với thông tin họ có lúc đó, và câu hỏi là vì sao hệ để người hợp lý mắc lỗi. Câu trả lời cho câu hỏi đó mới là thứ sửa được.

Những sự cố đặc trưng của hệ nhiều site

Nội dung lẫn site. Trang của site này hiện khối của site kia, thường do khoá đệm hay tệp tạm không có mã site. Khó tái hiện vì chỉ xảy ra khi hai site ghi gần cùng lúc. Khi người đọc gửi ảnh chụp, tin ảnh chụp, đừng kết luận "không tái hiện được nên không có lỗi".

Lần đẩy xoá mất việc người khác. Ai đó sửa nóng trên máy chủ, lần đẩy kèm xoá tệp thừa đè mất. Triệu chứng là tính năng vừa có hôm qua biến mất. Khôi phục từ bản lưu của máy chủ, kéo về kho mã, và thêm kiểm lệch vào quy trình đẩy nếu chưa có.

Tên miền phụ trả trang mặc định. Thêm tên miền vào bảng điều khiển nhưng quên nạp lại máy chủ web hoặc quên thêm vào bảng site của ứng dụng. Thường chỉ phát hiện khi có người gõ tên đó.

Một thao tác chung làm cả máy chậm. Khởi động lại dịch vụ dùng chung, xoá toàn bộ đệm của mọi site cùng lúc, hay chạy tác vụ nặng cho mọi site cùng phút. Triệu chứng là cơn chậm ngắn, lặp lại, khớp với giờ ai đó làm việc.

Công cụ kiểm báo sạch giả. Không phải sự cố người đọc thấy, nhưng là nguồn của nhiều sự cố khác: kiểm lệch không kiểm được gì mà vẫn báo không lệch, giám sát đọc danh sách rỗng mà vẫn báo xanh. Khi điều tra sự cố, luôn hỏi: công cụ đáng lẽ bắt được lỗi này có thật sự đã chạy không.

Kiểm đủ trước khi tuyên bố đã xong

Sự cố thường được tuyên bố xong khi trang chủ của site đầu tiên mở lại được. Với hệ nhiều site, đó mới là một phần.

  • Kiểm mọi site trong phạm vi ảnh hưởng, không chỉ site được báo. Dùng danh sách site từ bộ giám sát, không dùng trí nhớ.
  • Kiểm qua đường người đọc thật, có lớp biên và chứng chỉ, sau khi đã xoá đệm ở biên.
  • Kiểm trang bài và trang chuyên mục, không chỉ trang chủ.
  • Kiểm trang quản trị: biên tập viên lưu được bài, tải được ảnh.
  • Kiểm các tác vụ định kỳ đã chạy lại: sao lưu đêm nay có chạy không, tác vụ đăng bài hẹn giờ có bị lỡ lượt nào không.
  • Xác minh bằng số đếm: số site trả đúng, số bài trên site so với trước sự cố. "Đã chạy rồi mà" không phải bằng chứng.

Bước cuối cùng là báo đóng sự cố, kèm giờ khôi phục và danh sách những gì còn phải làm. Sự cố được báo đóng mà vẫn còn một site lỗi là cách nhanh nhất để mất lòng tin của người làm nội dung vào kênh báo sự cố.

Báo cho người đọc và người trong nhóm

Với site kiến thức, sự cố ngắn thường không cần thông báo công khai: người đọc thấy trang lỗi, quay lại sau vài phút là được. Nhưng sự cố làm sai nội dung, ví dụ hiện bài của site khác, hiện bản nháp chưa duyệt, hay làm lộ thông tin người đọc, thì cần xử lý khác. Nội dung sai đã được đệm ở biên hoặc được chia sẻ ra ngoài vẫn tồn tại sau khi máy chủ đã sửa.

Với sự cố liên quan dữ liệu cá nhân của người đọc, việc thông báo không chỉ là phép lịch sự mà có thể là nghĩa vụ theo quy định về bảo vệ dữ liệu cá nhân. Sổ tay nên có sẵn mục này, kèm người cần liên hệ, để lúc sự cố không phải đi tra.

Trong nội bộ, biên tập viên cần biết khi nào sự cố bắt đầu và kết thúc để không đăng bài vào lúc hệ đang chập chờn, và để kiểm lại bài họ đã lưu trong khoảng đó. Một tin nhắn ngắn ở đầu và cuối sự cố là đủ. Im lặng làm người viết tưởng lỗi ở máy mình, và họ có thể làm những việc khiến sự cố khó chẩn đoán hơn, như lưu đi lưu lại một bài nhiều lần.

Hỏi đáp

Bao lâu thì nên viết biên bản, sự cố nhỏ có cần không?

Sự cố ảnh hưởng người đọc hơn vài phút, sự cố làm sai nội dung, hoặc sự cố mà nhóm mất nhiều thời gian chẩn đoán đều đáng một biên bản ngắn. Biên bản cho sự cố nhỏ có thể chỉ vài đoạn. Thứ quan trọng là danh sách việc cần làm có người nhận.

Làm gì nếu không biết thay đổi nào gây lỗi?

So site hỏng với site không hỏng: khác nhau ở cấu hình, dữ liệu hay phiên bản nào. Nếu vẫn không rõ, quay lui lần đẩy gần nhất như một phép thử. Nếu quay lui hết lỗi, nguyên nhân nằm trong lần đẩy đó; nếu không, đã loại được một khả năng lớn.

Có nên khởi động lại máy chủ khi không biết nguyên nhân?

Đôi khi khởi động lại làm sự cố hết, nhưng cũng xoá mất trạng thái giúp tìm nguyên nhân và làm mọi site trên máy gián đoạn. Trước khi khởi động lại, chụp lại tình trạng: danh sách tiến trình, tải hệ thống, dung lượng đĩa, vài trăm dòng nhật ký cuối.

Sự cố lặp lại nhiều lần thì làm gì?

Đọc lại các biên bản cũ, xem việc cần làm của lần trước đã xong chưa. Sự cố lặp thường vì việc cần làm bị bỏ dở, hoặc vì lần trước chỉ vá triệu chứng. Lần này nên ưu tiên việc chặn cả lớp lỗi và ghi rõ vào mục bẫy của sổ tay.

Biên bản nên chia sẻ với ai?

Với cả nhóm, kể cả biên tập viên, ở dạng tóm tắt dễ hiểu. Người làm nội dung hiểu vì sao sự cố xảy ra sẽ ít làm những việc dễ gây lại nó, ví dụ nhập hàng loạt bài vào giờ cao điểm. Phần chi tiết kỹ thuật lưu cùng sổ tay để tra sau.

  • xử lý sự cố website
  • khoanh vùng sự cố
  • biên bản sau sự cố
  • postmortem
  • khôi phục website
  • quay lui phiên bản
  • sự cố nhiều site
  • quy trình trực sự cố
  • vận hành nhiều site