Triển khai thay đổi cho nhiều site: kiểm lệch, đẩy theo đợt và đường quay lui
Quy trình đẩy mã cho hệ nhiều site nội dung: kiểm lệch máy chủ với kho mã, chia đợt, thay đổi cơ sở dữ liệu đi kèm, đường quay lui và danh mục kiểm sau khi đẩy.
Triển khai thay đổi cho nhiều site an toàn gồm ba việc theo đúng thứ tự: kiểm lệch (máy chủ có gì mà kho mã không biết), đẩy theo đợt (vài site ít người đọc trước, toàn bộ sau), và giữ sẵn đường quay lui (biết chính xác lệnh nào đưa hệ về trạng thái trước). Bỏ bước đầu là có thể xoá mất việc của người khác; bỏ bước hai là biến một lỗi nhỏ thành sự cố toàn hệ; thiếu bước ba thì mọi sự cố đều kéo dài.
Với một site, đẩy lỗi thì một site hỏng. Với ba mươi site chung mã, đẩy lỗi là ba mươi site hỏng cùng phút, và người đọc của cả ba mươi chuyên đề cùng thấy. Vì thế quy trình đẩy của hệ nhiều site cần chặt hơn hẳn quy trình của một website đơn lẻ, dù từng bước đều đơn giản.
Kiểm lệch: vì sao kho mã không phải lúc nào cũng là sự thật
Trên giấy, mọi thay đổi đi từ kho mã xuống máy chủ. Trong thực tế của nhóm nhỏ, luôn có lúc ai đó sửa thẳng trên máy chủ: chủ hệ sửa một câu chữ trên điện thoại lúc đi đường, người trực đêm vá một lỗi khẩn cấp, một biên tập viên tải lên tệp thẳng vào thư mục. Kho mã không biết những việc này. Nếu lệnh đẩy chép đè toàn bộ thư mục, đặc biệt khi có tuỳ chọn xoá những tệp không có trong nguồn, những sửa đổi đó biến mất mà không ai được báo.
Kiểm lệch là so chiều ngược: lấy trạng thái trên máy chủ đối chiếu với kho mã trước khi đẩy. Nên so bằng mã băm nội dung chứ không so theo thời gian sửa tệp, vì thời gian sửa thay đổi chỉ do chép lại và sinh ra báo động giả hàng loạt. Kết quả cần tách hai mức. Mức đỏ là tệp có ở cả hai nơi nhưng nội dung khác: đẩy là đè mất, phải dừng. Mức vàng là tệp chỉ có trên máy chủ: nếu lệnh đẩy có xoá thì tệp đó sẽ bị xoá thẳng.
Có một cái bẫy đáng ghi riêng: công cụ kiểm lệch phải báo lỗi khi nó không kiểm được gì. Một kịch bản đọc sai đường dẫn kho mã, không tìm thấy dự án nào, rồi in ra "không có lệch" là tệ hơn không có kiểm, vì nó cho người đẩy cảm giác an toàn giả. Kiểm không được phải dừng với mã lỗi, không được im lặng cho qua.
Gặp lệch thì xử lý thế nào
Khi kiểm lệch báo đỏ hoặc vàng, đừng đẩy đè rồi tính sau. Thứ tự dưới đây giữ được cả việc trên máy chủ lẫn việc của bạn.
- Dừng lệnh đẩy. Ghi lại danh sách tệp lệch và mức của từng tệp.
- Kéo bản trên máy chủ về một nhánh riêng trong kho mã, cùng bộ loại trừ như khi đẩy (thư mục tải lên, thư mục đệm, tệp cấu hình chứa mật khẩu).
- Kiểm cú pháp những tệp vừa kéo về bằng đúng phiên bản trình thông dịch mà máy chủ đang chạy, vì máy build và máy chủ có thể khác phiên bản.
- Lưu thành một lần ghi riêng, đánh dấu rõ là đồng bộ từ máy chủ, để sau này nhìn lịch sử còn biết thay đổi đó từ đâu ra.
- Gộp nhánh đồng bộ với nhánh thay đổi của bạn, giải quyết xung đột nếu hai bên sửa cùng chỗ.
- Chạy kiểm lệch lại. Chỉ khi sạch mới đẩy.
Nếu lệch xuất hiện thường xuyên, đó là tín hiệu về cách làm việc chứ không phải về công cụ. Thay vì cấm sửa nóng, nhiều nhóm chấp nhận nó và biến kiểm lệch thành bước mặc định trước mọi lần đẩy, kể cả khi người đẩy tin chắc không ai động vào.
Chia đợt: site nào đi trước, chờ bao lâu, kiểm gì
Đẩy theo đợt là cho thay đổi chạm vào một phần nhỏ của hệ trước, đủ để lỗi lộ ra mà thiệt hại còn nhỏ. Bảng sau là một cách chia mẫu cho hệ khoảng ba mươi site chung mã, số lượng là ví dụ giả định.
| Đợt | Gồm site nào | Chờ trước đợt sau | Kiểm gì trước khi đi tiếp |
|---|---|---|---|
| Đợt 0 | Môi trường thử hoặc một site nội bộ không công khai | Tới khi thử xong các trang chính | Trang chủ, trang bài, trang chuyên mục, tìm kiếm, trang quản trị |
| Đợt 1 | Hai ba site ít người đọc nhưng có đủ kiểu khối | Một giờ tới nửa ngày | Nhật ký lỗi máy chủ, nội dung đúng của từng site, thời gian phản hồi |
| Đợt 2 | Khoảng một nửa số site còn lại | Vài giờ | Lỗi mới trong nhật ký, phản hồi từ biên tập viên |
| Đợt 3 | Các site còn lại, site quan trọng nhất cuối cùng | Theo dõi một ngày | Số liệu người đọc không tụt bất thường |
Với mã dùng chung thật sự (một thư mục, nhiều tên miền trỏ vào), không chia đợt theo thư mục được. Khi đó chia đợt bằng cờ tính năng: mã mới được đẩy lên cho tất cả nhưng hành vi mới chỉ bật cho site của đợt 1. Lỗi cú pháp thì cờ không cứu được, nên bước đợt 0 càng quan trọng.
Thay đổi cơ sở dữ liệu đi cùng mã
Phần lớn sự cố khó nhất khi đẩy không nằm ở mã mà ở chỗ mã và cơ sở dữ liệu lệch nhau. Mã mới đọc một cột chưa tồn tại thì trang lỗi ngay. Thêm cột trước mà mã cũ ghi vào bảng bằng câu lệnh liệt kê cột theo thứ tự thì có thể ghi sai chỗ. Hai thứ phải được thiết kế để chạy được với nhau trong khoảng thời gian chuyển tiếp.
Quy tắc an toàn là thay đổi theo hướng cộng thêm: thêm cột có giá trị mặc định, thêm bảng mới, để mã cũ vẫn chạy được trên cấu trúc mới. Xoá cột, đổi tên cột chỉ làm ở một lần đẩy sau, khi chắc chắn không còn mã nào đọc tới. Với hệ nhiều site, nếu mỗi site một cơ sở dữ liệu, lệnh thay đổi cấu trúc phải chạy cho từng cái, và cần một danh sách đánh dấu cái nào đã chạy, cái nào chưa.
Một điều nữa mà kiểm cú pháp không bắt được: câu truy vấn có tên cột sai. Mã vẫn qua mọi bước kiểm tĩnh, chỉ hỏng khi có người bấm đúng nút gọi tới câu đó, có khi nhiều tháng sau. Câu truy vấn mới phải được chạy thật ít nhất một lần trên bản thử trước khi coi là xong.
Đường quay lui phải có trước khi đẩy
Biết chính xác "trạng thái trước" là gì. Trước mỗi lần đẩy, ghi lại mã phiên bản đang chạy. Quay lui là đẩy lại đúng phiên bản đó, không phải "sửa nhanh cho chạy lại".
Quay lui bằng một lần ghi đảo ngược, không xoá lịch sử. Tạo lần ghi đảo ngược thay đổi lỗi rồi đẩy lại giữ được dấu vết: sau sự cố còn biết đã đẩy gì, lỗi ở đâu, đã gỡ lúc nào.
Cơ sở dữ liệu cần bản lưu ngay trước thay đổi cấu trúc. Mã quay lui được trong vài giây, dữ liệu thì không. Sao lưu bảng sắp bị đổi ngay trước khi chạy lệnh, và thử trước lệnh khôi phục trên bản sao.
Đặt ngưỡng quay lui trước. Quyết định từ trước: lỗi kiểu gì thì quay lui ngay không cần bàn, ví dụ trang bài không mở được trên bất kỳ site nào, hoặc site hiện nội dung của site khác. Có ngưỡng thì người trực không phải đắn đo lúc nửa đêm.
Thay đổi không phải mã cũng là một lần đẩy
Nhiều sự cố toàn hệ không bắt nguồn từ mã mà từ những thay đổi trông vô hại ở tầng dưới: chỉnh một tham số của dịch vụ chạy mã, khởi động lại một tiến trình dùng chung, thêm một dòng vào lịch chạy tự động, đổi bản ghi tên miền. Với máy chủ chạy nhiều site, những thao tác này chạm vào tất cả site cùng lúc, và thường không đi qua bất kỳ bước kiểm lệch hay chia đợt nào.
Một ví dụ dễ gặp: sau mỗi lần đẩy mã, người vận hành có thói quen khởi động lại dịch vụ chạy mã "cho chắc". Trên máy riêng của một site, việc đó gần như vô hại. Trên máy chủ dùng chung cho hàng chục tài khoản, mỗi lần khởi động lại xoá bộ đệm mã của mọi site, và trong vài phút sau, site nào cũng phải biên dịch lại từ đầu. Nếu nhiều người cùng làm theo nghi thức này nhiều lần mỗi ngày, cả máy chậm từng cơn mà không ai biết vì sao. Trong khi phần lớn cấu hình bộ đệm mã hiện nay tự nhận tệp mới sau vài giây, không cần khởi động lại.
Quy tắc rút ra: thao tác nào chạm vào tài nguyên dùng chung thì coi như đẩy toàn hệ. Viết nó vào nhật ký triển khai, làm vào giờ có người trực, và chỉ làm khi thật sự cần (đổi cấu hình, cài thêm phần mở rộng), không làm theo thói quen.
Báo cho người làm nội dung trước và sau khi đẩy
Người phát hiện lỗi sau đẩy thường không phải người vận hành mà là biên tập viên: nút lưu bài không phản hồi, ảnh tải lên không hiện, khối bài liên quan biến mất. Nếu họ không biết vừa có thay đổi, họ nghĩ là lỗi mạng của mình, thử lại vài lần rồi bỏ qua, và lỗi sống thêm vài ngày.
Một tin nhắn ngắn trước mỗi đợt lớn giải quyết được việc này: đẩy gì, site nào, lúc mấy giờ, nếu thấy gì lạ thì báo ở đâu. Sau khi đẩy xong, một tin thứ hai xác nhận đã xong và nhắc lại thay đổi người làm nội dung sẽ thấy, ví dụ trường mới trong trang soạn bài. Thay đổi không ảnh hưởng tới họ thì không cần báo, để kênh không thành tiếng ồn.
Với thay đổi chạm vào cách soạn bài, nên tránh đẩy lúc biên tập viên đang dở bài dài. Trang soạn bài đổi giữa chừng có thể làm mất phần chưa lưu. Hỏi lịch ra bài trong tuần trước khi chọn giờ đẩy là việc tốn hai phút nhưng tránh được một buổi viết lại. Nếu hệ có tác vụ đăng bài hẹn giờ, kiểm danh sách bài hẹn trong khung giờ đẩy để chúng không rơi đúng lúc mã đang chuyển.
Danh mục kiểm sau khi đẩy
Kiểm sau đẩy nên đi qua đúng đường người đọc đi, không qua lối tắt chỉ có người vận hành biết. Gọi thẳng vào máy chủ bỏ qua lớp phân phối nội dung và bỏ kiểm chứng chỉ thì tiện, nhưng che mất cả nhóm lỗi ở tầng biên.
- Mở trang chủ, một trang bài và một trang chuyên mục của mỗi site trong đợt, qua tên miền thật, và xem nội dung có đúng của chính site đó.
- Xem nhật ký lỗi máy chủ trong mười lăm phút sau khi đẩy, so với cùng khoảng trước khi đẩy.
- Thử một thao tác ghi trên bài nháp: lưu bài, tải ảnh, chứ không thử trên bài thật đang có người đọc.
- Xoá đệm theo đúng thứ tự: để máy chủ nhận mã mới trước, chờ vài giây, rồi mới xoá đệm ở tầng phân phối. Làm ngược lại thì yêu cầu kế tiếp ghi lại bản cũ vào đệm.
- Ghi một dòng vào nhật ký triển khai: ai đẩy, phiên bản gì, đợt nào, lúc mấy giờ, kiểm lệch có sạch không.
Hỏi đáp
Đẩy lúc nào trong ngày là an toàn nhất?
Lúc có người trực đủ lâu sau đó để theo dõi, và không trùng giờ người đọc đông nhất của hệ. Đẩy cuối ngày thứ sáu rồi về là kiểu phổ biến nhất để biến lỗi nhỏ thành sự cố cả cuối tuần. Với site kiến thức, sáng sớm ngày thường thường hợp lý nếu có người ngồi xem nhật ký.
Sửa nóng trên máy chủ có bao giờ chấp nhận được không?
Có, khi site đang hỏng và đường đẩy chuẩn chậm hơn thiệt hại. Điều kiện là ngay sau đó kéo bản sửa về kho mã và ghi lại lý do. Sửa nóng không phải tội, sửa nóng rồi quên mới là nguồn gốc của những lần đẩy xoá mất việc người khác.
Có cần môi trường thử riêng nếu đã đẩy theo đợt?
Đợt đầu trên site thật vẫn là người đọc thật nhìn thấy lỗi. Môi trường thử bắt được lỗi cú pháp, lỗi trang trắng trước khi bất kỳ ai thấy. Nếu chưa dựng được môi trường thử đầy đủ, ít nhất giữ một site nội bộ không công khai chạy cùng mã để làm đợt 0.
Làm sao biết site nào đã nhận phiên bản mới?
Cho mỗi site trả về mã phiên bản ở một chỗ chỉ người vận hành xem được, ví dụ một trang kiểm tra nội bộ hoặc một dòng chú thích trong mã trang. Kịch bản kiểm sau đẩy đọc dòng đó trên từng site và báo site nào còn chạy bản cũ.
Lệnh đẩy có nên kèm tuỳ chọn xoá tệp thừa không?
Kèm tuỳ chọn xoá giữ máy chủ sạch, nhưng biến mọi tệp chỉ có trên máy chủ thành tệp bị xoá. Nếu dùng, bộ loại trừ phải đầy đủ (thư mục tải lên, đệm, cấu hình) và kiểm lệch phải chạy trước mỗi lần. Với thư mục gốc có chứa dữ liệu khác ngoài mã, tốt nhất không dùng.
Ai được phép đẩy lên toàn hệ?
Nên giới hạn ở một hai người hiểu quy trình, và mọi lần đẩy để lại dòng nhật ký. Nhóm nhỏ không cần quy trình duyệt nặng nề, nhưng cần biết chắc ai đã đẩy gì lúc nào để khi có sự cố không phải đi hỏi từng người.
- triển khai nhiều site
- kiểm lệch máy chủ
- đẩy mã theo đợt
- quay lui khi lỗi
- deploy website
- quy trình triển khai
- canary release
- vận hành nhiều site
- thay đổi cơ sở dữ liệu