Chống trùng lặp giữa các bài và các site: kiểm ý, kiểm câu, kiểm từ khoá
Ba lớp trùng lặp trong hệ nhiều site: trùng câu, trùng ý, trùng từ khoá. Cách phát hiện từng lớp, đặt phép kiểm vào đúng khâu và quyết định giữ bài nào khi trùng.
Trong hệ nhiều site, trùng lặp có ba lớp và mỗi lớp cần một phép kiểm riêng. Trùng câu là hai bài có những đoạn chữ giống nhau, bắt bằng so chuỗi chữ. Trùng ý là hai bài viết khác chữ nhưng cùng dàn ý, cùng ví dụ, cùng kết luận, bắt bằng đặt dàn ý cạnh nhau. Trùng từ khoá là hai bài trả lời cùng một câu hỏi của người đọc, dù nội dung có thể khác, bắt bằng so cụm đầu tiêu đề và ý định tìm kiếm trên danh sách tiêu đề toàn hệ.
Ba phép kiểm đặt ở ba khâu khác nhau. Kiểm từ khoá đặt ở lúc lập kế hoạch và giao đề, khi chưa ai viết chữ nào. Kiểm ý đặt ở lúc duyệt đề cương và nhận bản nháp. Kiểm câu đặt ở trước khi đăng và định kỳ trên cả kho. Phần lớn nhà xuất bản chỉ làm phép kiểm câu, vì nó dễ tự động hoá nhất, trong khi lớp gây hại nhiều nhất cho hệ nhiều site lại là trùng ý và trùng từ khoá.
Ba lớp trùng lặp
Bảng dưới so sánh ba lớp theo cách phát hiện, mức hại và cách xử lý thường dùng.
| Lớp | Ví dụ | Phát hiện bằng | Hại gì | Xử lý thường dùng |
|---|---|---|---|---|
| Trùng câu | Đoạn giải thích khái niệm chép từ bài cũ sang bài mới | So chuỗi chữ tự động | Người đọc thấy chép; máy tìm kiếm chọn một bản, bỏ bản kia | Viết lại đoạn hoặc thay bằng liên kết |
| Trùng ý | Hai bài cùng dàn ý năm mục, cùng ví dụ, chỉ khác câu chữ | Người đọc so dàn ý; công cụ so nghĩa để gợi cặp nghi | Kho bài phình mà không thêm giá trị; khó rà | Gộp, hoặc chia lại góc cho khác hẳn |
| Trùng từ khoá | Hai bài cùng trả lời "cách tính lãi kép", ở hai site anh em | So cụm đầu tiêu đề, so danh sách tiêu đề toàn hệ | Hai bài tranh một câu hỏi, cả hai yếu đi | Chọn bài giữ, bài kia đổi góc hoặc gộp |
Ba lớp có thể xuất hiện riêng hoặc cùng lúc. Hai bài trùng từ khoá chưa chắc trùng câu; chúng có thể do hai người viết độc lập, chữ khác hẳn. Nhưng với người đọc và với máy tìm kiếm, chúng vẫn là hai câu trả lời cho một câu hỏi, và một trong hai là thừa.
Tình huống: hai site anh em cùng viết "cách tính lãi kép"
Một nhà xuất bản giữ site về tài chính cá nhân và site về giáo dục tài chính cho học sinh. Mỗi site có kế hoạch riêng do người phụ trách riêng lập. Cả hai kế hoạch đều có bài "Cách tính lãi kép", vì đó là câu hỏi phổ biến ở cả hai nhóm người đọc. Hai bài được viết bởi hai người khác nhau, chữ khác nhau, phép kiểm câu không báo gì. Cả hai bài đăng.
Vài tháng sau, người phụ trách một site thấy bài của mình ít được tìm thấy hơn dự kiến, và khi tìm kiếm câu hỏi đó, đôi khi thấy bài của site kia thay vào. Hai bài đang chia nhau một câu hỏi. Người đọc của site học sinh cần cách giải thích bằng ví dụ tiền tiết kiệm nhỏ, không công thức phức tạp; người đọc của site tài chính cá nhân cần công thức, cách tính trên bảng tính, so sánh kỳ ghép lãi. Hai nhu cầu khác nhau thật, nhưng hai tiêu đề y hệt nhau che mất sự khác biệt đó.
Cách xử lý không phải xoá một bài. Bài ở site học sinh được đổi tiêu đề và góc thành "Lãi kép giải thích cho học sinh: vì sao tiết kiệm sớm có lợi", bỏ phần công thức dài, tập trung vào ví dụ. Bài ở site tài chính giữ tiêu đề, thêm phần tính trên bảng tính. Mỗi bài dẫn sang bài kia ở một câu. Bài học cho quy trình: kế hoạch của mỗi site phải đối chiếu với danh sách tiêu đề toàn hệ trước khi giao đề, không phải sau khi đăng.
Kiểm câu: so chuỗi chữ và ngưỡng
Phép kiểm câu phổ biến nhất là chia văn bản thành các cụm vài tiếng liền nhau, rồi đo tỷ lệ cụm chung giữa hai bài. Với tiếng Việt, đơn vị tự nhiên là tiếng (âm tiết), và cụm ba bốn tiếng thường đủ để phân biệt câu chép với câu chỉ trùng vài từ thông dụng. Tỷ lệ cụm chung trên tổng số cụm khác nhau của hai bài cho ra một con số từ không tới một.
Ngưỡng báo động do nhà xuất bản tự đặt và nên thử trên chính kho bài của mình. Ví dụ giả định: một nhóm đặt ngưỡng một phần mười trên cụm bốn tiếng, thấy những cặp vượt ngưỡng phần lớn là bài có đoạn chép thật, còn cặp dưới ngưỡng là bài cùng chủ đề dùng chung thuật ngữ. Nhóm khác với chủ đề nhiều thuật ngữ cố định có thể phải đặt ngưỡng khác. Điều quan trọng là ngưỡng được thử, ghi lại, và chạy đều.
Phép kiểm câu nên chạy với cả kho, không chỉ trong một site, vì chép giữa các site anh em là trường hợp hay gặp nhất: người viết làm cho hai site, mang đoạn giải thích quen tay sang. Một nguồn trùng câu khác hay bị quên là khung mẫu của chính nhà xuất bản: đoạn mở mẫu, câu dẫn mẫu, phần hỏi đáp mẫu. Nếu nhiều bài dùng chung những câu này, phép kiểm sẽ báo trùng, và nó báo đúng.
Kiểm ý: đặt dàn ý cạnh nhau
Dàn ý là đơn vị so sánh. Hai bài trùng ý thường có dàn ý gần như giống nhau: cùng số mục, cùng thứ tự, cùng loại ví dụ. Lấy danh sách tiêu đề mục của hai bài đặt cạnh nhau là cách nhanh nhất để thấy.
So ở bước đề cương, không chờ bản nháp. Khi duyệt đề cương mới, biên tập viên tra các bài gần đề trong hệ, đặt dàn ý cạnh nhau. Nếu dàn ý mới gần như lặp dàn ý cũ, đề cương được trả về để tìm góc khác trước khi ai viết chữ nào.
Công cụ so nghĩa để gợi, người để quyết. Với kho lớn, công cụ so nghĩa có thể gợi ra những cặp bài có nội dung gần nhau dù chữ khác. Danh sách này có nhiều cặp báo nhầm; nó chỉ là đầu mối để người phụ trách xem.
Câu hỏi quyết định: người đọc có cần cả hai không? Nếu một người đọc đã đọc bài thứ nhất, bài thứ hai có cho họ điều gì mới không. Nếu không, hai bài trùng ý, bất kể chữ khác nhau thế nào.
Khung mẫu là nguồn trùng ý bị quên. Khi mọi bài cùng loại trong hệ đi theo một khung đề cương mẫu, chúng có sẵn một phần dàn ý giống nhau trước khi ai viết chữ nào. Khung giúp người viết mới, nhưng nên chỉ quy định những phần bắt buộc như đoạn mở trả lời thẳng và phần hỏi đáp, còn các mục giữa bài để đề và góc quyết định.
Kiểm từ khoá: cụm đầu tiêu đề và danh sách toàn hệ
Cụm đầu tiêu đề là phần trước dấu hai chấm hoặc dấu hỏi, phần nói bài trả lời câu hỏi nào. Hai bài có cùng cụm đầu, như "Cách tính lãi kép: ..." và "Cách tính lãi kép? ...", gần như chắc chắn tranh nhau một câu hỏi. Kiểm này làm được tự động: chuẩn hoá cụm đầu về chữ thường, bỏ phần trong ngoặc, so trên danh sách tiêu đề của toàn hệ.
Trùng từ khoá không chỉ là trùng y nguyên. "Lãi kép là gì" và "Lãi kép hoạt động thế nào" có cụm đầu khác, nhưng người tìm hai câu đó thường muốn cùng một bài. Phần này cần người đọc danh sách và nhận ra. Một cách làm gọn là lọc danh sách tiêu đề toàn hệ theo từ khoá chính viết không dấu, rồi đọc kết quả bằng mắt; danh sách vài chục dòng đọc mất vài phút.
Danh sách tiêu đề toàn hệ phải gồm cả đề đã lên kế hoạch mà chưa viết, không chỉ bài đã đăng. Nếu chỉ so với bài đã đăng, hai site đang cùng viết một đề sẽ không phát hiện ra nhau cho tới khi cả hai bài cùng ra. Nhà xuất bản nào giữ một bảng tiêu đề chung cho mọi site, cập nhật khi giao đề, sẽ tránh được phần lớn trường hợp này.
Đặt phép kiểm vào đúng khâu
Ba phép kiểm rải theo quy trình, mỗi khâu một việc. Thứ tự dưới đi từ khâu rẻ nhất tới khâu tốn kém nhất.
- Lập kế hoạch: so toàn bộ tiêu đề dự kiến với danh sách tiêu đề toàn hệ; đánh dấu cụm đầu trùng và đề gần nghĩa.
- Giao đề: bản giao việc ghi rõ các bài gần đề trong hệ và phần không được lấn sang.
- Duyệt đề cương: đặt dàn ý cạnh dàn ý của các bài gần đề.
- Nhận bản nháp: chạy phép kiểm câu với cả kho; xem đoạn nào bị báo.
- Trước khi đăng: kiểm lại cụm đầu tiêu đề lần cuối, vì tiêu đề có thể đã được chỉnh chữ.
- Định kỳ: chạy phép kiểm câu và gợi ý trùng ý trên toàn kho, xử lý các cặp mới phát hiện.
Hai khâu đầu ngăn được phần lớn trùng lặp mà không tốn công viết. Khâu cuối bắt những gì lọt qua, như bài cũ được sửa thêm đoạn trùng, hay hai bài từng khác nhau mà sau nhiều lần cập nhật đã trôi về gần nhau.
Một lưu ý về người chạy phép kiểm: trong hệ nhiều site, người phụ trách từng site chỉ thấy kho của mình. Phép kiểm toàn hệ nên do người giữ chuẩn chung chạy, và kết quả gửi cho cả hai phía của mỗi cặp. Nếu chỉ gửi cho một phía, phía kia không biết bài mình đang bị tranh, và quyết định giữ bài nào trở thành quyết định một chiều.
Khi phát hiện trùng: giữ bài nào, làm gì với bài kia
Tiêu chí giữ bài. Bài nào thuộc ranh giới của site nào rõ hơn; bài nào trả lời câu hỏi đầy đủ và chính xác hơn; bài nào được người đọc tìm tới nhiều hơn. Nếu tiêu chí nghiêng về các bên khác nhau, ưu tiên ranh giới site và chất lượng trước số liệu.
Đổi góc. Khi người đọc của hai site khác nhau thật, bài thứ hai được viết lại theo góc riêng, đổi cụm đầu tiêu đề, bỏ phần trùng, dẫn sang bài kia ở chỗ cần.
Gộp. Khi hai bài cùng site, hoặc người đọc gần như trùng nhau, gộp nội dung tốt nhất của hai bài vào một, chuyển hướng đường dẫn bài kia về bài giữ lại.
Bỏ. Khi bài thứ hai không có gì đáng giữ, gỡ và chuyển hướng. Không để bài trùng lại "cho đủ số bài".
Không dùng xào chữ. Viết lại câu chữ bằng cách đổi từ đồng nghĩa, đảo câu, thủ công hay bằng công cụ, chỉ đánh lừa được phép kiểm câu. Hai bài vẫn trùng ý và trùng từ khoá, và người đọc vẫn nhận ra.
Ghi lại quyết định. Mỗi cặp trùng đã xử lý ghi vào một bảng: hai bài nào, lớp trùng gì, giữ bài nào, làm gì với bài kia, ai quyết. Lần sau có người đề xuất viết lại đề đó, bảng này trả lời ngay vì sao đề không có hoặc vì sao nó nằm ở site kia.
Hỏi đáp
Dẫn cùng một định nghĩa ở nhiều bài có bị coi là trùng lặp không?
Một hai câu định nghĩa giống nhau không phải vấn đề lớn, nhưng nếu nhiều bài có cả đoạn giải thích giống nhau, nên viết đoạn đó một lần ở bài nền và dẫn sang. Cách này còn giúp khi định nghĩa cần cập nhật: sửa một chỗ thay vì nhiều chỗ.
Phần hỏi đáp cuối bài có hay gây trùng không?
Có, nhất là khi người viết dùng một bộ câu hỏi quen tay cho nhiều bài cùng chủ đề. Câu hỏi và câu trả lời giống nhau giữa các bài vừa bị phép kiểm câu bắt, vừa làm phần hỏi đáp mất giá trị. Mỗi bài nên có câu hỏi riêng mà người đọc bài đó hỏi tiếp.
Hai site cùng chủ có nên dùng chung bài không?
Thường không nên đăng cùng một bài ở hai site. Nếu nội dung thật sự cần ở cả hai, chọn một site đăng, site kia dẫn sang. Cách xử lý kỹ thuật khi buộc phải có hai bản thuộc về phần tìm kiếm; ở góc biên tập, mục tiêu là mỗi câu hỏi có một câu trả lời tốt nhất trong hệ.
Có cần kiểm trùng với các site bên ngoài hệ không?
Có, ở mức phép kiểm câu, để chắc người viết không chép từ nguồn bên ngoài. Trùng ý với bài bên ngoài thì khó tránh hoàn toàn vì nhiều chủ đề đã được viết rất nhiều. Điều cần là bài của mình có góc, tình huống, ví dụ riêng mà bài bên ngoài không có.
Ngưỡng trùng câu bao nhiêu thì phải sửa?
Không có ngưỡng chung. Nhà xuất bản nên thử trên chính kho bài: chạy phép kiểm, đọc các cặp quanh vài ngưỡng khác nhau, chọn ngưỡng mà phía trên là chép thật, phía dưới là trùng thuật ngữ bình thường. Ghi ngưỡng đó vào sổ tay, xem lại khi kho thay đổi nhiều.
Bài dịch từ site tiếng Việt sang site tiếng Anh cùng hệ có bị coi là trùng không?
Hai bài khác ngôn ngữ phục vụ hai nhóm người đọc khác nhau, nên không phải trùng lặp theo nghĩa tranh nhau người đọc. Nhưng nếu bản dịch chỉ là dịch máy không biên tập, nó có thể bị coi là nội dung kém. Cách khai báo quan hệ giữa các bản ngôn ngữ là chuyện kỹ thuật riêng.
- chống trùng lặp
- nội dung trùng lặp
- trùng ý bài viết
- kiểm tra đạo văn
- tranh từ khoá
- cannibalization
- nhiều site nội dung
- biên tập viên
- kiểm tra tự động
- quy trình biên tập