Chấm mù chất lượng câu hỏi

Hệ thống tự phát hiện câu hỏi "có vấn đề" dựa trên cách học viên trả lời. Trước khi tin vào phán quyết đó, tổ chức cần đối chiếu nó với người hiểu chuyên môn — và đó là bạn.

Một dòng tóm tắt

Bạn nhận một file gồm khoảng 60 câu hỏi đã trộn lẫn và giấu nhãn, chấm từng câu "có vấn đề không", gửi lại. Quản trị viên đối chiếu kết quả của bạn với phán quyết của hệ thống để biết có nên tin nó không.

Vì sao phải giấu nhãn với bạn

Nếu bạn biết trước câu nào bị hệ thống gắn cờ, bạn sẽ vô thức tìm lý do để đồng ý. Kết quả khi đó đo sức gợi ý của cái nhãn, không đo chất lượng câu hỏi.

Vì vậy trong file bạn nhận:

• Các câu bị gắn cờ và các câu không bị gắn cờ được trộn lẫn.
• Không có số liệu nào (tỉ lệ đúng, độ phân loại).
• Không có mã câu hỏi.

Bảng đối chiếu được giữ riêng và chỉ mở sau khi bạn đã gửi phiếu.

Đừng đi tìm câu gốc

Nếu bạn tra ngược đề bài trong hệ thống để xem nó có bị gắn cờ không, phần chấm của bạn mất giá trị. Hãy chấm dựa hoàn toàn trên nội dung trong file.

Cách chấm

File có sáu cột. Ba cột đầu đã điền sẵn, ba cột sau để trống cho bạn:

Cột	Bạn điền gì
no, question, options	(đã có)
has_problem	yes / no / unsure
issue_type	Nếu yes, chọn loại vấn đề (xem dưới)
notes	Giải thích ngắn — hữu ích khi hai người chấm không đồng ý

Các loại vấn đề

Loại	Nghĩa là
Sai kiến thức	Nội dung hoặc đáp án không đúng thực tế
Mơ hồ	Đề diễn đạt không rõ, hiểu được nhiều cách
Đáp án gán sai	Đáp án được đánh dấu đúng thực ra là sai
Phương án vô nghĩa	Có lựa chọn sai lộ liễu đến mức không ai chọn — câu 4 phương án thực chất chỉ còn 3
Khác	Ghi rõ ở cột notes

Khi nào dùng unsure

Dùng nó thật. unsure là dữ liệu hợp lệ — nó nói "câu này ở ranh giới", và điều đó có ích. Ép mình chọn yes/no cho câu bạn thực sự phân vân sẽ tạo nhiễu.

Chấm thế nào cho có ích

Chấm câu hỏi, không chấm độ khó. Một câu khó nhưng rõ ràng, đúng kiến thức, các phương án đều hợp lý → no. Khó không phải là lỗi.

Đừng cố đoán câu nào hệ thống nghi ngờ. Bạn sẽ đoán sai, và việc cố đoán làm lệch đánh giá của chính bạn.

Giữ tiêu chuẩn nhất quán từ đầu đến cuối. Nếu càng về sau bạn càng dễ tính (chuyện thường gặp khi mệt), kết quả sẽ lệch. Nếu thấy mệt, dừng lại và làm nốt hôm sau.

Cần ít nhất hai người chấm

Tổ chức sẽ mời tối thiểu hai giảng viên chấm độc lập trên cùng một file. Nếu chỉ có một người, không có cách nào phân biệt "hệ thống sai" với "người chấm có tiêu chuẩn khác".

Vì vậy: đừng bàn bạc với người chấm còn lại trong lúc chấm. Chỗ hai người không đồng ý mới là thông tin quan trọng nhất.

Sau khi bạn gửi lại

Quản trị viên ghép phiếu của bạn với bảng khoá và tính, cho từng loại cờ, tỉ lệ hệ thống trùng với đánh giá của giảng viên. Kết quả dẫn tới một trong ba hướng:

Kết quả	Tổ chức sẽ làm gì
Hệ thống trùng khớp cao	Tin phán quyết đó, có thể tự động gỡ câu khỏi kho
Trùng khớp vừa phải	Giữ làm gợi ý để quản trị viên xem, không tự động hoá
Trùng khớp không hơn ngẫu nhiên	Chỉnh lại ngưỡng phát hiện rồi đo lại
Hai giảng viên không đồng ý với nhau	Vấn đề nằm ở định nghĩa "câu có vấn đề", cần thống nhất tiêu chí trước

Nhóm quá ít câu thì không kết luận được

Nếu một loại cờ chỉ có vài câu trong mẫu, tỉ lệ tính ra trông giống một phép đo nhưng thực chất gần với tung đồng xu. Quản trị viên sẽ thấy cảnh báo này và nên báo cáo nhóm đó là chưa kết luận được, thay vì đọc con số như thật.

Câu hỏi thường gặp

Tôi có phải chấm hết 60 câu không? Nên. Bỏ dở giữa chừng làm lệch mẫu — các câu cuối file không phải nhóm ngẫu nhiên nữa sau khi bạn đã bỏ qua một số.

Tôi thấy một câu sai kiến thức nghiêm trọng — sửa ngay được không? Ghi vào phiếu trước đã, rồi báo quản trị viên sau khi gửi. Sửa trong lúc đang chấm sẽ làm bảng khoá không còn khớp với thứ bạn đã đánh giá.

Câu hỏi không thuộc chuyên môn của tôi thì sao? Đánh unsure và ghi rõ ở notes. Đừng đoán — đánh giá sai còn tệ hơn không đánh giá.

Việc này lặp lại bao lâu một lần? Không định kỳ. Nó được chạy khi tổ chức cần kiểm tra xem có tin được cơ chế phát hiện tự động không — thường là một lần sau khi tính năng chạy đủ lâu để có số liệu, và lặp lại nếu ngưỡng phát hiện được chỉnh.