Bài viết trên Hacker News cho rằng dùng LLM để chấm điểm độ tin cậy là sai lầm
Một bài viết trên Hacker News lập luận rằng việc yêu cầu LLM tự đưa ra điểm số độ tin cậy là không đáng tin, vì con số đó được tạo ra dưới dạng văn bản chứ không phải đọc từ một thước đo mức độ chắc chắn bên trong mô hình. Tác giả giải thích rằng một xác suất có ý nghĩa phải phản ánh lượng bằng chứng đứng sau dự đoán và được hiệu chuẩn bằng kết quả thực tế—chẳng hạn, các dự báo gắn nhãn 70% phải đúng khoảng 70% số lần trong nhiều trường hợp tương tự. LLM chủ yếu được huấn luyện để dự đoán token tiếp theo, nên câu trả lời như “0.85” chỉ là phần tiếp nối phù hợp với cuộc hội thoại, không phải ước tính độ chính xác đã được kiểm chứng. Bài viết chỉ ra rằng cùng một câu hỏi có thể cho ra các điểm số khác nhau, cách diễn đạt lại có thể làm thay đổi con số dù không thêm thông tin, và những câu chữ đứng trước có thể kéo mô hình về mức tự tin cao hoặc thấp. Chỉ hiệu chuẩn thôi cũng chưa đủ nếu hệ thống luôn đưa ra cùng một ước tính theo tỷ lệ cơ sở và bỏ qua chi tiết của từng trường hợp. Bài học thực tế là các nhà phát triển không nên dùng độ tin cậy do mô hình tự báo cáo làm tín hiệu an toàn hay cơ sở ra quyết định nếu chưa đối chiếu nó với kết quả được ghi nhận và áp dụng một phương pháp hiệu chuẩn dựa trên bằng chứng riêng.
Các nhà phát triển không nên dùng con số tự đánh giá như “85% chắc chắn” của LLM để tự động phê duyệt hoặc từ chối quyết định. Nếu cần đo độ tin cậy, hãy lưu lại dự đoán và kết quả thực tế trên các trường hợp tương tự, rồi hiệu chỉnh bằng phương pháp đánh giá riêng.
Đọc bài gốc