ReMaRk giảm nhiễu từ nhiều câu trả lời khi huấn luyện LLM làm hệ thống gợi ý
Một phương pháp mới có tên ReMaRk nhằm cải thiện việc huấn luyện tăng cường cho các hệ thống gợi ý dùng mô hình ngôn ngữ lớn khi một yêu cầu có nhiều câu trả lời đúng. Trong các cuộc thảo luận gợi ý trên Reddit, Rank-GRPO chọn một câu trả lời làm chuẩn cho mỗi mẫu huấn luyện, nhưng nghiên cứu cho thấy 85% tín hiệu “lợi thế” thu được chủ yếu phản ánh câu trả lời nào được lấy mẫu, thay vì chất lượng của danh sách được tạo ra. Thay vì vậy, ReMaRk chấm mỗi danh sách gợi ý dựa trên tập hợp các tiêu đề xuất hiện trong toàn bộ câu trả lời và cho mỗi yêu cầu trọng số như nhau, qua đó giảm phép tính dư thừa. Trên bảy kiến trúc mô hình và ba bộ dữ liệu, phương pháp này đạt mức recall trên tập xác thực tương đương 2.000 bước RL theo từng câu trả lời nhưng chỉ cần 25–53% số bước, đồng thời trong bốn trên bảy so sánh đã đạt kết quả tốt nhất của Rank-GRPO với ít giờ GPU hơn; cùng cơ chế thưởng cũng cải thiện kết quả trên ProtoQA, nơi mỗi câu hỏi có khoảng 100 người trả lời. Kết quả cho thấy việc coi nhiều câu trả lời của con người là một mục tiêu chung có thể giúp hệ thống gợi ý dựa trên RL hiệu quả hơn và ít phụ thuộc vào các chú thích nhiễu hoặc ngẫu nhiên.
Các nhà nghiên cứu và đội ngũ xây dựng hệ thống gợi ý bằng LLM nên theo dõi ReMaRk: phương pháp này có thể giảm chi phí huấn luyện khi một yêu cầu có nhiều câu trả lời hợp lý. Đây vẫn là kết quả nghiên cứu, nên cần chờ mã nguồn hoặc thử nghiệm độc lập trước khi áp dụng vào sản phẩm.
Đọc bài gốc