DecisionRank: Chưng cất on-policy cho các bộ reranker dựa trên mô hình quyết định
Các mô hình quyết định nhắm đến những tác vụ có cấu trúc bằng cách dự đoán trực tiếp lựa chọn hoặc điểm số, tránh độ trễ giải mã tự hồi quy. Tuy nhiên, việc chuyển giao kiến thức xếp hạng của LLM sinh sang mô hình quyết định vẫn khó khăn vì teacher thể hiện ưu tiên thông qua chuỗi ID tài liệu được xếp hạng.
Đọc bài gốc