ActionOPD: Chưng cất quyết định thay vì token
ActionOPD là một phương pháp được đề xuất để chưng cất một agent dùng mô hình ngôn ngữ mạnh vào mô hình nhỏ hơn bằng cách dạy mô hình nhỏ tái tạo các quyết định của mô hình giáo viên, thay vì từng token trong đầu ra. Phương pháp này thực hiện chưng cất on-policy, tức là đánh giá mô hình học sinh trong những trạng thái mà chính nó thực sự đi tới, đồng thời dùng các hành động ngữ nghĩa—những bước hoặc quyết định có ý nghĩa—làm đơn vị giám sát. Ở mỗi trạng thái mà mô hình học sinh gặp, ActionOPD lấy mẫu một hành động từ cả học sinh và mô hình giáo viên dạng hộp đen, sau đó thưởng cho học sinh dựa trên mức độ tương đồng về ngữ nghĩa giữa hai hành động. Cách tiếp cận này nhằm tránh hiện tượng phân phối trạng thái không khớp trong học bắt chước offline, đồng thời loại bỏ nhu cầu thường thấy về xác suất token của giáo viên hoặc tokenizer tương thích. Trên thực tế, đây có thể là một cách chuyển hành vi của agent sang mô hình nhỏ hơn khi chỉ có thể truy vấn mô hình giáo viên thông qua đầu ra của nó.
Các nhà nghiên cứu và đội ngũ xây dựng agent có thể theo dõi ActionOPD như một hướng để chuyển hành vi của mô hình lớn sang mô hình nhỏ hơn mà không cần truy cập xác suất token hay tokenizer tương thích của mô hình giáo viên. Đây hiện là một phương pháp nghiên cứu, phù hợp để đánh giá trong các hệ thống agent cần giảm chi phí suy luận.
Đọc bài gốc