Road MOPD dùng giáo viên chéo để giảm xung đột khi huấn luyện mô hình AI từ nhiều giáo viên
Một bài nghiên cứu đề xuất Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation, viết tắt là Road MOPD, nhằm giảm xung đột khi nhiều mô hình giáo viên chuyên biệt cùng huấn luyện một mô hình học sinh. Trong cách tiếp cận hiện có, dữ liệu theo từng lĩnh vực được chuyển đến các giáo viên khác nhau, nhưng tất cả vẫn cập nhật cùng một bộ tham số dùng chung; khi phong cách trả lời hoặc chuyên môn của các giáo viên khác biệt, tín hiệu học có thể xung đột và làm suy giảm năng lực của mô hình. Road MOPD bổ sung các giáo viên không được định tuyến làm bộ phê bình liên miền trên chính các câu trả lời do mô hình học sinh tạo ra, sau đó phối hợp việc giám sát bằng cách gán tín dụng ở cấp token — xác định token nào nên chịu ảnh hưởng nhiều hay ít — cùng các bước cập nhật gradient. Mục tiêu là kết hợp các năng lực chuyên biệt ổn định hơn trong quá trình huấn luyện chung.
Đọc bài gốc