DiffusionART: Tăng cường mô hình khuếch tán một cách hiệu quả, ổn định và có khả năng mở rộng
DiffusionART là một phương pháp học tăng cường trực tuyến được đề xuất để tinh chỉnh các mô hình khuếch tán với phần thưởng hộp đen. Các tác giả cho rằng các hàm mục tiêu kiểu NFT chứa một lực nhất quán thuận–ngược ẩn mà việc huấn luyện kết hợp mẫu dương–âm chỉ triệt tiêu được một phần, và EMA ổn định quá trình huấn luyện thông qua cơ chế phục hồi chứ không phải nhờ các lượt rollout off-policy. DiffusionART gộp phần thưởng của mỗi prompt thành một hướng cải thiện phần thưởng chung cho các trạng thái của quá trình ngược, đồng thời bổ sung bước cập nhật thứ hai có mặt nạ vùng tin cậy để phục hồi thích ứng với độ lệch mà không cần tinh chỉnh EMA, và không yêu cầu mô hình phần thưởng khả vi.
Đọc bài gốc