LatentLoop: Phân bổ tính toán bất đối xứng cho mô hình MoE lặp
LatentLoop nghiên cứu cách các lượt đi khác nhau qua một khối dùng chung đóng góp vào hiệu năng của mô hình Mixture-of-Experts (MoE) lặp, vốn tái sử dụng tham số nhưng chỉ kích hoạt một phần mạng cho mỗi đầu vào. Các nhà nghiên cứu học các hệ số điều chỉnh phần dư riêng cho hai lượt đi qua cùng một khối và nhận thấy lượt đầu tiên hoạt động tốt hơn khi có hệ số nhỏ hơn: giảm đóng góp của lượt này vẫn giữ nguyên hoặc thậm chí cải thiện kết quả, trong khi giảm đóng góp của lượt thứ hai lại làm hiệu năng giảm. Từ sự bất đối xứng đó, LatentLoop nén chuỗi đầu vào ở lượt đầu, giữ nguyên độ phân giải ở lượt thứ hai và dùng phần tính toán tiết kiệm được để tăng kích thước biểu diễn ẩn của mô hình. Phương pháp này cũng học mức độ mà lượt đầu cập nhật toàn bộ chuỗi, chia sẻ trọng số MoE giữa các lượt nhưng dùng các tham số attention riêng cho từng lượt. Kết quả cho thấy các mô hình lặp có thể hiệu quả hơn nếu phân công vai trò tính toán khác nhau cho từng lượt, thay vì xử lý chúng giống hệt nhau.
Đây là kết quả nghiên cứu dành בעיקר cho các nhà phát triển và nghiên cứu mô hình ngôn ngữ: hai lượt xử lý dùng chung trọng số không nhất thiết nên được phân bổ cùng một lượng tính toán. Có thể theo dõi LatentLoop như một hướng tối ưu chi phí suy luận và huấn luyện, nhưng cần thêm kết quả thực nghiệm trước khi áp dụng vào hệ thống thực tế.
Đọc bài gốc