Nghiên cứu dùng LoRA để mở rộng tinh chỉnh hiệu quả tham số cho mô hình mã hóa não
Một nghiên cứu mới cho thấy tinh chỉnh hiệu quả tham số (PEFT) có thể điều chỉnh các mô hình đã được huấn luyện trước với quy mô rất lớn để dự đoán cách não phản ứng với các kích thích, mà không cần huấn luyện lại toàn bộ trọng số. Thay vì chỉ huấn luyện một lớp đọc đầu ra nhỏ trên mô hình cố định, nhóm nghiên cứu huấn luyện lớp đọc này cùng các bộ điều hợp LoRA—các thành phần chỉ cập nhật một lượng nhỏ tham số, trong khi phần lớn mô hình nền được giữ nguyên. Nhóm cũng tận dụng cấu trúc nhân quả của mô hình để dự đoán nhiều thời điểm trong một lượt chạy, thay vì phải xử lý lặp lại các cửa sổ trượt, qua đó giảm đáng kể chi phí trích xuất đặc trưng từ dữ liệu thần kinh. Phương pháp này được áp dụng cho các mô hình nền đa phương thức có tới 104 tỷ tham số—mô hình lớn nhất mà các tác giả cho biết từng được điều chỉnh cho bài toán mã hóa não—và cải thiện hiệu quả trên chín bối cảnh đánh giá đa dạng.
Nghiên cứu này đáng chú ý với các nhóm làm AI thần kinh hoặc mô hình hóa tín hiệu não: LoRA và PEFT có thể giúp tận dụng các mô hình lớn mà không cần huấn luyện lại toàn bộ, đồng thời giảm chi phí xử lý dữ liệu. Đây là kết quả nghiên cứu, nên các nhà phát triển chưa có một sản phẩm cụ thể để dùng ngay nhưng có thể theo dõi cách tiếp cận này cho các bài toán giải mã hoạt động não.
Đọc bài gốc