LEV: Mô hình ra quyết định lặp để suy luận nhanh và sâu
Các nhà nghiên cứu giới thiệu LEV, một mô hình ra quyết định trả lời câu hỏi trắc nghiệm bằng cách gán xác suất cho từng lựa chọn thay vì tạo ra chuỗi suy luận bằng văn bản. Thay vì luôn dùng một lượng tính toán cố định cho mọi câu hỏi hoặc phải trả chi phí cho từng token được sinh thêm, LEV chạy lặp các lớp của mạng nơ-ron để suy nghĩ sâu hơn khi cần. Mô hình được huấn luyện để một bộ trọng số có thể hoạt động ở nhiều độ sâu vòng lặp khác nhau, trong khi một bộ dừng nhỏ có thể chọn thời gian suy luận cho từng câu hỏi dựa trên một ngưỡng được điều chỉnh từ các yêu cầu chưa gắn nhãn. Trên ba backbone được thiết kế để chạy lặp, độ chính xác nhìn chung tăng khi tăng độ sâu, đặc biệt với câu hỏi khó; mô hình LEV 2.6B tăng từ 63.2% ở độ sâu một lên 76.2% ở độ sâu bốn trên JevBench. Cách tiếp cận này có thể giúp các nhà phát triển linh hoạt đánh đổi giữa tốc độ và độ chính xác mà không cần tạo ra phần giải thích dài bằng văn bản.
Kỹ thuật này đáng theo dõi đối với nhà phát triển xây dựng hệ thống hỏi đáp hoặc phân loại cần cân bằng tốc độ và độ chính xác: mô hình có thể dành thêm bước tính toán cho câu hỏi khó thay vì xử lý mọi câu hỏi như nhau. Đây hiện là kết quả nghiên cứu, nên cần chờ mã nguồn hoặc mô hình được phát hành để thử nghiệm thực tế.
Đọc bài gốc