PAR giúp mô hình ngôn ngữ lặp tổng quát hóa theo dõi trạng thái dài hơn 16 lần dữ liệu huấn luyện
Một bài báo giới thiệu Progress-Aligned Recurrence (PAR), phương pháp huấn luyện nhằm giúp các mô hình ngôn ngữ lặp giải quyết bài toán theo dõi trạng thái tuần tự với độ dài vượt xa dữ liệu đã thấy khi huấn luyện. Thay vì chỉ giám sát đáp án cuối, PAR huấn luyện để vòng lặp thứ k biểu diễn trạng thái sau đúng k phép toán, đồng thời chuẩn hóa trạng thái lặp để giữ độ lớn ổn định. Trong bài toán swap-S5, mô hình Qwen2.5-0.5B được huấn luyện trên các chuỗi dài tối đa 32 bước đạt độ chính xác trung bình 95,5% trên toàn bộ trạng thái của các chuỗi dài 512 bước—gấp 16 lần độ dài huấn luyện. Kết quả này cao hơn mức 55,7% của RLT và 0,8% của chain of thought tường minh trên cùng mô hình; các thí nghiệm loại bỏ từng thành phần cho thấy khi bỏ neo chuẩn, khả năng ngoại suy giảm xuống dưới 2,2 lần, còn khi thay mục tiêu căn chỉnh theo tiến độ bằng giám sát đáp án cuối, mức ngoại suy chỉ đạt tối đa 8 lần. Kết quả cho thấy việc dạy rõ mỗi bước lặp đang tiến triển đến đâu có thể giúp các mô hình lặp đáng tin cậy hơn đáng kể khi xử lý những bài toán thuật toán dài hơn.
Kết quả này đáng chú ý với các nhà phát triển mô hình ngôn ngữ lặp hoặc suy luận nhiều bước: PAR cho thấy việc giám sát trạng thái trung gian và ổn định chuẩn của trạng thái có thể giúp mô hình xử lý chuỗi dài hơn nhiều so với dữ liệu huấn luyện. Đây hiện là kết quả nghiên cứu trên bài toán theo dõi trạng thái, nên người dùng thực tế nên chờ thêm kiểm chứng trên các tác vụ đa dạng hơn.
Đọc bài gốc