StateBench kiểm tra khả năng theo dõi thay đổi trạng thái của mô hình ngôn ngữ trong tài liệu dài
Ai2 đã giới thiệu StateBench, một bộ benchmark đo khả năng của mô hình ngôn ngữ trong việc theo dõi thông tin thay đổi về các thực thể xuyên suốt tài liệu dài. Bộ kiểm tra gồm bốn cấp độ, từ việc truy xuất một giá trị không đổi đến theo dõi các cập nhật nối tiếp và tham chiếu giữa nhiều biến, chẳng hạn xác định vị trí của một vật sau nhiều lần được trao đổi hoặc hoán đổi. Benchmark này so sánh các mô hình trên cùng chuỗi phép gán, chỉ thay đổi độ phức tạp của các cập nhật. Trong các thử nghiệm với những mô hình pretrained mã nguồn mở, transformer nhìn chung xử lý tốt trạng thái bất biến, giảm độ chính xác ở các bài toán cần tìm giá trị mới nhất khi đầu vào dài hơn, và gần như chỉ đoán ngẫu nhiên ở bài toán tổng quát khó nhất; các mô hình lai dùng cơ chế bộ nhớ hồi quy kiểu Gated DeltaNet được thiết kế để xử lý phạm vi rộng hơn. Nhóm nghiên cứu cũng cho biết các mô hình frontier như Gemini 3.8 Flash, Claude Opus 5.5 và GPT-6 Sol and Luna suy giảm trên các bài toán khó khi độ dài ngữ cảnh tăng. StateBench có thể giúp giới nghiên cứu xác định liệu một mô hình thực sự duy trì được “bộ nhớ” về các thay đổi hay chỉ tìm lần đề cập gần nhất trong tài liệu.
StateBench hữu ích cho các nhà phát triển và nghiên cứu AI muốn kiểm tra khả năng theo dõi trạng thái trong tài liệu dài, đặc biệt khi thông tin liên tục được cập nhật hoặc phụ thuộc lẫn nhau. Kết quả cho thấy không nên mặc định rằng các mô hình ngôn ngữ hiện nay sẽ suy luận chính xác qua chuỗi thay đổi dài; hãy chờ thêm đánh giá nếu ứng dụng cần độ tin cậy cao.
Đọc bài gốc