CLE: Bộ đánh giá khả năng học liên tục và cải thiện qua trải nghiệm của tác nhân LLM
Các nhà nghiên cứu đã giới thiệu Continual Learning Exam (CLE), một bộ đánh giá khả năng tác nhân LLM cải thiện nhờ tích lũy kinh nghiệm trong khi vẫn giữ lại kiến thức hữu ích trước đó. Được xây dựng bởi hơn 50 chuyên gia trong nhiều lĩnh vực, CLE gồm 120 nhiệm vụ do con người biên soạn, được sắp xếp thành các lộ trình 5 cấp độ, tổng cộng 600 cấp độ trải rộng trên 89 vai trò nghề nghiệp thuộc 12 nhóm ngành. Tác nhân phải vượt qua từng cấp độ để mở khóa cấp tiếp theo, vì vậy các nhiệm vụ về sau phụ thuộc vào những gì hệ thống học được từ công việc trước đó. Một tác nhân đánh giá sẽ chấm bài dựa trên các tiêu chí do con người viết, đồng thời bộ đánh giá so sánh cách làm chỉ nộp một lần với cách làm được cung cấp phản hồi chẩn đoán sau khi thất bại. CLE nhằm kiểm tra khả năng học dài hạn trong các quy trình nghề nghiệp thực tế, thay vì chỉ đo hiệu suất trên từng nhiệm vụ riêng lẻ.
Các nhà phát triển tác nhân AI và nhóm nghiên cứu có thể dùng CLE để kiểm tra liệu hệ thống có thực sự tiến bộ qua nhiều nhiệm vụ liên tiếp hay chỉ làm tốt từng bài riêng lẻ. Đây cũng là cách đánh giá khả năng tiếp thu phản hồi và giữ lại kiến thức hữu ích trong các quy trình công việc dài hạn.
Đọc bài gốc