Learn2Play Bench: Các tác nhân LLM học từ kinh nghiệm trong môi trường xa lạ tốt đến đâu?
Learn2Play Bench là một bộ benchmark mới gồm các trò chơi dạng văn bản với luật chơi mới lạ hoặc phản trực giác, nhằm đánh giá liệu các tác nhân LLM có thể học từ tương tác thay vì chỉ dựa vào kiến thức đã được huấn luyện trước hay không. Các trò chơi cung cấp phản hồi có thể tái lập và chấm điểm tự động, cho phép đo lường có kiểm soát khả năng học qua nhiều lần thử. Các phiên bản trò chơi cũng được thay đổi để kiểm tra xem tác nhân có thể áp dụng những gì đã học vào các tình huống mới hay không.
Đọc bài gốc