HABIT-Bench đánh giá khả năng suy luận và áp dụng thói quen người dùng trong bộ nhớ dài hạn của agent
HABIT-Bench là một benchmark dùng để kiểm tra liệu các agent dựa trên mô hình ngôn ngữ lớn có thể suy luận thói quen của người dùng từ những manh mối rời rạc trong các tương tác dài hạn, rồi sử dụng thông tin đó cho những yêu cầu sau này hay không. Benchmark tập trung vào các bằng chứng yếu, trong đó một cuộc trò chuyện riêng lẻ chỉ tiết lộ một phần thói quen hoặc không cho biết thói quen đó áp dụng trong trường hợp nào, thay vì chỉ kiểm tra khả năng tìm lại tin nhắn cũ. Nhóm nghiên cứu tạo các lịch sử tương tác tổng hợp kéo dài hàng trăm phiên trong các lĩnh vực ăn uống, tài chính, phần mềm và du lịch; các bài kiểm tra dạng chọn một trong bốn đáp án còn bao gồm ngoại lệ tạm thời, thói quen thay đổi và những đề xuất mà người dùng chưa chấp nhận, với một số bài được con người đánh giá độc lập. Công trình này quan trọng vì bộ nhớ đáng tin cậy của agent phải phân biệt sở thích lâu dài với lựa chọn nhất thời và áp dụng chúng đúng thời điểm.
Các nhà phát triển agent AI có thể theo dõi HABIT-Bench như một cách kiểm tra khả năng ghi nhớ sở thích dài hạn, thay vì chỉ truy xuất lại lịch sử trò chuyện. Benchmark này đặc biệt hữu ích khi xây dựng trợ lý cá nhân trong các lĩnh vực như tài chính, du lịch và phần mềm.
Đọc bài gốc