UserArena: Benchmark đánh giá agent mua sắm tương tác trong các phiên dài
UserArena là một benchmark để kiểm thử các agent mua sắm đưa ra chuỗi đề xuất và quyết định trong những tương tác kéo dài với người dùng. Bộ dữ liệu gồm 64.729 quỹ đạo của các phiên mua sắm từ 11.010 người dùng, bao phủ 566.102 sản phẩm và 13 loại hành động, đồng thời đi kèm một môi trường mua sắm tương tác. Benchmark này đánh giá agent ở năm cấp độ, từ tính hợp lệ của đầu ra và chất lượng từng quyết định đến khả năng duy trì cá nhân hóa và tạo ra kết quả tổng thể tốt. UserArena cũng hỗ trợ so sánh ngoại tuyến với kết quả từ một thử nghiệm A/B có kiểm soát trong môi trường sản xuất, giúp các nhà nghiên cứu kiểm tra xem hiệu suất trong trình mô phỏng có phản ánh hành vi thực tế hay không. UserArena có thể cung cấp cho các nhà phát triển một cách thực tế hơn để huấn luyện và đánh giá agent gợi ý, đặc biệt khi thành công phụ thuộc vào khả năng thích ứng với người dùng qua nhiều bước thay vì chỉ chọn một sản phẩm phù hợp duy nhất.
Các nhà nghiên cứu và nhóm phát triển hệ thống gợi ý có thể dùng UserArena để đánh giá agent mua sắm qua nhiều bước, thay vì chỉ đo độ đúng của từng đề xuất riêng lẻ. Điểm đáng chú ý là benchmark cho phép đối chiếu kết quả mô phỏng với dữ liệu từ thử nghiệm A/B trong môi trường sản xuất.
Đọc bài gốc