LiveMACE: Đánh giá năng lực agent LLM theo quá trình trong các thị trường biến động
Các nhà nghiên cứu giới thiệu LiveMACEBench, một benchmark đánh giá agent LLM trong thị trường tài chính trực tiếp, nơi các điều kiện bên ngoài liên tục thay đổi và agent phải hành động trong thời gian dài. Năm LLM hàng đầu được thử nghiệm trong 30 ngày với các cấu hình tương đương, bao gồm sử dụng công cụ, bộ nhớ dài hạn, tuân thủ quy tắc và phối hợp đa agent. Nghiên cứu so sánh kết quả đầu tư với các phép đo rút ra từ toàn bộ nhật ký quyết định, qua đó phát hiện “khoảng cách giữa kết quả và năng lực”: những mức lợi nhuận tương tự có thể đến từ cách sử dụng các cơ chế rất khác nhau, còn kết quả tốt hoặc xấu không nhất thiết phản ánh đúng năng lực bên trong của agent. Phát hiện này cho thấy việc chỉ đánh giá agent qua kết quả cuối cùng có thể che giấu điểm mạnh và điểm thất bại của chúng, vì vậy cần phân tích cả quá trình ra quyết định để xây dựng hệ thống đáng tin cậy hơn.
Nghiên cứu này đáng chú ý với nhà phát triển agent và hệ thống AI tự động: chỉ nhìn vào lợi nhuận hoặc kết quả cuối cùng có thể đánh giá sai năng lực thật của mô hình. LiveMACEBench gợi ý nên lưu và phân tích cả nhật ký quyết định để biết agent đang dùng công cụ, bộ nhớ, quy tắc và phối hợp nhiều tác nhân hiệu quả đến đâu.
Đọc bài gốc