Qwen phát hành BabelArena, bộ benchmark đánh giá agent LLM trên 23 ngôn ngữ
Qwen đã phát hành BabelArena, bộ benchmark đa ngôn ngữ để đánh giá các agent dùng mô hình ngôn ngữ lớn trên 699 tác vụ chuẩn thuộc bốn nhóm benchmark, 13 lĩnh vực và 23 ngôn ngữ, tạo thành 16.077 phiên bản tác vụ. Các tác vụ bao phủ dịch vụ tương tác, lập kế hoạch dài hạn, sử dụng công cụ dựa trên tri thức và điều phối dịch vụ tự động; toàn bộ prompt, công cụ, cơ sở dữ liệu, người dùng mô phỏng và bộ chấm điểm đều được bản địa hóa. Bộ benchmark được xây dựng bằng BabelFlow, một quy trình lần theo dữ liệu khi benchmark chạy để xác định phần nào có thể dịch an toàn, sau đó kiểm tra bằng nhiều lớp tự động và đánh giá của con người. Khi thử nghiệm năm mô hình tiên tiến, không mô hình nào dẫn đầu ở cả bốn nhóm benchmark; các ngôn ngữ ít tài nguyên tạo ra nhiều lỗi sử dụng công cụ và điều khiển luồng hơn, dùng lượng token đầu vào cao hơn tiếng Anh tới khoảng hai lần và chuyển sang tiếng Anh thường xuyên hơn. Cả năm mô hình đều có tỷ lệ hoàn thành và độ nhất quán ngôn ngữ thấp hơn ở các ngôn ngữ ít tài nguyên so với nhóm ngôn ngữ nhiều tài nguyên; Qwen-3.8-Max dẫn đầu điểm số được báo cáo ở một số bối cảnh nhưng không đứng đầu mọi chỉ số. BabelArena giúp các nhà nghiên cứu và phát triển đo lường nhất quán hơn khả năng thực sự sử dụng công cụ và hoàn thành tác vụ của agent AI trên nhiều ngôn ngữ, thay vì chỉ đánh giá chất lượng dịch hoặc khả năng tạo văn bản.
Nhà nghiên cứu và nhà phát triển có thể tải bộ dữ liệu BabelArena từ Hugging Face hoặc ModelScope để đánh giá agent AI trên 23 ngôn ngữ, bao gồm tiếng Việt, với các tác vụ dùng công cụ và lập kế hoạch. Kết quả cho thấy cần kiểm thử riêng từng ngôn ngữ thay vì mặc định rằng agent hoạt động tốt bằng tiếng Anh sẽ có chất lượng tương đương ở các ngôn ngữ ít tài nguyên.
Đọc bài gốc