OR-License đánh giá khả năng giải bài toán vận trù thực tế của các agent LLM
Các nhà nghiên cứu giới thiệu OR-License, một bộ benchmark nhằm kiểm tra liệu các agent LLM có thể trực tiếp giải quyết các bài toán vận trù trong thế giới thực từ tài liệu gốc của khách hàng hay không, mà không cần chuyên gia viết lại thành bài toán tối ưu hóa trước. Bộ benchmark gồm 31 trường hợp thuộc 10 kịch bản công nghiệp, được lấy từ các hợp đồng tư vấn vận trù có tổng giá trị 3,68 triệu USD; các yêu cầu, dữ liệu đầu vào, định dạng bàn giao và ranh giới thông tin được giữ lại sau khi ẩn danh. Nghiên cứu cũng đưa vào ORSim, một khách hàng mô phỏng chỉ cung cấp thông tin kinh doanh mà không đưa ra kiến thức chuyên môn về tối ưu hóa, đồng thời dùng các phép đánh giá ẩn để kiểm tra tính khả thi và so sánh chất lượng lời giải với kết quả chuyên gia từng được khách hàng chấp nhận. Công trình này có thể giúp làm rõ liệu agent AI có xử lý được bước khó nhất—chuyển yêu cầu kinh doanh thiếu cấu trúc thành lời giải tối ưu hóa có thể sử dụng trong thực tế—hay chỉ hoạt động tốt trên các benchmark học thuật đã được làm sạch.
OR-License hữu ích cho các nhóm nghiên cứu và phát triển agent muốn đánh giá khả năng xử lý bài toán tối ưu hóa từ tài liệu kinh doanh thực tế, thay vì chỉ dùng đề bài đã được làm sạch. Doanh nghiệp có thể theo dõi hướng này, nhưng vẫn cần kiểm tra tính khả thi và chất lượng lời giải trước khi giao cho AI các quyết định vận hành.
Đọc bài gốc