NVIDIA NeMo biến lỗi của AI agent thành bài kiểm thử và bản sửa harness
NVIDIA đã công bố một hướng dẫn cho thấy các công cụ NeMo có thể biến lỗi của AI agent trong môi trường thực tế thành những bài kiểm thử và bản sửa có mục tiêu. NeMo Compass phân tích trace đã lưu cùng kết quả đánh giá, tìm các vấn đề lặp lại, xếp hạng ưu tiên và liên kết mỗi phát hiện với các trace ID liên quan. Sau đó, NeMo Eval Author hỗ trợ lập các bài đánh giá tùy chỉnh theo định dạng Harbor hoặc NVIDIA NeMo Gym để kiểm tra agent có đáp ứng yêu cầu của từng lĩnh vực hay không. Quy trình này cập nhật harness của agent—gồm prompt, mô tả công cụ, quy tắc định tuyến, bộ nhớ, kỹ năng và mã điều khiển xung quanh model—rồi chạy lại trên cả tập phát triển lẫn các tác vụ giữ lại để kiểm tra cải thiện và lỗi hồi quy. Trong ví dụ về kỹ thuật của Dassault Systèmes, quy trình đã giảm số lần gọi công cụ sai định dạng từ 142 xuống 0, cải thiện tương đối 28% điểm đánh giá tổng thể và giảm 35% số lần gọi công cụ trong mỗi lượt chạy trên sáu kịch bản. Ví dụ của NVIDIA sử dụng trợ lý doanh nghiệp Hermes kết nối với chat, email, tệp và hệ thống ticket của công ty qua MCP; một lỗi là agent gửi tin nhắn khi chưa được người dùng xác nhận. Cách tiếp cận này đáng chú ý vì điểm benchmark chung thường bỏ sót lỗi đặc thù của quy trình, còn đánh giá dựa trên trace giúp các nhóm kiểm tra agent có hành xử đúng trong những tình huống kinh doanh thực tế trước khi triển khai rộng hơn.
Các nhóm phát triển agent AI có thể dùng NeMo Compass để tìm lỗi từ trace thực tế, sau đó tạo bài đánh giá tùy chỉnh bằng NeMo Eval Author thay vì chỉ dựa vào benchmark chung. Quy trình này phù hợp với doanh nghiệp Việt Nam đang xây trợ lý nội bộ, nhưng cần kiểm tra và tinh chỉnh các bài test để phản ánh đúng quy định, công cụ và quy trình của mình.
Đọc bài gốc