LangChain: Đánh giá của chuyên gia giúp xây dựng agent đáng tin cậy hơn
LangChain cho rằng đánh giá của con người là một phần chiến lược để xây dựng các AI agent đáng tin cậy, đặc biệt khi chúng phải xử lý những nhiệm vụ dài và phức tạp hơn. Chuyên gia trong lĩnh vực xác định thế nào là một kết quả “tốt”, giải thích vì sao hành vi của agent đúng hoặc sai, đồng thời phát hiện những điểm thiếu trong các bài đánh giá tự động. Công ty khuyến nghị xem toàn bộ trace của agent, gồm cuộc hội thoại đầy đủ, câu trả lời của mô hình, các lần gọi công cụ và những bước trung gian, thay vì chỉ phán đoán từ câu trả lời cuối. Trong LangSmith, người đánh giá có thể xem một run riêng lẻ hoặc cả thread của một phiên hội thoại nhiều lượt thông qua hàng đợi annotation. Điểm số và lý do của họ sau đó có thể được dùng để hiệu chỉnh các bộ chấm điểm dựa trên LLM, cải thiện evaluator trực tuyến và tạo “golden dataset”—những ví dụ được gắn nhãn cẩn thận để kiểm thử lặp lại. Trên thực tế, cách làm này biến nhận định của chuyên gia thành dữ liệu đánh giá có thể tái sử dụng, giúp các nhóm tìm nguyên nhân lỗi và liên tục cải thiện agent thay vì chỉ dựa vào các chỉ số tự động.
Các nhóm phát triển agent, đặc biệt trong doanh nghiệp, nên đánh giá cả cuộc hội thoại và các lần gọi công cụ thay vì chỉ xem câu trả lời cuối. Có thể dùng nhận xét của chuyên gia để cải thiện tiêu chí chấm điểm, bộ đánh giá tự động và dữ liệu kiểm thử cho những phiên bản sau.
Đọc bài gốc