Intercom ra mắt Evals và Releases để kiểm thử, triển khai và giám sát Fin
Intercom đã công bố Evals và Releases, một hệ thống đánh giá mới cho trợ lý hỗ trợ khách hàng AI Fin, kết hợp với Monitors. Evals cho phép các đội hỗ trợ tạo những hội thoại khách hàng mô phỏng, nhiều lượt, dựa trên các tương tác thực tế rồi tự động chấm điểm Fin theo các tiêu chí như chất lượng câu trả lời, việc sử dụng đúng quy trình, truy cập dữ liệu, chuyển tiếp cho nhân viên và giọng điệu. Releases cung cấp một không gian riêng để đóng gói các thay đổi về nội dung, quy trình và hướng dẫn của Fin, kiểm thử trước khi phát hành, sau đó triển khai dần hoặc chạy thử nghiệm A/B. Sau khi được triển khai, Monitors kiểm tra mọi cuộc hội thoại trực tiếp theo tiêu chuẩn của đội ngũ và đánh dấu các vấn đề để đưa vào vòng đánh giá và phát hành tiếp theo. Hệ thống kết hợp các phép kiểm tra cố định với bộ chấm điểm dựa trên mô hình ngôn ngữ lớn, hiển thị toàn bộ bản ghi hội thoại và nhật ký sự kiện, đồng thời cho phép chạy lại các bài đánh giá sau mỗi thay đổi để phát hiện hồi quy — tức việc cải thiện một hành vi lại vô tình làm hành vi khác kém đi. Intercom gọi quy trình này là “phân phối dựa trên đánh giá”, một phương pháp mà đội ngũ nghiên cứu AI của công ty sử dụng để xây dựng sản phẩm. Về thực tế, công cụ này giúp các đội hỗ trợ kiểm thử và giám sát một tác nhân AI có hành vi không hoàn toàn cố định ở quy mô lớn, giảm nguy cơ các bản cập nhật gây ảnh hưởng đến hàng loạt cuộc trò chuyện và không phải phụ thuộc hoàn toàn vào lập trình viên hay chuyên gia ML.
Các đội chăm sóc khách hàng đang dùng Fin có thể kiểm thử thay đổi trên các hội thoại mô phỏng, triển khai theo từng bước và theo dõi mọi cuộc trò chuyện sau khi đưa vào vận hành. Điều này giúp phát hiện sớm lỗi hoặc hiện tượng một thay đổi làm ảnh hưởng xấu đến hành vi khác mà không nhất thiết cần chuyên gia ML.
Đọc bài gốc