Numan xây dựng trợ lý sức khỏe AI Nu với quy trình đánh giá trước, dùng LangGraph và LangSmith
Công ty y tế số Numan của Anh đã xây dựng Nu, một trợ lý sức khỏe AI hỗ trợ người dùng về cân nặng, hormone và sức khỏe tình dục, bằng LangGraph để điều phối một mô hình giám sát cùng các tác tử chuyên biệt. Vì Nu hoạt động gần ranh giới giữa tư vấn lối sống và lời khuyên y tế chịu quản lý, Numan thiết kế hệ thống đánh giá tập trung vào chất lượng huấn luyện, an toàn, câu hỏi về thuốc, định tuyến và tóm tắt. Nhóm phát triển nhận thấy các bài kiểm thử một lượt và các kịch bản hội thoại viết sẵn thường cho kết quả sai lệch: chất lượng huấn luyện phụ thuộc vào diễn biến của cả cuộc trò chuyện, trong khi các câu trả lời được viết trước có thể không còn phù hợp với những gì AI thực sự đã nói. Numan chuyển sang dùng các bộ dữ liệu theo chủ đề với điểm số cho từng nhóm tiêu chí, đồng thời kiểm thử chính hệ thống LangGraph mà bệnh nhân sử dụng thay vì một bộ đánh giá tách biệt. Cách làm này cũng giúp công ty so sánh các nhà cung cấp AI khác nhau cho từng tác tử và hoàn tất một lần chuyển đổi vốn thường mất nhiều tuần chỉ trong khoảng một ngày. Các bài kiểm tra an toàn được dùng làm điều kiện chặn phát hành, nên lỗi suy giảm có thể tự động ngăn phiên bản mới được đưa vào sử dụng, còn các nút bảo vệ theo dõi mọi cuộc hội thoại. Nu hướng tới “hoàn thành an toàn” — chuyển hướng người dùng khỏi việc chẩn đoán hoặc quyết định điều trị nhưng vẫn đưa ra phản hồi hữu ích, thân thiện — cho thấy các sản phẩm sức khỏe hội thoại có thể kết hợp kiểm thử tự động với biện pháp bảo đảm tuân thủ quy định.
Các đội ngũ xây dựng chatbot sức khỏe nên chú trọng đánh giá theo từng nhóm tiêu chí và kiểm thử toàn bộ cuộc hội thoại, thay vì chỉ chấm từng câu trả lời riêng lẻ. Cách dùng safety gate và guard node của Numan cũng là một mẫu tham khảo để phát hiện lỗi an toàn trước khi phát hành.
Đọc bài gốc