Dashboard LLM cho phản hồi khách hàng: đo chất lượng trước khi tin biểu đồ
Một dự án nội bộ gom khoảng 1.500 phản hồi mỗi tuần vào Postgres, dùng LLM phân loại và tóm tắt rồi hiển thị trên Metabase. Điểm cần hoàn thiện nhất là đánh giá chất lượng nhãn bằng mẫu gán tay và người chấm độc lập.
Một dashboard có thể giúp team thấy số phàn nàn tăng nhanh. Nhưng trước khi biến tín hiệu đó thành quyết định sản phẩm, cần biết LLM đang phân loại đúng đến đâu.
Đó cũng là câu hỏi còn mở của một dự án nội bộ được chia sẻ trên diễn đàn AI Hub: dashboard tự động phân loại, tóm tắt phản hồi khách hàng hằng tuần và hiển thị xu hướng trên Metabase.
Từ 1.500 phản hồi/tuần đến dashboard
Theo bài chia sẻ, công ty nhận khoảng 1.500 phản hồi mỗi tuần từ đánh giá trên app, khảo sát, inbox fanpage và email hỗ trợ.
Hệ thống đang làm các việc sau:
Gom phản hồi từ nhiều kênh về một bảng Postgres, chạy mỗi giờ.
Dùng LLM phân loại từng phản hồi thành: khen, phàn nàn, góp ý tính năng hoặc câu hỏi; đồng thời gán mức độ cảm xúc và tính năng liên quan.
Gom phản hồi theo chủ đề mỗi tuần để LLM tạo phần tóm tắt, gồm vấn đề, số người nhắc tới và 2–3 câu tiêu biểu.
Dùng Metabase hiển thị xu hướng theo tuần, có thể lọc theo kênh và tính năng.
Stack được tác giả nêu gồm Python, Postgres, Metabase và LLM qua API. Chi phí API khoảng 15 USD/tháng.
Kết quả được chia sẻ: thời gian đọc và tổng hợp phản hồi của team sản phẩm giảm từ gần một ngày xuống còn khoảng 30 phút mỗi tuần. Dashboard cũng giúp phát hiện sớm một lỗi thanh toán khi số phàn nàn tăng đột biến trong hai ngày.
Câu hỏi quan trọng: phân loại có chính xác không?
Tác giả dự án đang băn khoăn về cách đo chất lượng phân loại một cách bài bản. Đây là phần quyết định dashboard có đáng tin hay không.
Trong phần thảo luận, tác giả cho biết đang gán nhãn thủ công 200 mẫu để đối chiếu với kết quả LLM. Đây là một điểm khởi đầu hợp lý: lấy một tập phản hồi, xác định nhãn theo cách thủ công, rồi so sánh với nhãn do mô hình tạo ra.
Một thành viên khác đề xuất quy trình định kỳ hơn:
Lấy mẫu ngẫu nhiên 100 phản hồi mỗi tháng.
Để hai người gán nhãn độc lập.
So sánh cả mức đồng thuận giữa hai người, không chỉ so LLM với nhãn cuối cùng.
Cách làm này giúp tách hai vấn đề:
LLM có khớp với cách con người phân loại hay không?
Bản thân các nhãn như “phàn nàn”, “câu hỏi” hay “góp ý tính năng” có đang được mọi người hiểu giống nhau không?
Nếu hai người thường xuyên bất đồng, có thể cần làm rõ định nghĩa nhãn trước khi kết luận mô hình hoạt động kém.
Đừng chỉ nhìn một tỷ lệ đúng chung
Với dashboard phản hồi khách hàng, một tỷ lệ khớp tổng thể chưa chắc phản ánh đúng rủi ro vận hành.
Ví dụ, mô hình có thể phân loại tốt các phản hồi khen, nhưng lại nhầm giữa câu hỏi thanh toán và phàn nàn về lỗi thanh toán. Nếu đây là nhóm chủ đề team cần theo dõi sát, sai lệch đó có thể ảnh hưởng trực tiếp đến việc ưu tiên xử lý.
Khi đánh giá tập mẫu, nên xem thêm:
Những nhãn nào hay bị nhầm lẫn với nhau.
Các phản hồi liên quan đến chủ đề đang tăng có được phân loại hợp lý không.
Những trường hợp LLM không xác định rõ được loại phản hồi hoặc tính năng liên quan.
Dashboard nên cho phép kiểm tra ngược
Điểm mạnh của cách làm này không chỉ nằm ở phần tóm tắt do LLM tạo ra, mà ở khả năng quay lại phản hồi gốc.
Khi thấy một chủ đề tăng trên biểu đồ Metabase, team sản phẩm nên có thể mở danh sách phản hồi phía sau con số đó để đọc ngữ cảnh thực tế. Điều này đặc biệt quan trọng với các đợt tăng đột biến như trường hợp lỗi thanh toán được tác giả đề cập.
Phần tóm tắt tuần rất hữu ích để đọc nhanh. Tuy nhiên, phản hồi gốc vẫn là lớp bằng chứng cần thiết khi cần xác minh một nhận định hoặc quyết định ưu tiên.
Tiếng Việt và tiếng Anh có thể xử lý cùng lúc?
Một thành viên đặt câu hỏi về phản hồi song ngữ. Tác giả cho biết họ để LLM xử lý trực tiếp cả tiếng Việt lẫn tiếng Anh, không dịch trước, và nhận xét kết quả “vẫn ổn”.
Đây là trải nghiệm triển khai của dự án, chưa phải một đánh giá độc lập. Nếu hệ thống nhận phản hồi bằng nhiều ngôn ngữ, tập mẫu gán nhãn thủ công nên có cả tiếng Việt, tiếng Anh và các trường hợp pha trộn ngôn ngữ để việc đánh giá sát với dữ liệu thực tế.
Gợi ý cho bước tiếp theo
Dự án đã chứng minh giá trị rõ ràng: giảm đáng kể thời gian tổng hợp phản hồi và tạo tín hiệu sớm cho team sản phẩm.
Bước tiếp theo nên là biến việc kiểm tra chất lượng thành một quy trình định kỳ:
Duy trì tập mẫu gán nhãn thủ công.
Có từ hai người đánh giá độc lập khi phù hợp.
Theo dõi các nhóm nhãn dễ nhầm.
Kiểm tra trực tiếp phản hồi gốc khi dashboard xuất hiện biến động đáng chú ý.
LLM có thể giúp rút ngắn thời gian đọc hàng nghìn phản hồi. Nhưng để dashboard thực sự hỗ trợ quyết định, team vẫn cần một vòng kiểm chứng rõ ràng giữa nhãn AI, người đánh giá và dữ liệu gốc.