Microsoft Research xây dựng dữ liệu doanh nghiệp tổng hợp để đánh giá độ tin cậy của Copilot
Microsoft Research đã phát triển Industry Evaluation Data Generation Platform để kiểm thử Microsoft Copilot trong các bối cảnh doanh nghiệp thực tế mà không sử dụng dữ liệu khách hàng. Nền tảng này tạo ra các môi trường tổ chức tổng hợp quy mô lớn, gồm người dùng, cuộc họp, email, tài liệu, cơ cấu báo cáo và lịch sử dự án thay đổi theo thời gian. Để các mô phỏng có tính thực tế, Microsoft dựa trên những nguồn dữ liệu công khai như cơ sở dữ liệu nghề nghiệp ONET của Bộ Lao động Mỹ, tin tuyển dụng trực tuyến và hồ sơ nộp lên SEC. Các môi trường ban đầu bao phủ ngành dược, thị trường vốn và công nghệ phần mềm, với những quy trình như đánh giá thử nghiệm lâm sàng, trao đổi tuân thủ, cập nhật danh mục đầu tư và lập kế hoạch sprint. Các quy trình tự động tạo truy vấn giúp sinh bộ đánh giá có thể lặp lại, trong khi các khung kiểm định chất lượng và bộ lọc an toàn nội dung được dùng để loại bỏ dữ liệu gây hại hoặc thông tin nhận dạng cá nhân. Vì môi trường có diễn biến theo thời gian, Microsoft có thể kiểm thử những câu hỏi phụ thuộc vào bối cảnh lịch sử, chẳng hạn nhóm đã quyết định gì tuần trước hoặc điều gì thay đổi kể từ lần đánh giá trước. Cách tiếp cận này nhằm phát hiện những lỗi mà các benchmark chung có thể bỏ sót, đồng thời giúp Microsoft đo lường độ chính xác, đầy đủ và khả năng bám sát dữ liệu doanh nghiệp của Copilot mà vẫn bảo vệ quyền riêng tư.
Các doanh nghiệp và đội ngũ phát triển Copilot có thể quan tâm đến cách Microsoft dùng môi trường doanh nghiệp tổng hợp để kiểm thử AI mà không cần đưa dữ liệu khách hàng vào quá trình đánh giá. Đây cũng là một hướng tham khảo cho các công ty muốn xây dựng bộ kiểm thử thực tế hơn cho trợ lý AI nội bộ.
Đọc bài gốc