Microsoft dựng doanh nghiệp tổng hợp để đánh giá Copilot an toàn hơn
Microsoft Research tạo các môi trường doanh nghiệp hoàn toàn tổng hợp để đánh giá Copilot trong bối cảnh sát thực tế mà không dùng dữ liệu khách hàng. Mô hình này tập trung vào ngữ cảnh, thời gian, truy vấn có căn cứ và kiểm tra an toàn nội dung.
Microsoft Copilot có thể được dùng để tóm tắt cuộc họp, tìm thông tin liên quan và hỗ trợ công việc tri thức. Nhưng đánh giá một hệ thống như vậy không chỉ là hỏi vài câu rồi xem câu trả lời có trôi chảy hay không.
Trong doanh nghiệp, câu trả lời còn phải đúng người, đúng tài liệu, đúng mốc thời gian và có căn cứ trong ngữ cảnh tổ chức. Vấn đề là dữ liệu thật thường chứa thông tin nhạy cảm, không thể dùng cho đánh giá.
Microsoft Research cho biết họ giải quyết bài toán này bằng Industry Evaluation Data Generation Platform: một nền tảng tạo môi trường doanh nghiệp hoàn toàn tổng hợp để kiểm thử Microsoft Copilot mà không sử dụng dữ liệu khách hàng.
Không chỉ là dữ liệu giả rời rạc
Nền tảng tạo các môi trường doanh nghiệp mô phỏng ở quy mô đầy đủ. Theo cách gọi của Microsoft, mỗi môi trường là một tenant: không gian tổ chức tách biệt với người dùng, dữ liệu và cấu hình riêng.
Các tenant tổng hợp có thể bao gồm:
Người dùng và cấu trúc báo cáo;
Cuộc họp và lịch sử trao đổi;
Email và tài liệu;
Dự án cùng các thay đổi diễn ra theo thời gian.
Điểm quan trọng là đây không phải ảnh chụp dữ liệu tại một thời điểm. Microsoft mô phỏng lịch sử họp, chuỗi email kéo dài nhiều tuần, tiến độ dự án và các thay đổi trong tổ chức.
Nhờ cấu trúc thời gian đó, hệ thống có thể được đánh giá bằng các câu hỏi như: nhóm đã quyết gì vào thứ Năm tuần trước, hoặc điều gì đã thay đổi kể từ lần rà soát gần nhất.
Dựa vào tín hiệu công khai để tạo bối cảnh sát thực tế
Để các môi trường tổng hợp có tính thực tế, Microsoft Research cho biết họ sử dụng những nguồn dữ liệu công khai đã được xem xét và phê duyệt nội bộ về pháp lý, chính sách.
Ba nhóm nguồn được nêu gồm:
ONET, cơ sở dữ liệu nghề nghiệp của Bộ Lao động Hoa Kỳ, giúp mô phỏng vai trò, trách nhiệm và tần suất công việc;
Tin tuyển dụng trực tuyến, hỗ trợ xây dựng chức danh, tuyến báo cáo và thành phần phòng ban;
Hồ sơ SEC, cung cấp tín hiệu về quy mô tổ chức, đơn vị kinh doanh và bối cảnh tài chính.
Microsoft đã tạo ba môi trường mô phỏng thuộc các lĩnh vực:
Dược phẩm, với quy trình nộp hồ sơ quản lý, thảo luận thử nghiệm lâm sàng và các cuộc họp rà soát an toàn liên phòng ban;
Thị trường vốn, với quy trình giao dịch, trao đổi tuân thủ và rà soát danh mục khách hàng;
CNTT/phần mềm, với lập kế hoạch sprint, thảo luận code review và phối hợp ra mắt sản phẩm.
Cách làm này nhằm đưa việc đánh giá ra khỏi các bộ câu hỏi quá chung chung, để Copilot phải xử lý những bối cảnh gần với công việc thực tế của từng ngành.
Tự động tạo truy vấn đánh giá
Có môi trường tổng hợp vẫn chưa đủ: hệ thống cần các câu hỏi đánh giá phù hợp với dữ liệu trong môi trường đó.
Microsoft mô tả một pipeline gồm sáu giai đoạn để biến các ý tưởng truy vấn chung thành câu hỏi mang ngữ cảnh ngành nghề. Pipeline này bắt đầu từ thư viện tác vụ công việc phổ biến, chọn nội dung phù hợp với ngành, thêm ngôn ngữ và bối cảnh chuyên biệt, rồi dùng AI để tạo truy vấn dựa trên dữ liệu tổng hợp.
Các truy vấn tiếp tục được viết lại để tự nhiên hơn, đồng thời được kiểm tra về độ chính xác và tính không trùng lặp.
Mục tiêu không chỉ là tạo số lượng lớn câu hỏi. Quan trọng hơn, mỗi câu hỏi cần bám vào thông tin thực sự tồn tại trong môi trường tổng hợp, để có thể kiểm tra liệu Copilot có tìm đúng thông tin, tổng hợp đúng và trình bày hữu ích hay không.
Bốn lớp kiểm tra chất lượng dữ liệu tổng hợp
Microsoft Research cho biết họ dùng một khung đánh giá ngữ nghĩa nội bộ để xem dữ liệu tổng hợp có đủ chất lượng cho đánh giá hay không. Khung này gồm bốn khía cạnh:
Độ trung thực về cấu trúc: Cấu trúc báo cáo, quy mô nhóm và quan hệ liên phòng ban có hợp lý không?
Độ liên quan theo ngữ cảnh: Truy vấn và workflow có phản ánh cách doanh nghiệp thực sự vận hành không?
Tính chân thực về hành vi: Người dùng mô phỏng có thể hiện cách giao tiếp và cộng tác giống con người không?
An toàn nội dung: Nội dung sinh ra có tránh thông tin gây hại, xúc phạm, nhận diện cá nhân và việc mạo danh người thật hay không?
Microsoft cũng cho biết các kiểm tra an toàn nội dung được tự động hóa để giữ dữ liệu sinh ra không chứa nội dung có hại hoặc thông tin nhận diện cá nhân.
Ý nghĩa với người xây AI cho doanh nghiệp
Với các đội ngũ đang xây workflow AI hoặc agent, điểm đáng chú ý không nằm ở việc sao chép nguyên trạng nền tảng của Microsoft. Nền tảng này được Microsoft Research phát triển cho việc đánh giá Copilot, và bài viết không nêu đây là sản phẩm công khai để mọi tổ chức có thể triển khai trực tiếp.
Tuy vậy, mô hình của họ làm rõ một nguyên tắc: đánh giá AI trong doanh nghiệp cần đặt hệ thống vào bối cảnh có quan hệ, lịch sử và diễn biến thời gian, thay vì chỉ dùng những câu hỏi đơn lẻ hoặc các mẫu dữ liệu quá đơn giản.
Một bài kiểm tra có ý nghĩa cần giúp trả lời các câu hỏi cốt lõi mà Microsoft đặt ra cho Copilot:
Hệ thống có thực sự đáp ứng điều người dùng cần không?
Có thể chứng minh điều đó mà không dùng dữ liệu khách hàng không?
Câu trả lời có chính xác, đầy đủ và có căn cứ trong dữ liệu doanh nghiệp hay không?
Đó cũng là khác biệt giữa một bản demo trả lời thuyết phục và một hệ thống AI đủ tin cậy để được đánh giá trong môi trường làm việc phức tạp.