Orange Business xây dựng nền tảng AI Live Intelligence trên LangChain và LangSmith
Orange Business đã xây dựng Live Intelligence, một nền tảng AI có cơ chế quản trị để tạo, triển khai và giám sát các agent, với LangChain và LangSmith làm nền tảng. Hệ thống hiện được triển khai cho 120.000 nhân viên Orange và đã được hơn 150 khách hàng tại Pháp và châu Âu sử dụng. Live Intelligence gồm Studio dành cho kỹ sư AI, Portal dành cho người dùng nghiệp vụ và Console dành cho quản trị viên theo dõi mức sử dụng, hiệu năng, bảo mật và tuân thủ. Orange đã đánh giá khoảng 20 nhà cung cấp đám mây và AI trước khi chọn LangChain nhờ kiến trúc không phụ thuộc vào một mô hình cụ thể và khả năng chuyển đổi linh hoạt, còn LangSmith được chọn cho việc đánh giá và quan sát hệ thống. Công ty cho biết nếu tự xây dựng hạ tầng điều phối và giám sát tương đương, lộ trình có thể bị chậm từ 12 đến 18 tháng. Live Intelligence cũng có các registry cho agent và MCP, giúp các nhóm tái sử dụng agent, prompt, công cụ, connector và tích hợp doanh nghiệp đã được kiểm soát, thay vì phải tự xây dựng lại cơ chế truy cập và bảo mật cho từng dự án. Orange tiến hành đánh giá theo ba lớp, gồm chất lượng truy xuất thông tin, hành vi của agent và các chỉ số khi chạy thực tế như độ trễ, chi phí, lỗi và phản hồi của con người. Kỹ sư có thể kiểm tra trace của từng bước, so sánh các phiên bản agent, chạy lại các lần thực thi trước đây và kiểm thử hồi quy trước khi phát hành thay đổi, qua đó xác định lỗi đến từ khâu truy xuất, prompt, mô hình, công cụ hay logic nghiệp vụ. Trường hợp này cho thấy các doanh nghiệp lớn đang chuyển từ những thử nghiệm AI riêng lẻ sang các hệ thống có thể tái sử dụng, kiểm toán và vận hành trong nhiều quy trình kinh doanh.
Các doanh nghiệp đang xây dựng trợ lý AI trên nhiều hệ thống có thể tham khảo mô hình của Orange Business: tách môi trường phát triển, giao diện cho người dùng và lớp quản trị, đồng thời quản lý tập trung agent, công cụ và quyền truy cập. Điểm thực tiễn quan trọng là cần đánh giá chất lượng, theo dõi từng bước chạy và kiểm thử hồi quy trước khi đưa agent vào quy trình sản xuất.
Đọc bài gốc