Thoughtworks: Dữ liệu sẵn sàng cho AI, phần 2 – truy cập API/SQL, dữ liệu phi cấu trúc, lineage và observability
Thoughtworks vừa đăng phần 2 trong loạt bài "AI-ready data", tiếp nối phần 1 về các nền tảng cơ bản (dữ liệu chất lượng cao và được quản trị, metadata và danh mục dữ liệu, lớp ngữ nghĩa nghiệp vụ) bằng những chủ đề nâng cao hơn. Về cách truy cập dữ liệu, bài so sánh API và SQL: API cần thiết lập nhiều hơn và có độ trễ cao hơn nhưng an toàn hơn vì chỉ mở các điểm truy cập đã định nghĩa, còn SQL trực tiếp dễ triển khai và linh hoạt hơn nhưng có nguy cơ AI "bịa" kết quả và SQL injection (chèn mã độc vào câu truy vấn), nên cần phân quyền và rào chắn. Các tác giả ví von điều này như đi phương tiện công cộng so với tự lái xe. Với dữ liệu phi cấu trúc như hình ảnh, video và tài liệu, AI chia nhỏ nội dung rồi lưu dưới dạng vector (biểu diễn bằng số). Thách thức gồm giữ vector luôn cập nhật khi nguồn thay đổi, bảo toàn quyền truy cập gốc và tránh mất ngữ cảnh khi cắt nhỏ nội dung; metadata đóng vai trò "sợi chỉ đỏ" nối các mảnh bằng chứng rời rạc. Bài cũng phân biệt lineage (dữ liệu đã đi đến trạng thái hiện tại như thế nào) với observability (hệ thống đang hoạt động ra sao lúc này), cho rằng hai khái niệm bổ trợ nhau, giống như hồ sơ bệnh án kết hợp đồng hồ thông minh. Trên thực tế, đây là tài liệu định hướng khái niệm cho các nhóm chuẩn bị dữ liệu cho AI, nhấn mạnh sự cân bằng giữa quản trị và tính linh hoạt.
Các nhóm dữ liệu và kỹ sư xây nền tảng AI nên cân nhắc giữa API (an toàn hơn) và truy cập SQL trực tiếp (linh hoạt nhưng rủi ro hơn), đồng thời chú ý đến quyền truy cập, lineage và observability. Đây là bài hướng dẫn khái niệm, không phải công cụ để dùng ngay.
Đọc bài gốc