Chi phí lưu trữ ẩn của AI tăng theo từng lượt suy luận
Chi phí hạ tầng AI không dừng ở GPU và câu trả lời của mô hình: mỗi lượt suy luận có thể để lại prompt, nhật ký, ngữ cảnh được lưu tạm, đầu ra trung gian, bản sao lưu và hồ sơ an toàn. Theo phép đo của WD, một video AI dài 8 giây được trả về dưới dạng tệp 720p 3,97MB đã tạo ra hơn 500MB dữ liệu liên quan ở hệ thống phía sau, lớn gấp khoảng 130 lần tệp đầu ra mà người dùng nhìn thấy. Ở quy mô doanh nghiệp, các video dài hơn và độ phân giải cao hơn có thể tạo ra hàng trăm gigabyte dữ liệu lưu trữ cho mỗi video. Suy luận diễn ra liên tục, khác với quá trình huấn luyện mô hình, nên lượng dữ liệu tích lũy không biến mất khi một dự án ngốn nhiều năng lực tính toán kết thúc. McKinsey dự báo nhu cầu suy luận AI sẽ tăng với tốc độ kép hằng năm 35% đến năm 2030, trong khi khảo sát IDC do WD tài trợ cho thấy gần 95% người được hỏi nhận thấy khối lượng dữ liệu tạo sinh tăng trong năm qua và 61% ghi nhận mức tăng ít nhất 25%. Điều này có nghĩa các công ty cần lập ngân sách cho dung lượng lưu trữ, tốc độ truy xuất và chính sách lưu giữ dữ liệu, chứ không chỉ cho bộ xử lý; nếu không, dữ liệu phình to và việc truy xuất chậm có thể khiến các chương trình AI đắt đỏ hơn và khó mở rộng.
Doanh nghiệp triển khai AI, đặc biệt là tạo video hoặc RAG, nên tính chi phí lưu trữ, truy xuất và lưu giữ dữ liệu ngay từ đầu thay vì chỉ lập ngân sách cho GPU. Các đội ngũ kỹ thuật cũng nên rà soát chính sách lưu trữ và phân tầng dữ liệu để tránh chi phí tăng mạnh khi số lượt suy luận mở rộng.
Đọc bài gốc