Virgin Media O2 giảm 30% chi phí compute của dbt nhờ dbt v2 và dbt State
Virgin Media O2, mạng viễn thông hội tụ lớn nhất Vương quốc Anh, đã giảm khoảng 30% chi phí compute của dbt và rút ngắn thời gian chạy mô hình khoảng 35% sau khi áp dụng dbt v2 và dbt State trên nền tảng BigQuery. Hệ thống này phục vụ hơn 300 người dùng dbt, hơn 100 dự án và trên 5.500 mô hình cho 42 triệu khách hàng. Pipeline lớn nhất của công ty, một tác vụ gồm 1.424 mô hình có tên “Nutcracker”, giảm thời gian chạy từ khoảng 1 giờ 53 phút xuống còn 1 giờ 13 phút khi bật dbt State. Tính năng này ghi nhớ những gì đã được xây dựng và bỏ qua các mô hình không bị ảnh hưởng khi dữ liệu đầu vào phía trên không thay đổi, giúp mức sử dụng BigQuery giảm từ khoảng 4.500 xuống 3.400 slot mỗi giờ và tiết kiệm khoảng 96 USD cho mỗi lần chạy theo mức giá on-demand. Trong toàn bộ quá trình chuyển đổi, mức phụ thuộc vào pipeline CI/CD giảm khoảng 25%, còn các nhà phát triển cho biết thời gian chờ build giảm khoảng 35%; riêng tác vụ lớn nhất cải thiện khoảng 40% trong kết quả tổng thể. Quá trình chuyển đổi cũng đòi hỏi xử lý lượng nợ kỹ thuật tích lũy qua nhiều năm và cập nhật các package chưa tương thích, trong khi việc tích hợp với hệ thống FinOps kiểm soát mô hình tính giá của Virgin Media O2 vẫn chưa hoàn tất. Trường hợp này cho thấy cơ chế build tăng dần và khả năng ghi nhớ trạng thái có thể giảm hóa đơn đám mây và giúp đội dữ liệu nhận phản hồi nhanh hơn, đặc biệt khi dự án phân tích trở nên quá lớn để chạy lại toàn bộ mỗi lần có thay đổi.
Các đội dữ liệu và doanh nghiệp đang chạy dbt trên BigQuery có thể xem dbt v2 và dbt State như hướng tối ưu pipeline: hệ thống có thể bỏ qua những mô hình không bị ảnh hưởng thay vì xây dựng lại toàn bộ. Tuy nhiên, nên kiểm tra nợ kỹ thuật, package tương thích và cấu hình FinOps trước khi triển khai rộng.
Đọc bài gốc