NVIDIA giới thiệu cuDF skills dùng AI agent để viết lại UDF Apache Spark cho GPU
NVIDIA giới thiệu cuDF skills cho Apache Spark, bộ quy trình dùng AI agent giúp lập trình viên viết lại các hàm tùy chỉnh để tác vụ xử lý dữ liệu có thể tiếp tục chạy trên GPU. Những hàm này, gọi là UDF, có thể khiến một tác vụ đang được GPU tăng tốc phải chuyển dữ liệu sang CPU, làm phát sinh chi phí truyền dữ liệu và thời gian xử lý. NVIDIA nêu ba cách viết lại: dùng biểu thức Spark SQL cho logic đơn giản, giao diện RapidsUDF với cuDF cho thao tác phức tạp hơn, hoặc mã CUDA tùy chỉnh cho các trường hợp đòi hỏi cao. Quy trình hỗ trợ kiểm thử, chuyển đổi, đo hiệu năng và xác thực, thay vì mặc định coi mã được viết lại là đúng. Theo NVIDIA, một công ty công nghệ tiêu dùng đã chuyển đổi hơn 30 UDF dùng trong môi trường vận hành; với một UDF trong tác vụ xử lý 600 tỷ hàng dữ liệu, thời gian xử lý của toán tử giảm từ 274,55 giờ xuống 12,78 giờ. Với các nhóm đã dùng plugin cuDF, đây là một cách tìm và loại bỏ điểm nghẽn khiến tác vụ Spark chưa tận dụng hết khả năng tăng tốc của GPU.
Nhóm kỹ thuật tại Việt Nam đang chạy Apache Spark với plugin cuDF có thể thử dùng cuDF skills để xác định và viết lại UDF gây chuyển xử lý về CPU. Cần kiểm tra kết quả tính toán và đo hiệu năng trên dữ liệu của mình trước khi đưa vào vận hành.
Đọc bài gốc