NVIDIA nêu 3 cách tăng tốc suy luận MoE của Ling-3.0-flash trên DGX Spark
NVIDIA báo cáo ba kỹ thuật giúp cải thiện suy luận cho mỗi yêu cầu của mô hình Ling-3.0-flash từ Inclusion AI trên hệ thống DGX Spark. Mô hình mixture-of-experts (MoE) này có tổng cộng 124 tỷ tham số nhưng chỉ kích hoạt 5,1 tỷ tham số cho mỗi token; quá trình phân tích cho thấy tốc độ giải mã chủ yếu bị giới hạn bởi thời gian đọc trọng số mô hình từ bộ nhớ. Thay backend MoE MXFP4 mặc định của FlashInfer bằng Humming giúp giảm thời gian tạo mỗi token từ 27,71 ms xuống 25,35 ms, tăng thông lượng 9,3%. Lượng tử hóa FP8 trực tuyến cho lớp đầu ra — chuyển trọng số sang định dạng 8-bit nhỏ hơn trong lúc mô hình chạy — làm giảm lượng dữ liệu phải đọc và nâng mức cải thiện lũy kế lên 21,7%. Giải mã suy đoán bằng dự đoán nhiều token sử dụng lớp NEXTN tích hợp của mô hình, chấp nhận trung bình 3,90 token mỗi vòng và tăng thông lượng 185,1% trong workload tổng hợp. Trên toàn bộ benchmark GSM8K, việc kết hợp các tối ưu hóa giúp tăng thông lượng giải mã 42,5% và giảm độ trễ trung bình 24,5%, trong khi không ghi nhận thay đổi có ý nghĩa thống kê về độ chính xác. Kết quả cho thấy các nhà phát triển có thể cải thiện việc phục vụ mô hình lớn cục bộ không chỉ bằng cách thay đổi mô hình, mà còn bằng cách tối ưu lưu lượng bộ nhớ, kernel GPU và số token được xác minh trong mỗi lần.
Các nhà phát triển đang chạy Ling-3.0-flash trên NVIDIA DGX Spark có thể thử ba tối ưu hóa theo hướng dẫn trong Ling cookbook để giảm độ trễ và tăng số token xử lý. Tuy nhiên, các con số được nêu là kết quả benchmark cụ thể, nên cần đo lại trên workload thực tế của mình.
Đọc bài gốc