NVIDIA giới thiệu TensorRT Edge-LLM để phát triển AI biên bằng vài lệnh
NVIDIA đã giới thiệu TensorRT Edge-LLM, một runtime C++ gọn nhẹ và công cụ dòng lệnh để phát triển, thử nghiệm các model AI trên phần cứng nhúng. Quy trình này sử dụng NVIDIA DGX Spark bản 64GB để tải model, xây dựng TensorRT engine đã tối ưu, chạy phiên trò chuyện cục bộ và cung cấp API tương thích OpenAI cho việc dựng nguyên mẫu ứng dụng. Hướng dẫn của NVIDIA chạy NVIDIA Nemotron-3.5 Lightning, một model chỉ xử lý văn bản, bằng CLI trtedge; lần thiết lập đầu tiên cần tải khoảng 21GB dữ liệu và yêu cầu CUDA 13, TensorRT 10.16.1.11 hoặc mới hơn trong dòng 10.x, cùng Python 3.10–3.12. TensorRT Edge-LLM được thiết kế để dùng cùng một framework suy luận từ giai đoạn phát triển trên DGX Spark đến khi triển khai trên Jetson Thor, DRIVE AGX Thor và IGX Thor. NVIDIA cũng trình diễn speculative decoding của DSpark, kỹ thuật dùng một model nháp để đề xuất trước các token, giúp tốc độ sinh trung bình trên các prompt HumanEval tăng từ 73,4 lên 126,9 token/giây, trong khi bộ nhớ đỉnh sử dụng là 27,9GB. Bộ công cụ hướng đến các ứng dụng AI vật lý như giám sát tài xế, robot và điều phối máy móc trong nhà máy, nơi bộ nhớ, điện năng và độ trễ phản hồi đều bị giới hạn. Về thực tế, lập trình viên có thể dựng thử dịch vụ AI biên trên DGX Spark trước khi chuyển sang các nền tảng NVIDIA nhúng được hỗ trợ.
Lập trình viên xây dựng ứng dụng AI biên có thể dùng DGX Spark 64GB và TensorRT Edge-LLM để tải model, tối ưu engine, chạy thử Nemotron-3.5 Lightning và cung cấp API tương thích OpenAI bằng vài lệnh. Quy trình này phù hợp để thử nghiệm trước khi triển khai lên các nền tảng Jetson Thor, DRIVE AGX Thor hoặc IGX Thor được hỗ trợ.
Đọc bài gốc