NVIDIA giới thiệu Nemotron 3.5 Super VL, mô hình đa phương thức 120B cho agent chuyên biệt
NVIDIA đã giới thiệu Nemotron 3.5 Super VL, một mô hình đa phương thức mở và có thể tùy biến dành cho các agent doanh nghiệp chuyên biệt. Kiến trúc mixture-of-experts của mô hình có 120 tỷ tham số nhưng chỉ kích hoạt 12 tỷ tham số cho mỗi token; NVIDIA cho biết mô hình đạt thông lượng cao hơn tới 5 lần so với các mô hình mở cùng cỡ trong những tác vụ agent. Mô hình kết hợp khả năng suy luận, làm theo hướng dẫn, sử dụng công cụ và hiểu văn bản, hình ảnh, tài liệu cũng như video, giúp các nhóm không phải triển khai riêng mô hình văn bản và mô hình thị giác. Nemotron 3.5 Super VL hướng đến các tác vụ như lập trình, nghiên cứu web, phân tích tài liệu, an ninh mạng và hiểu video. Nhà phát triển có thể tùy chỉnh mô hình bằng NVIDIA NeMo thông qua supervised fine-tuning, LoRA và reinforcement learning; NVIDIA cho biết Scale AI, Ramp và AI21 đã đạt các kết quả như giảm 40 lần chi phí suy luận, giảm 10 lần độ trễ, tăng tới 50% thông lượng và tăng 40% độ chính xác trong những quy trình cụ thể. Mô hình sử dụng các kỹ thuật như speculative decoding, lượng tử hóa NVFP4, dự đoán nhiều token và tái sử dụng ngữ cảnh để tăng hiệu quả suy luận. Về thực tế, đây là một nền tảng chung để doanh nghiệp xây dựng agent có thể hiểu thông tin trực quan, xử lý các nhiệm vụ nhiều bước và gọi công cụ, đồng thời được điều chỉnh theo dữ liệu, chính sách và quy trình riêng của tổ chức.
Nhà phát triển và doanh nghiệp có thể xem Nemotron 3.5 Super VL như một nền tảng để xây dựng agent xử lý đồng thời văn bản, hình ảnh, tài liệu và video, rồi tinh chỉnh theo dữ liệu, công cụ và quy trình riêng bằng NVIDIA NeMo. Các kết quả chi phí, độ trễ và độ chính xác nêu trong bài là theo từng quy trình cụ thể, nên cần đánh giá trên dữ liệu thực tế trước khi triển khai.
Đọc bài gốc