NVIDIA mở rộng Cosmos để huấn luyện và triển khai mô hình thế giới cho mô phỏng tương tác
NVIDIA đã giới thiệu các cập nhật cho Cosmos, nền tảng gồm các mô hình thế giới và công cụ phát triển dành cho hệ thống AI vật lý như xe tự hành, robot và ứng dụng phẫu thuật. Cosmos Framework giúp nhà phát triển điều chỉnh mô hình theo cảm biến, tác vụ và tập dữ liệu riêng, sau đó huấn luyện, tinh chỉnh, tối ưu, đánh giá và triển khai mô hình. Nền tảng hỗ trợ LoRA, tinh chỉnh có giám sát, học tăng cường, chưng cất và lượng tử hóa, đồng thời mở rộng מעבר Cosmos 3 để hỗ trợ các mô hình như NVIDIA Alpamayo, GR00T, Qwen và pi0.5. Các recipe mới cho Cosmos 3 Nano có thể tạo đồng bộ video từ camera và quan sát LiDAR từ những checkpoint đã được phát hành, với quy trình cho mô phỏng lái xe, robot, cảnh thực tế và đánh giá chính sách phẫu thuật. Mô hình có thể sử dụng các điều khiển như bố cục đường, vật thể giao thông, thời tiết, góc nhìn camera và hình ảnh ban đầu để tạo dữ liệu mô phỏng đa camera; một mô hình lái xe tự hành hỗ trợ video dài tối đa 400 khung hình ở độ phân giải 480p hoặc 720p. Các microservice Cosmos NIM cung cấp khả năng suy luận tăng tốc bằng GPU, sử dụng lượng tử hóa, giải mã suy đoán và định tuyến có xét đến bộ nhớ đệm KV, với mức tăng tốc được NVIDIA báo cáo khoảng 2–3 lần trên GPU H200; việc tạo dữ liệu bằng Cosmos3-Nano cần khoảng 58 GiB bộ nhớ ở BF16 hoặc 44 GiB ở FP8 khi offload. Về thực tế, bản cập nhật cung cấp cho các nhà phát triển AI vật lý một quy trình đầy đủ hơn, từ tùy biến mô hình thế giới đến chạy mô phỏng hoặc phục vụ mô hình qua API, đồng thời giúp họ đánh giá rõ hơn yêu cầu về GPU và bộ nhớ khi triển khai.
Các nhóm phát triển xe tự hành, robot và AI vật lý có thể dùng Cosmos Framework để tinh chỉnh mô hình theo cảm biến và dữ liệu riêng, tạo dữ liệu mô phỏng camera–LiDAR, rồi triển khai suy luận qua Cosmos NIM. Hãy bắt đầu từ các checkpoint và recipe đã phát hành, đồng thời kiểm tra kỹ GPU và bộ nhớ cần thiết cho mô hình của mình.
Đọc bài gốc