NVIDIA dùng AI agent để dạy robot Microduck đi qua chướng ngại vật trong mô phỏng
NVIDIA giới thiệu quy trình hỗ trợ bằng AI để dạy robot Microduck vượt qua đường chướng ngại vật trong môi trường mô phỏng. Các agent chạy trên NVIDIA RTX Spark chuyển yêu cầu bằng ngôn ngữ tự nhiên thành kế hoạch dự án, còn Astra hỗ trợ tạo tài sản 3D và lắp ráp môi trường. NVIDIA Isaac Sim cung cấp thế giới mô phỏng, các thư viện Omniverse tạo dữ liệu cảm biến bằng hình ảnh kết xuất, còn Newton mô hình hóa chuyển động và khả năng giữ thăng bằng của robot. Isaac Lab huấn luyện một policy nhận thức và vận động—phần mềm kết hợp khả năng hiểu hình ảnh với điều khiển chuyển động—trên 4.096 môi trường song song bằng GPU NVIDIA RTX PRO 6000 Blackwell Workstation Edition. Policy sử dụng dữ liệu độ sâu từ camera trên đầu cùng trạng thái bên trong của robot, sau đó được đưa về RTX Spark để kiểm tra cục bộ khả năng phát hiện chướng ngại vật, điều chỉnh chuyển động và hoàn thành đường chạy. Quy trình này cũng dùng kỹ thuật ngẫu nhiên hóa miền và mô hình bộ truyền động cải tiến để thu hẹp khác biệt giữa mô phỏng và phần cứng thật. Về thực tế, đây là một cách có thể lặp lại để các nhà phát triển robot dựng môi trường, huấn luyện hành vi di chuyển và chuẩn bị policy cho việc triển khai từ mô phỏng sang đời thực, dù robot vẫn cần được tinh chỉnh thêm khi hoạt động ngoài thực tế.
Các nhà phát triển robot có thể tham khảo quy trình của NVIDIA để dùng AI hỗ trợ lập kế hoạch, dựng môi trường 3D và huấn luyện Microduck trong mô phỏng trước khi triển khai lên robot thật. Isaac Lab, Isaac Sim và hướng dẫn Microduck trên Hugging Face là những điểm bắt đầu thực tế để thử quy trình này.
Đọc bài gốc