NVIDIA xây dựng ngôi nhà ma tương tác bằng các mô hình Nemotron mở
Các kỹ sư NVIDIA đã xây dựng MonsterHouse, một mô hình trình chiếu tương tác cho Halloween có thể lắng nghe người đến xin kẹo, trả lời bằng giọng của một con tàu cướp biển già nua hay cáu kỉnh, rồi trở nên thân thiện hơn khi khách nói “làm ơn” và “cảm ơn”. Hệ thống chạy cục bộ trên một máy trạm duy nhất, sử dụng Nemotron Speech để nhận dạng giọng nói, Nemotron 3.5 Bolt E4B làm mô hình hội thoại, Magpie TTS Zeroshot để tạo giọng nói, Audio2Face-3D để làm chuyển động cho chiếc miệng bằng gỗ trên cửa gara, cùng các mô hình thị giác để mô tả trang phục và theo dõi khách. Dự án kết hợp mô hình nhân vật trong Unreal Engine 5 với một luồng hội thoại có thể ghi nhớ trạng thái của từng lượt tương tác, thay vì chỉ dựa vào một lời nhắc đơn giản kiểu “hãy cáu kỉnh”. Sau khi thử nghiệm hơn một chục mô hình, tác giả chọn bản Bolt E4B lượng tử hóa 4-bit có tên 4GB và huấn luyện một adapter LoRA—một mô-đun nhỏ giúp chuyên biệt hóa hành vi của mô hình—bằng hơn 5.000 cuộc hội thoại nhiều lượt. Hệ thống chạy trên máy trạm trang bị GPU NVIDIA RTX PRO 6000 Blackwell Max-Q và RTX PRO 4000 Blackwell. Dự án cho thấy các mô hình ngôn ngữ nhỏ chạy cục bộ có thể tạo ra nhân vật tương tác phản hồi nhanh, hoạt động ngoại tuyến khi được kết hợp với các hệ thống giọng nói, hoạt ảnh và thị giác, mà không cần kết nối đám mây.
Lập trình viên và nhà phát triển trải nghiệm tương tác có thể tham khảo MonsterHouse như một ví dụ về việc kết hợp mô hình ngôn ngữ nhỏ chạy cục bộ với nhận dạng giọng nói, tổng hợp giọng nói, hoạt ảnh khuôn mặt và thị giác máy tính. Bài viết cũng cho thấy LoRA có thể dùng để định hình tính cách và luồng hội thoại của một tác nhân AI chuyên biệt.
Đọc bài gốc