Người dùng LocalLLaMA cho rằng NVIDIA Nemotron Bolt 3.5 74B A9B sẽ ra mắt ngày 15/10
Một bài đăng trên r/LocalLLaMA cho rằng NVIDIA sẽ phát hành Nemotron Bolt 3.5 74B A9B vào ngày 15/10. Mô hình này được mô tả là hệ thống mixture-of-experts (MoE) có tổng cộng 74 tỷ tham số nhưng chỉ kích hoạt khoảng 9 tỷ tham số cho mỗi lượt trả lời, đồng thời có thể nằm gọn trong 24GB bộ nhớ nhờ lượng tử hóa 2-bit. Bài đăng tuyên bố thiết kế này hướng tới sự cân bằng giữa tốc độ và năng lực, có thể nhanh hơn nhiều mô hình dense phổ biến nhưng thông minh hơn các MoE có dung lượng bộ nhớ tương tự. Bài viết cũng đề cập một mô hình nhỏ hơn là Nemotron 3.5 Bolt E4B, dự kiến ra mắt ngày 23/10 và có dung lượng 4GB.
Nếu thông tin này chính xác, các nhà phát triển có GPU khoảng 24GB sẽ có thêm một mô hình cần theo dõi để chạy cục bộ, còn bản E4B có thể phù hợp với thiết bị chỉ có 4GB bộ nhớ. Tuy nhiên đây mới là tuyên bố chưa được xác minh từ cộng đồng, nên nên chờ thông báo hoặc bản phát hành chính thức trước khi lên kế hoạch sử dụng.
Đọc bài gốc