Meta ra mắt Muse Spark Open, mô hình đa phương thức open-weight 816 tỷ tham số cho tác vụ lập trình
Meta đã giới thiệu Muse Spark Open, một mô hình đa phương thức open-weight sử dụng kiến trúc mixture-of-experts, được thiết kế cho các tác vụ lập trình theo kiểu agent. Mô hình có khoảng 816 tỷ tham số tổng cộng nhưng chỉ kích hoạt khoảng 42 tỷ tham số cho mỗi token, nhận đầu vào là văn bản, hình ảnh, âm thanh và video, tạo đầu ra dạng văn bản, đồng thời hỗ trợ cửa sổ ngữ cảnh lên tới 1 triệu token. Meta huấn luyện mô hình trên các quy trình phát triển phần mềm như đọc toàn bộ codebase, tái cấu trúc nhiều tệp, gỡ lỗi trong các phiên làm việc dài, gọi công cụ và duyệt web có hình ảnh. Kiến trúc này có 256 chuyên gia trong mỗi lớp và bộ định tuyến chọn 8 chuyên gia cho mỗi token; cách thiết kế đó giảm lượng tính toán, nhưng toàn bộ chuyên gia vẫn phải được lưu trong bộ nhớ, khiến checkpoint BF16 có dung lượng khoảng 1.5 TB. Meta cung cấp checkpoint BF16 và NVFP4, cùng hướng dẫn triển khai qua Transformers, llama.cpp, vLLM và SGLang; bản BF16 được thiết kế để chạy trên 32 GPU H200, còn bản NVFP4 nhắm tới một node B200 duy nhất. Muse Spark Open cũng có các bộ mã hóa riêng cho hình ảnh/video và âm thanh, cho phép một mô hình vừa phân tích ảnh chụp màn hình, xem bản ghi màn hình hoặc nghe ghi âm, vừa làm việc với mã nguồn. Trên thực tế, mô hình đem lại một giao diện chung để xây dựng coding agent đa phương thức, nhưng yêu cầu bộ nhớ rất lớn khiến nó chủ yếu phù hợp với trung tâm dữ liệu thay vì triển khai cục bộ thông thường.
Các đội ngũ phát triển và doanh nghiệp có hạ tầng GPU lớn có thể thử Muse Spark Open cho tác vụ lập trình đa phương thức như đọc ảnh chụp màn hình, nghe ghi âm và phân tích video cùng với mã nguồn. Kích thước khoảng 1.5 TB ở bản BF16 khiến đây chưa phải lựa chọn thực tế cho máy cá nhân; nên xem các hướng dẫn triển khai và yêu cầu phần cứng trước khi thử.
Đọc bài gốc