Hugging Face giới thiệu Beam, mô hình mở 501B tham số cho coding và agent
Hugging Face công bố Beam, mô hình đầu tiên của phòng thí nghiệm AI Reflection tại Mỹ: một mô hình ngôn ngữ mở dạng mixture-of-experts có 501 tỷ tham số, trong đó 23 tỷ tham số được kích hoạt cho mỗi token. Mô hình nhận đầu vào là văn bản, hỗ trợ ngữ cảnh dài 1 triệu token, tập trung vào các tác vụ lập trình và agent, đồng thời được phát hành theo giấy phép Apache 2.0 cho phép sử dụng và tùy biến rộng rãi. Beam có các mức suy luận từ low đến max, khả năng duy trì quá trình suy luận qua nhiều lượt, gọi công cụ, giải mã đầu cơ và các checkpoint ở định dạng BF16, FP8 và NVFP4. Mô hình được hỗ trợ ngay trong Transformers, vLLM và SGLang, đi kèm một inference harness viết bằng Rust cùng các công thức để fine-tune có giám sát và huấn luyện tăng cường. Dù mỗi token chỉ tính toán 23B tham số, toàn bộ 501B tham số vẫn phải nằm trong bộ nhớ, nên bản BF16 có dung lượng khoảng 1 TB; các bản FP8 và NVFP4 hướng tới những thế hệ GPU NVIDIA mới hơn. Reflection dành 10.000 USD tín dụng Hugging Face Hub cho các dự án xây dựng với Beam, gồm demo, bản lượng tử hóa, bộ dữ liệu, môi trường học tăng cường và benchmark. Bản phát hành này mở ra lựa chọn để các tổ chức tự chạy và tùy biến một mô hình quy mô hàng đầu trên hạ tầng riêng, nhưng yêu cầu bộ nhớ khiến Beam chủ yếu phù hợp với các đội nhóm có hạ tầng mạnh thay vì máy tính cá nhân thông thường.
Beam đã có trên Hugging Face để các nhóm phát triển thử nghiệm, triển khai và tinh chỉnh cho coding hoặc agent, nhưng yêu cầu bộ nhớ rất lớn: bản BF16 khoảng 1 TB. Doanh nghiệp, phòng nghiên cứu và nhà phát triển có hạ tầng GPU phù hợp có thể xem xét dùng vLLM, SGLang hoặc harness Rust đi kèm; người dùng cá nhân nên chờ các bản lượng tử hóa hoặc dịch vụ được lưu trữ sẵn.
Đọc bài gốc