Beam 501B: mô hình mở 1M token cho coding agent, nhưng đòi hỏi hạ tầng lớn
Beam của Reflection là mô hình MoE 501B tham số, kích hoạt khoảng 23B tham số mỗi token, hỗ trợ context 1 triệu token và giấy phép Apache 2.0. Tuy nhiên, toàn bộ trọng số vẫn phải nằm trong bộ nhớ khi triển khai.
Beam của Reflection nhắm đúng một bài toán khó của coding agent: xử lý ngữ cảnh rất dài, từ codebase, tài liệu kiến trúc đến lịch sử lỗi và đầu ra công cụ. Nhưng đằng sau con số 1 triệu token là một thực tế hạ tầng: đây vẫn là mô hình 501B tham số cần năng lực triển khai lớn.
Beam là gì?
Beam là mô hình ngôn ngữ mixture-of-experts (MoE) của Reflection, được phát hành trên Hugging Face theo giấy phép Apache 2.0. Model nhận văn bản đầu vào, sinh văn bản đầu ra, tập trung vào các tác vụ coding và agentic.
Các thông số đáng chú ý:
501 tỷ tham số tổng cộng.
Khoảng 23 tỷ tham số active cho mỗi token.
Context window tối đa 1 triệu token.
52 layer, trong đó 49 layer dùng MoE.
Mỗi token được router chọn 8 trong 256 experts ở các layer MoE.
Có checkpoint BF16, FP8 và NVFP4.
Hỗ trợ từ ngày đầu trong Transformers, SGLang và vLLM.
Beam cũng có các mức reasoning "low", "medium", "high", "xhigh" và "max"; hỗ trợ tool calling qua grammar riêng, speculative decoding với drafter model DFlash2, cùng recipe cho SFT và RL.
23B active không có nghĩa là model nhẹ
Điểm dễ gây nhầm lẫn nhất với MoE là số tham số active.
Vì Beam chỉ chạy một phần experts cho mỗi token, lượng tính toán khi sinh token thấp hơn đáng kể so với một mô hình dense 501B. Tuy nhiên, các experts không được chọn vẫn cần hiện diện trong bộ nhớ để router có thể sử dụng ở những token tiếp theo.
Nói cách khác:
23B active chủ yếu liên quan đến lượng tính toán cho từng token.
501B tổng tham số vẫn quyết định phần lớn yêu cầu bộ nhớ khi serve model.
Theo bài công bố, checkpoint BF16 của Beam có dung lượng khoảng 1 TB ở định dạng safetensors. Checkpoint NVFP4 giảm dung lượng trọng số xuống khoảng 280 GB bằng cách lưu phần lớn trọng số ở 4-bit; một số thành phần vẫn giữ BF16 để bảo toàn độ chính xác. Checkpoint FP8 được nêu là phù hợp với GPU Hopper và Ampere.
Context 1M token: lợi thế cho agent, không phải miễn phí
Context dài có thể hữu ích cho các luồng làm việc như:
Đặt codebase, tài liệu kỹ thuật và issue liên quan vào cùng một phiên phân tích.
Giữ lịch sử debug qua nhiều lượt trao đổi.
Kết hợp đầu ra từ terminal hoặc các công cụ khác với ngữ cảnh đang xử lý.
Giảm nhu cầu chia nhỏ ngữ cảnh trong một số tác vụ dài.
Để hỗ trợ context lớn, Beam dùng attention lai. Phần lớn layer dùng sliding-window attention trên 512 token trước đó; chỉ 9 layer dùng full-context attention.
Theo số liệu trong bài viết, với dynamic cache của Transformers ở BF16:
| Độ dài context | Nếu mọi layer đều global attention | Beam |
|---|---:|---:|
| 32K token | 6,5 GiB | 1,2 GiB |
| 128K token | 26 GiB | 4,6 GiB |
| 1M token | 208 GiB | 36,08 GiB |
Các số liệu này là cho mỗi sequence. Khi tăng số request đồng thời, KV cache và activation tiếp tục chiếm phần bộ nhớ còn lại sau khi nạp trọng số model.
Hạ tầng: trọng số chỉ là phần đầu của bài toán
Bài công bố đánh giá checkpoint NVFP4 là lựa chọn thực tế để serve Beam vì giảm mạnh dung lượng trọng số trong khi vẫn giữ phần lớn chất lượng so với BF16. Tuy nhiên, NVFP4 chạy native trên GPU NVIDIA Blackwell; các GPU cũ hơn Blackwell như H200 không hỗ trợ định dạng này theo cách đó.
Một B200 có 180 GB HBM3e. Hai B200 có thể chứa trọng số NVFP4, nhưng sẽ còn ít không gian cho activation và KV cache. Bài viết khuyến nghị cân nhắc bốn B200, tương đương khoảng 720 GB bộ nhớ tổng, để có dư địa cho context dài và request đồng thời.
Các cấu hình khác được nêu gồm:
Một node 8×B200.
Hai B300.
8×RTX Pro 6000.
FP8 trên phần cứng phù hợp nếu không dùng Blackwell.
Vì vậy, Beam phù hợp hơn với đội đã có cụm GPU hoặc có nhu cầu rõ ràng về tự triển khai. Đây không phải mô hình thực tế cho laptop hay một GPU cá nhân.
Hỗ trợ phần mềm và khả năng tùy biến
Beam có native implementation trong Transformers, đồng thời được hỗ trợ trong SGLang và vLLM. Reflection và Hugging Face cũng công bố recipe cho inference, supervised fine-tuning và reinforcement learning.
Giấy phép Apache 2.0 cho phép sử dụng và sửa đổi rộng rãi theo điều khoản giấy phép. Với đội phát triển cần kiểm soát stack triển khai hoặc tùy biến model cho quy trình riêng, đây là điểm khác biệt quan trọng so với việc chỉ dùng một API đóng.
Bài công bố cũng đề cập một harness mã nguồn mở viết bằng Rust, hướng tới việc khai thác hiệu năng của model.
Benchmark: đáng chú ý, nhưng cần pilot trên dữ liệu thật
Reflection cung cấp kết quả benchmark ở nhiều mức độ chính xác. Với checkpoint BF16, Beam được báo cáo đạt:
43,3% trên DeepSWE v1.1.
81,6% trên SWE-bench Verified.
80,1% trên Terminal-Bench v2.1.
88,3% trên LiveCodeBench.
97,7% trên AIME 2026.
Đây là các số liệu được cung cấp trong bài công bố, không phải đánh giá độc lập. Với đội đang xây coding agent, benchmark tổng quát không thay thế được thử nghiệm trên repository, test suite, tool schema và loại ticket thực tế của chính mình.
Beam phù hợp với ai?
| Nhu cầu | Mức độ phù hợp |
|---|---|
| Cần context rất dài cho coding agent | Có tiềm năng |
| Muốn triển khai và tùy biến model theo Apache 2.0 | Phù hợp nếu có hạ tầng |
| Có cụm GPU mạnh, cần chạy model trên hạ tầng riêng | Đáng cân nhắc |
| Chỉ cần autocomplete hoặc chat code ngắn | Khó biện minh cho yêu cầu hạ tầng |
| Muốn chạy trên máy cá nhân | Không thực tế |
| Muốn thử trước khi đầu tư phần cứng | Có thể thử qua Inference Providers được bài viết đề cập |
Kết luận
Beam đáng chú ý vì kết hợp quy mô 501B MoE, context 1 triệu token và giấy phép Apache 2.0 trong một bản phát hành mở hướng tới coding và agentic work.
Tuy vậy, “23B active” không biến Beam thành một model nhỏ: toàn bộ trọng số vẫn phải được giữ trong bộ nhớ, còn context dài tiếp tục tạo áp lực lên KV cache và khả năng phục vụ đồng thời.
Câu hỏi phù hợp cho đội dev không phải là Beam có lớn hay không, mà là liệu context dài, quyền tùy biến và khả năng tự triển khai có giải quyết được bài toán agent thực tế đủ tốt để bù cho chi phí hạ tầng hay không.