Chạy Next Flash IQ3_XXS ở ~70 tok/s với context 100k hoặc 2 instance Qwen 3.6 35B A3B IQ4 ở ~145 tok/s với 256k, tất cả trên các board BC-250 đào coin cũ giá $500
Một người dùng chia sẻ cụm 4 board BC-250 từng dùng để đào coin (tổng khoảng $500), kết nối qua ethernet 2.5Gb và chạy llama với Vulkan và RPC trong case ASRock 4U12G. Cấu hình này được cho là chạy Next Flash IQ3XXS ở ~70 tok/s với context 100k, hoặc hai instance Qwen 3.6 35B A3B IQ4 ở ~145 tok/s với context 256k. Tác giả cho biết đã dùng Claude Code trên cụm này, nâng từ mức 30 tok/s với Next Flash IQ2 lên bản quant tốt hơn mà vẫn giữ 60-70 tok/s.
Đọc bài gốc