Xây dựng hệ thống 4x R9700 cho startup 10 người
Một người dùng chia sẻ cấu hình trị giá 18 nghìn USD cho startup 10 người: Threadripper 9970x, 128GB DDR5 ECC và bốn GPU AMD Radeon R9700 AI Pro 32GB (tổng 128GB VRAM) trên nguồn 1600W, mỗi GPU được undervolt dưới 210W. Sử dụng một bản fork của Radiance để chạy Qwen 3.8 27b, Next flash và DSV4 Flash, họ báo cáo 16 phiên đồng thời với tốc độ prefill tổng hợp khoảng 6.3-6.8k tok/s cho mô hình 27b MXFP4. Với Qwen 3.8 Next flash int4fp8, tốc độ prefill đạt 6,880 tok/s và decode 538.5 tok/s ở ngữ cảnh 48K mỗi người dùng, giảm còn 3,050 và 365 tok/s ở 128k mỗi người dùng.
Đọc bài gốc