Cộng đồng Hacker News chia sẻ tuyên bố Cerebras triển khai mô hình AI 3 nghìn tỷ tham số trên 59 wafer
Cerebras mô tả cách chạy các mô hình có hàng nghìn tỷ tham số trên nhiều bộ xử lý wafer-scale WSE-3T, trong đó mỗi wafer có 44 GB bộ nhớ tích hợp. Lấy Kimi K3 — mô hình mã nguồn mở khoảng 3 nghìn tỷ tham số — làm ví dụ, thiết kế này lưu trọng số ở độ chính xác 4 bit và phân bổ 93 tầng lên 59 wafer, với mỗi wafer chứa một tầng dense-attention hoặc hai tầng linear-attention. Cerebras cho biết cấu hình này hướng tới tốc độ 1.000–2.000 token mỗi giây trở lên. Hệ thống sử dụng xử lý đường ống: trọng số của mô hình được giữ cố định trên từng wafer, còn các kết quả trung gian được truyền sang wafer tiếp theo với thời gian khoảng 2 microgiây mỗi chặng. Các tầng linear-attention chỉ cần một trạng thái nhỏ cố định, trong khi các tầng dense-attention cần bộ nhớ đệm key-value (KV cache) tăng theo độ dài văn bản và số yêu cầu đang hoạt động. Nhiều yêu cầu được đưa qua các giai đoạn khác nhau cùng lúc; các nhóm nhỏ gọi là micro-batch giúp đánh đổi giữa độ trễ của từng yêu cầu và thông lượng tổng thể. Trên thực tế, dung lượng còn lại dành cho KV cache quyết định có thể xử lý đồng thời bao nhiêu yêu cầu dài. Cách làm này cho thấy phần cứng wafer-scale chuyên dụng có thể giữ các mô hình rất lớn ngay trên chip thay vì liên tục chuyển trọng số từ bộ nhớ ngoài, qua đó có khả năng tăng tốc độ phục vụ các ứng dụng AI quy mô lớn.
Các đội ngũ xây dựng dịch vụ AI quy mô lớn nên theo dõi cách Cerebras phân tầng mô hình và dùng KV cache để phục vụ nhiều yêu cầu cùng lúc; đây chưa phải là hướng triển khai phổ biến cho nhà phát triển cá nhân. Kỹ thuật này đáng chú ý nếu bạn quan tâm đến suy luận mô hình rất lớn, nhưng cần chờ thông tin triển khai và hiệu năng được xác minh trước khi lên kế hoạch sử dụng.
Đọc bài gốc