Giờ bạn có thể trồng Bonsai trên cả chiếc 'khoai tây' của mình
Một bản dựng trọng số ternary của mô hình cỡ 27B (Bonsai) đã được phát hành cho llama.cpp, hỗ trợ CUDA, Metal và CPU, giúp thu nhỏ mô hình ngôn ngữ xuống khoảng 5.9 GB so với khoảng 54 GB ở FP16 (nhỏ hơn ~9.3x). Theo công bố, mô hình giữ lại 98.2% hiệu năng so với FP16, đạt trung bình 84.78 trên 14 bài kiểm tra ở chế độ suy luận, so với 72.59 của bản IQ2XXS thông thường có dung lượng bằng khoảng 82%. Mô hình chạy ở tốc độ khoảng 47 tok/s trên laptop Apple M5 Max.
Đọc bài gốc