Boole-1.7B: Mô hình Qwen3-1.7B 1-bit vượt trội hơn Bonsai-1.7B
Precision Numerics ra mắt với việc phát hành Boole-1.7B, phiên bản 1-bit của Qwen3-1.7B với trọng số đóng gói 247 MB, nhỏ hơn 13,9 lần so với BF16. Theo công bố, mô hình giữ được 85,9% điểm trung bình của bản BF16 trong bộ đánh giá 10 tác vụ của chính hãng, vượt Bonsai-1.7B 1-bit và gần bằng Bonsai-1.7B 1.58-bit. Mô hình hướng đến các tác vụ độ trễ thấp, tiếng Anh, chế độ không suy luận, và có thể chạy trên trình duyệt, với vLLM hoặc llama.cpp.
Đọc bài gốc