Tôi đã thử nghiệm các bản lượng tử hóa khác nhau của Qwen 3.8 27B
Một người dùng đã đánh giá ba phiên bản lượng tử hóa của Qwen3.8-27B trên GPU R9700: Qwen3.8-27B-UD-Q6KL, Swift-Qwen3.8-27B-Q6K và Swift-1.5-Qwen3.8-27B-MXFP4-A-outQ6K. Tác giả cho biết các bài thảo luận về FP4 thường tập trung vào tốc độ hơn là chất lượng, và đưa ra giả thuyết rằng UD-Q6KL chính xác nhất nhưng chậm nhất, còn bản MXFP4 kém chính xác nhất nhưng nhanh nhất. Đoạn trích cho biết các mô hình được chạy bằng Llama.cpp và chưa có kết quả cụ thể.
Đọc bài gốc