CẬP NHẬT: Qwen 3.8 27B đạt 140 tok/s trên một RTX 3090 với Megakernel: KL divergence 0.0009 so với llama.cpp
Một nhà phát triển đã đăng bản cập nhật về engine CUDA megakernel cho Qwen3.8-27B, được cho là chạy nhanh hơn llama.cpp 1,4-1,9 lần trên một card RTX 3090, đạt khoảng 140 tok/s khi xử lý code. Bản cập nhật công bố KL divergence 0.0009 so với llama.cpp nhằm trả lời các câu hỏi về độ chính xác, đồng thời đề cập đến baseline và kích thước context. Mã nguồn và kết quả benchmark có trong kho GitHub open-jet.
Đọc bài gốc