Nhắc nhở: hãy thử MTP xác suất nếu bạn chưa thử. Tốc độ decode tăng 14% với văn xuôi

Một bài đăng nhắc người dùng llama.cpp rằng hỗ trợ MTP (dự đoán nhiều token) theo xác suất, được thêm trong pull request 27694, đã được merge và khuyên nên cập nhật. Tác giả báo cáo tốc độ decode tăng khoảng 14% khi sinh văn xuôi, với các giá trị draft-n-max và draft-p-min tối ưu tương tự như khi dùng greedy sampling. Các bài kiểm tra được chạy với thinking tắt và ngram-mod tắt.