Chấp nhận không đồng nghĩa với tốc độ: Độ dài tăng trong giải mã suy đoán mất mát không cần huấn luyện
Giải mã suy đoán thường đo mức tăng tốc bằng số token bản nháp được chấp nhận trong mỗi vòng xác minh. Xác minh không mất mát giữ nguyên phân phối đầu ra của mô hình đích và do đó giữ kỳ vọng về độ dài hoàn tất, khiến thước đo này trở thành đại diện hiệu quả có ý nghĩa; xác minh mất mát nới lỏng chấp nhận token.
Đọc bài gốc