Thinking Inertia: LLM vẫn tiếp tục suy luận dù được yêu cầu không suy luận
Bài báo mới "Thinking Inertia: LLMs Keep Thinking When Told Not To" nghiên cứu cách các mô hình ngôn ngữ lớn hành xử khi được yêu cầu không suy luận, tức chế độ "no-thinking", vốn được quan tâm ít hơn nhiều so với chế độ "thinking" mà nhiều mô hình hiện đã tích hợp. Các tác giả cho rằng những cách định nghĩa no-thinking phổ biến đều thiếu tin cậy: chế độ thinking bị tắt vẫn có thể sinh ra lập luận, còn một đầu ra dài có thể chỉ là văn bản chèn cho đủ chứ không phải suy luận thực sự. Thay vào đó, nhóm tách mỗi phản hồi thành phần trace trước câu trả lời và câu trả lời cuối cùng, rồi chấm bằng ba chỉ số. Empty-Thinking Rate kiểm tra mức tuân thủ nghiêm ngặt việc chỉ đưa ra đáp án. Question-Pre-answer Relevance đo mức tương đồng giữa câu hỏi và phần trace, có tính đến chỉ dẫn. Explicit Inference Rate dùng một LLM làm giám khảo để phát hiện lập luận từng bước hiển thị rõ ràng. Ba chỉ số này giúp phân biệt đầu ra chỉ có đáp án, văn bản có liên quan nhưng không suy luận, và suy luận tường minh. Với những ai tắt thinking để tiết kiệm thời gian hoặc chi phí, bài báo gợi ý rằng mô hình có thể vẫn không ngừng suy luận, nên cần đo đạc thay vì mặc định.
Nếu bạn tắt chế độ suy luận (thinking) để giảm độ trễ hoặc chi phí, đừng mặc định mô hình sẽ trả lời ngay; hãy kiểm tra thực tế đầu ra và số token sinh ra. Nhà phát triển có thể tham khảo các chỉ số đề xuất trong bài để đánh giá hành vi này.
Đọc bài gốc