LongZero: Tăng cường khả năng suy luận ngữ cảnh dài trong LLM từ dữ liệu bằng không

Học tăng cường (RL) có thể cải thiện khả năng suy luận ngữ cảnh dài của mô hình ngôn ngữ lớn (LLM), nhưng cần dữ liệu huấn luyện dài, đa dạng, thách thức và có thể kiểm chứng. Dữ liệu như vậy rất tốn kém để gán nhãn thủ công, trong khi dữ liệu tự nhiên lại quá khan hiếm để duy trì RL.