REMORY: Học bộ nhớ phần dư cho việc nén ngữ cảnh
REMORY là một mạng bộ nhớ nơ-ron bổ sung cho bản tóm tắt văn bản của các agent chạy dài hạn một chuỗi giới hạn các token bộ nhớ mềm, được huấn luyện để một LLM đóng băng xấp xỉ phần tiếp theo mà nó sẽ tạo ra khi có toàn bộ lịch sử. Các token này được điều kiện hóa theo bản tóm tắt và nối vào sau nó, tương tự một kết nối phần dư theo chiều chuỗi. Trên SummHay, REMORY cải thiện khả năng quy nguồn với độ bao phủ insight gần như không đổi và tiệm cận điểm kết hợp của ngữ cảnh đầy đủ chỉ với 5,2% số vị trí đầu vào; trên BrowseComp và Terminal-Bench 2.1, Qwen3.8-27B và GLM-5.3-Flash đạt kết quả tốt hơn và giảm đáng kể số lần lặp lại đầu ra công cụ cũng như lỗi công cụ.
Đọc bài gốc