Cache Engineering for Agents: Kiểm soát bộ nhớ KV cho các tác vụ dài
Bài báo “Cache Engineering for Agents” đề xuất một cách để các tác nhân dùng mô hình ngôn ngữ lớn kiểm soát bộ nhớ đệm key-value (KV) khi xử lý chuỗi dài các quan sát và hành động. Trong những tác vụ kéo dài, việc đọc và lưu bộ nhớ này có thể trở thành chi phí chính, trong khi quỹ đạo hoạt động có thể vượt quá giới hạn ngữ cảnh của mô hình. Các phương pháp hiện nay thường cắt bớt hoặc tóm tắt lịch sử, nhưng việc thay đổi phần đầu của quỹ đạo sẽ làm mất hiệu lực các trạng thái đã lưu phía sau, buộc hệ thống phải tính toán lại tốn kém và có thể làm giảm độ chính xác. Phương pháp mới cho phép agent loại bỏ một số thông tin đã lưu khỏi các bước chú ý sau này và điều chỉnh mã hóa vị trí của các khóa được giữ lại mà không phải viết lại quỹ đạo hay nạp lại toàn bộ ngữ cảnh, qua đó có thể giúp các agent xử lý tác vụ dài hiệu quả hơn.
Nghiên cứu này đáng chú ý với các nhà phát triển agent AI phải xử lý lịch sử tương tác dài, vì nó hướng tới giảm chi phí bộ nhớ và tính toán mà không cần cắt hoặc tóm tắt lại toàn bộ lịch sử. Đây vẫn là phương pháp nghiên cứu; nên theo dõi thêm kết quả thực nghiệm trước khi áp dụng vào hệ thống thực tế.
Đọc bài gốc