LangChain trình bày cách Deep Agents quản lý context cho các tác vụ AI dài hơi
LangChain vừa trình bày cách Deep Agents SDK mã nguồn mở quản lý context trong các tác vụ AI dài hơi, vốn có thể vượt quá cửa sổ context hữu hạn của mô hình và dẫn đến “context rot” — tình trạng các chi tiết quan trọng ngày càng khó được sử dụng một cách đáng tin cậy. SDK kết hợp khả năng lập kế hoạch, gọi các agent con và một lớp filesystem abstraction, cho phép agent lưu trữ, tìm kiếm và lấy lại thông tin bên ngoài cuộc hội thoại đang hoạt động. SDK sử dụng ba phương pháp nén context: kết quả tool lớn hơn 20.000 token được lưu vào đĩa rồi thay bằng đường dẫn tệp kèm bản xem trước 10 dòng đầu; các tham số cũ của thao tác ghi và chỉnh sửa tệp được đưa ra khỏi context khi context đạt 85% giới hạn; và khi việc offload không còn đủ, toàn bộ cuộc hội thoại được thay bằng bản tóm tắt có cấu trúc về mục tiêu phiên làm việc, các tệp hoặc sản phẩm đã tạo và bước tiếp theo. Các tin nhắn gốc vẫn được lưu đầy đủ trên filesystem để agent có thể khôi phục chi tiết sau này, trong khi ngưỡng token được xác định theo từng mô hình. LangChain cho biết các bài đánh giá mục tiêu và việc cố tình kích hoạt nén thường xuyên giúp họ kiểm tra agent có giữ được mục tiêu và lấy lại thông tin đã tóm tắt hay không. Điều này cho thấy quản lý context đang trở thành một yêu cầu kỹ thuật cốt lõi để xây dựng các agent đáng tin cậy khi xử lý tác vụ dài và phức tạp.
Các nhà phát triển xây dựng agent dài hơi có thể dùng Deep Agents SDK để giảm tràn context: lưu kết quả lớn ra filesystem, tự động rút gọn lịch sử và truy xuất lại chi tiết khi cần. Đây là cách thực tế để agent làm việc ổn định hơn với các tác vụ nhiều bước, nhưng vẫn nên kiểm thử khả năng giữ mục tiêu sau khi tóm tắt.
Đọc bài gốc