SpecCompact: Tăng tốc nén ngữ cảnh của tác tử LLM bằng xác minh suy đoán ngữ nghĩa song song theo slot

Tác tử LLM dùng nén ngữ cảnh để quản lý lịch sử tương tác ngày càng dài, nhưng việc tóm tắt bằng mô hình lớn có thể gây độ trễ đáng kể. SpecCompact khai thác các slot tóm tắt có cấu trúc để giữ lại thông tin và tăng tốc quá trình nén.