LatComm: Nén ngữ cảnh có thể tái sử dụng cho giao tiếp tiềm ẩn giữa các mô hình ngôn ngữ lớn

Các hệ thống kết hợp nhiều mô hình ngôn ngữ lớn thường sử dụng một ngữ cảnh cho nhiều câu hỏi. Khi truyền ngữ cảnh dưới dạng văn bản, mô hình nhận phải xử lý lại toàn bộ token cho từng câu hỏi; một biểu diễn ngữ cảnh nhỏ gọn và có thể tái sử dụng có thể tránh được chi phí này.