Continuum Attention

Bài báo giới thiệu Continuum Attention (CA), một toán tử attention nhân quả cho Transformer, thay thế việc tra cứu khóa và giá trị rời rạc bằng phép tích phân trên một đường cong bộ nhớ liên tục, từng đoạn tuyến tính. Mỗi truy vấn tạo ra một mật độ mức độ liên quan hàm mũ dọc theo đường cong này.