Latent Sparse Attention: Hướng tới cơ chế chú ý siêu dài với độ phức tạp dưới bậc hai

Các quy trình agentic ngày càng chuyển sang những nhiệm vụ kéo dài, chẳng hạn nghiên cứu khoa học mở, trong đó mô hình hưởng lợi từ cửa sổ ngữ cảnh dài. Tuy nhiên, với ngữ cảnh siêu dài trên 1M token, full attention có chi phí quá cao; sparse attention là một hướng tiếp cận đầy hứa hẹn.