DoSA: Tăng tốc sparse attention bằng chứng nhận Top-K chính xác
Các nhà nghiên cứu giới thiệu DoSA (Dots Sparse Attention), một phương pháp không làm thay đổi kết quả nhằm tăng tốc hệ thống sparse attention mà vẫn giữ nguyên các token được chọn. Thay vì chấm điểm đầy đủ mọi key ứng viên, DoSA dùng một tập hạt giống cùng các cận trên và cận dưới toán học để loại bỏ những ứng viên chắc chắn không thể lọt vào kết quả Top-K, rồi chỉ tính điểm chính xác cho các ứng viên còn đủ điều kiện. Phương pháp này cũng giảm lượng công việc ghi kết quả và chọn Top-K; bản triển khai trên GPU tăng tốc toàn bộ Indexer tối đa 2,74 lần so với SGLang. Trong thực tế, DoSA có thể giúp các mô hình ngôn ngữ xử lý ngữ cảnh dài hiệu quả hơn mà vẫn giữ nguyên lựa chọn attention ban đầu.
DoSA đáng chú ý với các nhà phát triển hệ thống LLM dài ngữ cảnh vì cho thấy có thể giảm chi phí của sparse attention mà vẫn giữ nguyên lựa chọn token. Hiện có thể theo dõi hoặc thử nghiệm ý tưởng này nếu bạn xây dựng bộ tăng tốc GPU; mức tăng tốc được báo cáo lên tới 2,74 lần so với SGLang.
Đọc bài gốc