Attention tuyến tính đa trạng thái với định tuyến bậc hai tổng quát

Nghiên cứu đề xuất cơ chế attention tuyến tính đa trạng thái với định tuyến bậc hai tổng quát, nhằm giảm chi phí bậc hai theo độ dài chuỗi trong mô hình hóa ngữ cảnh dài.