DepthGraft: Điều chuẩn hóa cấu trúc thông qua tái dựng KV phân cấp giữa các lớp

Mở rộng độ sâu là một hướng quan trọng để xây dựng các mô hình ngôn ngữ lớn mạnh hơn, nhưng kiến trúc Pre-LN thường gặp hiện tượng suy giảm thông tin theo chiều sâu, làm hạn chế hiệu quả của các lớp sâu. Kết nối giữa các lớp có thể giảm vấn đề này, song các thiết kế hiện có thường phát sinh chi phí bổ sung.