Deep Fusion Memory: Bộ nhớ tham số theo từng đoạn cho mô hình ngôn ngữ lớn
Các nhà nghiên cứu giới thiệu Deep Fusion Memory (DFM), một kiến trúc bộ nhớ tham số cho phép mô hình ngôn ngữ lớn sử dụng kiến thức bên ngoài mà không cần thực hiện truy xuất rõ ràng trong lúc suy luận. DFM dùng một bộ dự đoán bộ nhớ theo nhân quả để tạo biểu diễn bộ nhớ từ ngữ cảnh trước đó, được huấn luyện với các embedding của những đoạn văn được truy xuất từ một kho kiến thức làm tín hiệu giám sát. Biểu diễn bộ nhớ dự đoán được dùng chung cho mọi token trong một đoạn và được đưa vào các trạng thái ẩn trung gian của mô hình thông qua cơ chế cross-attention có cổng, trong khi mô hình nền được giữ cố định khi huấn luyện đầu-cuối. Phương pháp này nhằm giảm khối lượng công việc ngoại tuyến cần thiết để xây dựng bộ nhớ bên ngoài, đồng thời tích hợp kiến thức sâu hơn so với việc chỉ nội suy thêm ở đầu ra. Trên thực tế, DFM có thể cung cấp một cách cập nhật hoặc mở rộng kiến thức của LLM mà không phải chịu độ trễ và chi phí tính toán của việc tìm kiếm trực tuyến.
DFM đáng chú ý với các nhóm phát triển LLM cần bổ sung kiến thức bên ngoài mà không muốn thực hiện tìm kiếm ở mỗi lần suy luận. Đây vẫn là kết quả nghiên cứu, nên người dùng thực tế nên theo dõi thêm mã nguồn và đánh giá trước khi áp dụng.
Đọc bài gốc