MemT-1.0 phát triển mô hình nền tảng với bộ nhớ tích hợp
MemT-1.0 là một dòng mô hình nền tảng được thiết kế để xem bộ nhớ như một phần nội tại của quá trình tính toán, giúp mô hình liên tục tích lũy và sử dụng thông tin thay vì chỉ dựa vào các trọng số cố định. Kiến trúc này kế thừa Metis, sử dụng Gated DeltaNet-2 để cập nhật bộ nhớ ở cấp độ từng token trong mỗi lượt tương tác, đồng thời bổ sung Mixture-of-Storage để mở rộng dung lượng bộ nhớ. Nhóm nghiên cứu huấn luyện mô hình qua hai giai đoạn—tiếp tục tiền huấn luyện và hậu huấn luyện—trên 34 tỷ token, với hạ tầng riêng cho huấn luyện và suy luận. Hai biến thể được phát hành là MemT-1.0-Nano và MemT-1.0-Flash; kết quả đánh giá cho thấy chúng vượt các mô hình đối chứng dùng bộ nhớ tham số ở mức trung bình, đồng thời duy trì năng lực tổng quát cạnh tranh. Công trình này đáng chú ý vì bộ nhớ tích hợp có thể giúp các hệ thống AI trong tương lai ghi nhớ và vận dụng thông tin hiệu quả hơn trong các tác vụ và cuộc hội thoại kéo dài.
Các nhà phát triển và nhóm nghiên cứu có thể theo dõi hoặc thử nghiệm MemT-1.0-Nano và MemT-1.0-Flash để đánh giá cách mô hình lưu giữ thông tin trong các tác vụ kéo dài. Đây là hướng nghiên cứu đáng chú ý cho các ứng dụng cần ghi nhớ ngữ cảnh lâu dài, nhưng chưa thay thế ngay các hệ thống bộ nhớ ngoài hiện có.
Đọc bài gốc