Cộng đồng LocalLLaMA chia sẻ tuyên bố về Ling-3.1-flash với 560B tham số và ngữ cảnh 1M token
Một bài đăng trên r/LocalLLaMA dẫn tới inclusionAI/Ling-3.1-flash, với tuyên bố rằng mô hình này có tổng cộng 560 tỷ tham số, sử dụng 25 tỷ tham số cho mỗi token và hỗ trợ cửa sổ ngữ cảnh 1 triệu token. Những con số này sẽ là bước nhảy lớn so với 127 tỷ tham số được nêu cho Ling 3.0; “tham số hoạt động” là phần mô hình được dùng để xử lý mỗi token, còn cửa sổ ngữ cảnh cho biết lượng văn bản mô hình có thể xem xét cùng lúc.
Các nhà phát triển mô hình ngôn ngữ nên theo dõi Ling-3.1-flash và kiểm tra thông tin trên Hugging Face trước khi đánh giá, vì đây hiện mới là một tuyên bố từ cộng đồng. Nếu các thông số được xác nhận, khả năng xử lý ngữ cảnh 1 triệu token có thể hữu ích cho tài liệu và mã nguồn rất dài.
Đọc bài gốc