Apertus 1.5 mở rộng mô hình văn bản mở sang suy luận đa phương thức
Apertus 1.5 mở rộng dòng mô hình Apertus hoàn toàn mở từ sinh văn bản sang suy luận đa phương thức, với các phiên bản 8B và 70B có thể hiểu văn bản, hình ảnh và âm thanh. Mô hình 8B được tiếp tục tiền huấn luyện trên 4 nghìn tỷ token bổ sung, còn mô hình 70B sử dụng 2 nghìn tỷ token; cả hai nay hỗ trợ cửa sổ ngữ cảnh 262.144 token, dài gấp bốn lần trước đây. Khả năng đa phương thức được bổ sung thông qua tokenizer, trong khi kiến trúc lõi và đầu sinh văn bản vẫn được giữ nguyên. Bản phát hành kết hợp tinh chỉnh có giám sát, tinh chỉnh ngữ cảnh dài, học tăng cường với phần thưởng có thể kiểm chứng và căn chỉnh theo ưu tiên; chế độ “suy nghĩ” được bật hoặc tắt bằng một cờ trong chat template, giúp điểm suy luận toán học của mô hình 8B tăng tới 20 điểm. Dự án đáng chú ý vì cho thấy một hướng xây dựng mô hình đa phương thức đa năng, mở và do các tổ chức công phát triển, qua đó giảm sự phụ thuộc vào một nhóm nhỏ nhà cung cấp tư nhân.
Các nhà phát triển có thể quan tâm đến Apertus 1.5 như một lựa chọn mô hình mở để xử lý văn bản, hình ảnh và âm thanh, đồng thời thử ngữ cảnh rất dài lên tới 262,144 token. Chế độ “thinking” được bật qua chat template, nên có thể hữu ích cho các tác vụ toán và suy luận.
Đọc bài gốc