Granite Switch 4.1 kết hợp chat, ra quyết định và nhận dạng giọng nói trong một endpoint
IBM ra mắt Granite Switch 4.1, gồm các mô hình 8 tỷ và 30 tỷ tham số có thể xử lý hội thoại, ra quyết định, sàng lọc an toàn và chuyển giọng nói thành văn bản thông qua một endpoint được lưu trữ duy nhất. Các mô hình này tích hợp Decision adapter cho ra quyết định tổng quát, Guardian adapter chuyên xử lý các bài toán liên quan đến an toàn, cùng Granite-Speech-5.0-Turbo-CTC, được IBM mô tả là mô hình nhận dạng giọng nói tự động nhanh nhất trên bảng xếp hạng OpenASR. Các thành phần được ghép với mô hình nền nhưng chỉ sử dụng lượng bộ nhớ GPU xấp xỉ mô hình nền riêng lẻ. Hệ thống tái sử dụng KV cache—phần ngữ cảnh được lưu lại trong các bước sinh trước đó—khi chuyển đổi giữa các adapter, giúp giảm chi phí và độ trễ khi chuyển từ trò chuyện sang phân loại hoặc phiên âm. Granite-Switch-4.1-8B được thiết kế để phiên âm âm thanh, tóm tắt văn bản, sàng lọc nội dung có hại và kiểm tra hơn 15 cờ phân loại tổng quát theo thời gian thực. IBM cũng cho biết nhà phát triển có thể tự ghép các mô hình Switch từ những adapter trong Granite Libraries, cũng như tạo adapter riêng bằng Adapter SDK dự kiến phát hành. Trong một phép so sánh do công ty công bố, mô hình Granite Switch 3B đạt 60–100 quyết định mỗi giây khi chơi Doom, so với mức 10 quyết định mỗi giây được Jev báo cáo, đồng thời vẫn có thể thuyết minh và trả lời câu hỏi. Điểm đáng chú ý của bản phát hành là khả năng giúp nhà phát triển chạy nhiều tác vụ AI với ít GPU hơn và một hệ thống triển khai duy nhất, thay vì phải vận hành nhiều mô hình và endpoint riêng.
Các đội ngũ phát triển AI và doanh nghiệp có thể thử Granite Switch 4.1 để gom chat, phân loại an toàn, tóm tắt và chuyển giọng nói thành văn bản vào một endpoint, qua đó có thể giảm số GPU cần dùng. Những ai cần tác vụ phân loại chuyên biệt cũng có thể theo dõi hệ sinh thái Granite Libraries và Adapter SDK sắp ra mắt để tự ghép mô hình.
Đọc bài gốc