Inception ra mắt Mercury 3, mô hình ngôn ngữ diffusion đạt tốc độ 1.068 token/giây
Inception đã ra mắt Mercury 3, một mô hình ngôn ngữ lớn dựa trên diffusion mà công ty cho biết có chất lượng ngang bằng hoặc vượt các mô hình tối ưu cho tốc độ như GPT-6 Luna và Claude Haiku 5.5, đồng thời tạo ra 1.068 token mỗi giây trên GPU NVIDIA. Mô hình hỗ trợ ngữ cảnh 1 triệu token, tăng từ 260.000 token trên Mercury 2.5, với giá $0.20 cho mỗi triệu token đầu vào và $0.70 cho mỗi triệu token đầu ra; mức giá khi ra mắt bằng một nửa, còn token được lưu trong bộ nhớ đệm được giảm 90%. Công ty cho biết Mercury 3 lớn hơn Mercury 1 hơn 40 lần và đạt mức cải thiện gấp ba trên các bài đánh giá chuẩn, cho thấy mô hình diffusion—tạo văn bản bằng cách tinh chỉnh lặp lại thay vì lần lượt sinh từng token—có thể mở rộng để xử lý các tác vụ phức tạp hơn. Các đối tác dùng thử sớm đang triển khai mô hình cho tác vụ trình duyệt, gia sư tương tác, tìm kiếm thời gian thực, hỗ trợ bằng giọng nói và trò chuyện, cũng như kỹ thuật dữ liệu; trong một bài kiểm tra gồm 50 tác vụ trên Mind2Web, mô hình hoàn thành 50% số tác vụ điều hướng, trong khi một đối tác khác ghi nhận thời gian sinh trung vị 0,9 giây. Mercury 3 hiện có trên Inception API Platform, OpenRouter, Baseten và Vercel, hỗ trợ API tương thích với OpenAI và tặng 100 triệu token để thử nghiệm. Nếu tốc độ và chất lượng được xác nhận qua các đánh giá độc lập, mô hình có thể giúp các tác nhân AI và ứng dụng hội thoại cần độ trễ thấp phản hồi nhanh hơn với chi phí vận hành thấp hơn.
Nhà phát triển ở Việt Nam có thể thử Mercury 3 qua Inception API Platform, OpenRouter, Baseten hoặc Vercel; API tương thích với OpenAI và có 100 triệu token miễn phí để kiểm thử. Mô hình đáng chú ý cho các ứng dụng cần phản hồi nhanh như chatbot, gia sư AI, tìm kiếm thời gian thực và tác vụ trình duyệt, nhưng nên tự đánh giá chất lượng trước khi đưa vào sản phẩm.
Đọc bài gốc