Bài đăng Hacker News dẫn lời CEO IBM: Mô hình open-weight đạt 90% hiệu năng với 10% chi phí khi chạy tại chỗ
CEO IBM Arvind Krishna nói với các nhà đầu tư rằng các mô hình AI open-weight đang trở thành lựa chọn hấp dẫn cho doanh nghiệp triển khai trên hạ tầng do mình sở hữu. Ông cho biết những mô hình này có thể đạt khoảng 90% hiệu quả của các mô hình frontier hàng đầu nhưng chi phí mỗi token chỉ bằng khoảng 10% đến 25%, đủ dùng cho các tác vụ như tóm tắt email, xem xét hợp đồng, trả lời cuộc gọi của khách hàng và soạn thư. Krishna cho biết khoảng cách hiệu năng giữa mô hình đóng và mô hình mở đã thu hẹp mạnh kể từ năm 2024, khi các mô hình mở còn đạt điểm thấp hơn nhiều so với các hệ thống thương mại tốt nhất trong những bài đánh giá diện rộng. Ông cũng nói nhiều doanh nghiệp có thể chạy các hệ thống AI hữu ích trong hai hoặc ba tủ máy chủ, nhưng sẽ gặp khó vì thiếu chuyên gia tối ưu mạng GPU, phân bổ mô hình và bộ nhớ đệm; IBM dự định cung cấp phần mềm để đơn giản hóa việc triển khai và kỳ vọng nhu cầu này thúc đẩy doanh số các card tăng tốc Spyre. Những nhận định này cho thấy doanh nghiệp ngày càng phải cân nhắc giữa năng lực và chi phí: họ có thể chọn mô hình kém mạnh hơn một chút nhưng rẻ hơn nhiều và cho phép giữ dữ liệu tại chỗ, miễn là đủ khả năng vận hành hạ tầng phức tạp.
Doanh nghiệp và đội ngũ phát triển có thể đánh giá các mô hình open-weight cho những tác vụ thường ngày như tóm tắt, xử lý hợp đồng và chăm sóc khách hàng, đặc biệt khi cần chạy AI tại chỗ. Tuy nhiên, việc triển khai vẫn đòi hỏi chuyên môn về GPU, mạng và tối ưu hệ thống, nên cần tính cả chi phí vận hành chứ không chỉ giá mô hình.
Đọc bài gốc