Model open-weight đã đủ thay thế API trả phí cho phần lớn tác vụ chưa?
Một năm trước mình còn nghĩ model open-weight chỉ để thử nghiệm. Giờ thì các model mở cỡ vừa chạy được trên một GPU đã làm tốt khá nhiều việc: tóm tắt, phân loại, trích xuất thông tin, viết nội dung đơn giản, thậm chí đọc ảnh. Góc nhìn của mình hiện tại: - Đủ tốt: phân loại văn bản, trích xuất trường thông tin, tóm tắt tài liệu ngắn, OCR, chatbot nội bộ phạm vi hẹp. - Còn kém rõ: suy luận nhiều bước phức tạp, lập trình lớn, agent phải dùng nhiều công cụ, tiếng Việt văn phong cao. - Chi phí: tự host chỉ rẻ hơn khi dùng đều và nhiều. Dùng ít, lúc nhiều lúc không thì API vẫn rẻ hơn và đỡ công vận hành. Câu hỏi cho mọi người: 1. Bạn đã chuyển tác vụ nào từ API sang model mở và hài lòng? 2. Tác vụ nào thử chuyển rồi phải quay lại API? 3. Bạn tính chi phí tự host thế nào (có tính công vận hành không)?