Làm sao giảm chi phí API LLM khi lượng người dùng tăng?
Sản phẩm của mình mới có vài nghìn người dùng mà hoá đơn API đã tăng nhanh. Các cách mình đang nghĩ tới: 1. Cache câu trả lời cho câu hỏi lặp lại 2. Dùng model nhỏ cho tác vụ đơn giản, model lớn cho tác vụ khó 3. Rút gọn prompt hệ thống Còn cách nào hiệu quả nữa không? Ai có số liệu thực tế chia sẻ với 🙏