Làm sao kiểm soát chi phí API khi đưa LLM vào sản phẩm?

Sản phẩm bên mình mới thêm tính năng chat hỗ trợ khách hàng, sau 1 tháng hoá đơn API tăng nhanh hơn dự kiến. Xem log thì thấy phần lớn token nằm ở system prompt dài + lịch sử hội thoại gửi lại mỗi lượt. Mọi người thường tối ưu theo hướng nào? Prompt caching, dùng model nhỏ cho câu dễ, cắt bớt lịch sử...? Có nên đặt giới hạn theo từng user không?