Giám sát ứng dụng LLM trên production: nên log gì và đặt cảnh báo nào?

Team mình sắp đưa một chatbot hỗ trợ khách hàng lên production. Mình phụ trách vận hành và đang lên danh sách giám sát. Với dịch vụ web thông thường thì mình quen rồi (độ trễ, tỉ lệ lỗi, CPU, RAM), nhưng với LLM có nhiều thứ mới. Danh sách mình đang dự định: - Độ trễ: thời gian ra token đầu tiên và tổng thời gian trả lời - Số token vào/ra mỗi request, chi phí theo giờ - Tỉ lệ lỗi từ nhà cung cấp API (quá tải, vượt giới hạn tốc độ) - Tỉ lệ người dùng bấm "không hữu ích" Câu hỏi: 1. Có nên log toàn bộ nội dung hội thoại không? Làm sao cân bằng giữa debug và quyền riêng tư? 2. Làm sao phát hiện chất lượng trả lời đi xuống khi không có lỗi kỹ thuật nào? 3. Ngưỡng cảnh báo chi phí mọi người đặt thế nào để không bị "bất ngờ" cuối tháng? 4. Có công cụ mã nguồn mở nào cho việc này đáng dùng không?