LangSmith LLM Gateway ra mắt public beta với kiểm soát chi phí, giới hạn tốc độ và chuyển mô hình cho agent
LangChain đã mở public beta cho LangSmith LLM Gateway, một lớp trung tâm giúp kiểm soát cách các agent trong môi trường production sử dụng mô hình. Công cụ cho phép đặt hạn mức chi tiêu và giới hạn tốc độ ở cấp tổ chức, workspace, khóa API, người dùng và khách hàng, đồng thời theo dõi mức sử dụng và trả về lỗi rõ ràng khi chạm hạn mức. Đội ngũ cũng có thể cấu hình cơ chế chuyển sang mô hình hoặc máy chủ khác khi nhà cung cấp gặp sự cố, bị giới hạn tốc độ hoặc không khả dụng. Gateway có thể phát hiện và che thông tin nhận dạng cá nhân (PII) cùng các bí mật trước khi request đến nhà cung cấp, nhưng tính năng bảo vệ này hiện chỉ dành cho người dùng gói Enterprise. Dịch vụ ghi lại các sự kiện của gateway trong trace của LangSmith, hỗ trợ các nhà cung cấp như OpenAI, Anthropic và Fireworks cùng các endpoint tùy chỉnh tương thích, đồng thời cho phép đội ngũ dùng khóa nhà cung cấp của mình; suy luận mô hình mở do Fireworks lưu trữ cũng có thể được dùng thông qua Gateway Credits. Về thực tế, dịch vụ giúp nhà phát triển áp dụng chính sách về chi phí, độ tin cậy, quyền riêng tư và định tuyến tại một nơi cho nhiều agent, thay vì phải tự xây dựng cơ chế riêng cho từng nhà cung cấp hoặc ứng dụng.
Các đội ngũ xây dựng agent AI trong môi trường production có thể thử LangSmith LLM Gateway để đặt hạn mức chi phí, giới hạn lưu lượng, chuyển mô hình khi nhà cung cấp gặp sự cố và che dữ liệu nhạy cảm trước khi gửi đi. Do tính năng đang ở public beta và việc che PII hiện chỉ dành cho gói Enterprise, doanh nghiệp nên đánh giá kỹ phạm vi bảo vệ trước khi đưa dữ liệu khách hàng vào vận hành.
Đọc bài gốc