TAO: Lập lịch phối hợp có nhận biết công cụ cho hệ thống phục vụ AI agent dựa trên LLM
TAO là một framework lập lịch dành cho các AI agent, vốn luân phiên giữa việc chạy suy luận mô hình ngôn ngữ trên cụm GPU và gọi công cụ bên ngoài trên các CPU phân tán. Framework này giải quyết hai hạn chế của các hệ thống hiện có: không tính đến thời điểm kết quả từ công cụ sẵn sàng, đồng thời dùng các chiến lược heuristic để quyết định phiên nào được đưa vào GPU và chạy ở đâu. TAO kết hợp thời gian dự kiến công cụ trả kết quả, giá trị bộ nhớ đệm GPU giảm dần theo thời gian và lượng token sử dụng, sau đó dùng quy hoạch động để đồng thời chọn và sắp xếp các phiên đang chờ trong giới hạn tài nguyên. Qua 12 cấu hình kết hợp giữa mô hình, khối lượng công việc và mức độ đồng thời, TAO giảm độ trễ tối đa 26,8%, giảm thời gian trung bình đến token đầu tiên (TTFT) tối đa 36,3% và tăng thông lượng giải mã tối đa 29,5% so với baseline hiện đại tốt nhất được đánh giá cho từng chỉ số. Về thực tế, nghiên cứu cho thấy việc phối hợp quá trình phục vụ mô hình với quá trình chạy công cụ có thể giúp các hệ thống agent phản hồi nhanh hơn và sử dụng năng lực GPU hiệu quả hơn.
Các nhóm phát triển chatbot hoặc AI agent có quy trình gọi công cụ nên theo dõi TAO, vì cách lập lịch tính cả thời điểm công cụ trả kết quả có thể giảm độ trễ và cải thiện hiệu suất GPU. Đây hiện là kết quả nghiên cứu; có thể chờ mã nguồn hoặc triển khai thực tế trước khi áp dụng vào hệ thống production.
Đọc bài gốc