TokenRouter: Hệ thống phục vụ hiệu quả cho định tuyến LLM ở cấp độ token
TokenRouter là một hệ thống phục vụ suy luận LLM với định tuyến ở cấp độ token, trong đó các token khác nhau của cùng một yêu cầu có thể được chuyển đến các mô hình khác nhau. Nhóm tác giả cho rằng các hệ thống hiện tại, vốn xây dựng trên giả định một LLM duy nhất, gặp tình trạng lệch bước (step desynchronization), độ trễ khi nhận batch và độ phức tạp triển khai cao khi áp dụng định tuyến cấp token. TokenRouter giải quyết vấn đề bằng nguyên tắc 'lập trình theo hướng yêu cầu, thực thi theo hướng mô hình', cho phép nhà phát triển mô tả logic định tuyến từ góc nhìn của một yêu cầu.
Đọc bài gốc