Xem xét lại việc khám phá định tuyến trong Mixture-of-Experts hiện đại

Các mô hình Mixture-of-Experts là một phương pháp quan trọng để mở rộng số lượng tham số. Kiến trúc MoE hiện đại thường kết hợp phân đoạn expert chi tiết với các expert dùng chung, giúp tăng khả năng biểu đạt bằng cách cho phép nhiều tổ hợp expert hơn.