MuonGS: Tiền huấn luyện LLM với kiểm soát chuẩn trọng số linh hoạt

Nghiên cứu phân tích tác động của việc kiểm soát chuẩn trọng số trong Muon xuyên suốt quá trình huấn luyện, nhằm hiểu rõ hơn cách thức và mức độ kiểm soát cần thiết để cải thiện hiệu năng tối ưu hóa.