Gradient Descent trên hai neuron ReLU: Cảnh quan toàn cục và động lực học phân nhánh

Hiểu cách gradient descent học các đặc trưng vẫn là một thách thức trung tâm trong lý thuyết mạng nơ-ron. Nghiên cứu xem xét vấn đề này trong mô hình teacher-student hai neuron ReLU tối giản với nhiều chỉ số, nơi đã xuất hiện các động lực học gradient qua nhiều giai đoạn dưới đầu vào Gaussian đẳng hướng.