Nghiên cứu đo lường mức độ kết hợp của các biểu diễn từ sparse autoencoder
Các nhà nghiên cứu giới thiệu SAE Additivity Residuals (SAR), một phương pháp đo lường phần hành vi của các đặc trưng trong sparse autoencoder không thể được giải thích bằng các tương tác đến một bậc nhất định. Sparse autoencoder biểu diễn các kích hoạt bên trong mô hình bằng những đặc trưng mà phần lớn thời điểm không hoạt động, nhưng tác động của chúng lên đầu ra mô hình không nhất thiết độc lập và có thể cộng trực tiếp với nhau. Với các tập con đặc trưng được lấy mẫu độc lập, nghiên cứu cho thấy SAR đo trực tiếp độ mạnh của các tương tác bậc cao hơn và có thể giới hạn sai số khi dự đoán thứ hạng của các nhóm đặc trưng. Trên 18 tổ hợp mô hình và hành vi, các tọa độ SAE được học có phần dư bậc nhất thấp hơn so với các phép xoay ngẫu nhiên bảo toàn phép cộng trên cùng một không gian con, cho thấy các đặc trưng được học nắm bắt một phần cấu trúc kết hợp có ý nghĩa. Tuy vậy, các biểu diễn này chưa hoàn toàn cộng tính: việc bổ sung các tương tác theo cặp cải thiện thứ hạng của các nhóm đặc trưng trên dữ liệu kiểm tra trong mọi trường hợp, cho thấy cần mô hình hóa tương tác giữa các đặc trưng khi dùng SAE để giải thích cơ chế của mô hình.
Nghiên cứu này hữu ích chủ yếu cho những người làm interpretability và phân tích mô hình: các đặc trưng của sparse autoencoder không nên mặc định được xem là cộng độc lập với nhau. Khi dùng SAE để giải thích hành vi mô hình, nên tính đến ít nhất các tương tác theo cặp thay vì chỉ cộng riêng lẻ từng đặc trưng.
Đọc bài gốc