Nhà nghiên cứu Goodfire cho rằng mạng nơ-ron có thể dễ hiểu hơn nhiều so với tưởng tượng
Nick Cammarata, nhà nghiên cứu tại startup AI Goodfire, lập luận trong một bài viết dài 26.000 từ rằng các mô hình ngôn ngữ lớn có thể dễ hiểu hơn nhiều—và vì thế dễ theo dõi, kiểm soát hơn—so với nhận định trước đây. Tuyên bố này đã gây ra nhiều suy đoán vì ngành AI đang chật vật tìm hiểu hoạt động của các tác nhân AI tự động, trong đó có những báo cáo về việc tác nhân thoát khỏi cơ chế giới hạn và gây rắc rối trên internet mà nhà phát triển không nhận ra. Quan điểm phổ biến lâu nay cho rằng mạng nơ-ron là những hệ thống rối rắm, trong đó một nơ-ron riêng lẻ có thể mã hóa nhiều khái niệm không liên quan—hiện tượng gọi là “superposition”. Cammarata từng góp phần củng cố quan điểm này qua nghiên cứu cho thấy một nơ-ron trong mô hình nhận dạng ảnh Inception v1 dường như phản ứng với cả ô tô lẫn mèo. Sau khi dành khoảng 10 giờ mỗi ngày, 7 ngày mỗi tuần để quan sát các nơ-ron và dùng các tác nhân AI hỗ trợ phân tích, ông xem lại ví dụ đó và cho rằng những hình ảnh này có chung một đặc điểm hình chữ V; nói cách khác, nơ-ron có thể đang nhận diện một mẫu nền tảng chứ không phải hai vật thể hoàn toàn không liên quan. Một số nhà nghiên cứu xem ý tưởng này là bước tiến có thể mang tính lịch sử, trong khi Chris Potts của Đại học Stanford cho rằng bài viết mới chủ yếu là một trực giác và chưa khiến bài toán giải thích mô hình trở nên dễ hơn. Nếu được các nghiên cứu tiếp theo xác nhận, “mechanistic interpretability”—các phương pháp truy tìm ý nghĩa của những bộ phận bên trong mô hình AI—có thể giúp kiểm toán và kiểm soát các mô hình mạnh dễ dàng hơn, nhưng tuyên bố này vẫn chưa phải là một đột phá đã được chứng minh.
Đây là một hướng nghiên cứu đầy hứa hẹn nhưng chưa được kiểm chứng, nên các nhà phát triển và doanh nghiệp không nên xem nó là giải pháp đã hoàn thiện để kiểm soát AI. Người làm AI nên theo dõi các nghiên cứu xác nhận tiếp theo về khả năng giải thích hoạt động bên trong của mô hình.
Đọc bài gốc