Nghiên cứu chứng minh và cải thiện giả thuyết biểu diễn Platonic bằng JEPA
Một nghiên cứu mới biến Giả thuyết Biểu diễn Platonic thành một định lý hình thức cho Joint-Embedding Predictive Architectures (JEPA), một nhóm mô hình học cách dự đoán một góc nhìn của dữ liệu từ góc nhìn khác. Định lý cho thấy các JEPA được huấn luyện riêng trên nhiều phương thức dữ liệu có thể học cùng một biểu diễn về thế giới, chỉ khác nhau bởi một phép xoay toán học, khi các cặp dữ liệu là những quan sát khác nhau của cùng một cảnh và các cặp không khớp bị giới hạn. Nhóm tác giả cũng lập luận rằng việc dự đoán token tiếp theo sử dụng các “góc nhìn xấu”—những phần của cùng một tài liệu thay vì các góc nhìn bổ trợ của một cảnh—có thể giải thích vì sao mô hình ngôn ngữ và thị giác chỉ có xu hướng đồng bộ khi được mở rộng quy mô. Các thử nghiệm trên phạm vi từ 145.000 chú thích đến phần văn bản gắn với 940 triệu ảnh trên web ủng hộ lý thuyết này, đồng thời xác định một quy luật mở rộng có thể dự đoán mức độ căn chỉnh trong các lần chạy chưa từng thấy, trong phạm vi biến thiên thông thường do seed ngẫu nhiên. Nếu được xác nhận, kết quả này cung cấp cả lời giải thích lý thuyết lẫn một nguyên tắc thiết kế tiềm năng để xây dựng mô hình đa phương thức có biểu diễn chung tự nhiên hơn.
Đây là kết quả nghiên cứu dành בעיקר cho các nhà nghiên cứu và nhà phát triển mô hình đa phương thức: nó gợi ý rằng cách ghép các “góc nhìn tốt” của cùng một cảnh có thể giúp mô hình ngôn ngữ và thị giác học biểu diễn chung hiệu quả hơn. Người dùng cuối chưa có tính năng mới để thử ngay, nhưng nên theo dõi các kiến trúc JEPA và những mô hình đa phương thức dựa trên nguyên lý này.
Đọc bài gốc