VisionWeave: Dệt các biểu diễn thị giác co giãn như một năng lực gốc của MLLM
VisionWeave là một bài báo đề xuất 'elastic visual representation weaving' (dệt biểu diễn thị giác co giãn), một năng lực gốc cho phép MLLM tự học từ đầu đến cuối việc phân bổ biểu diễn thị giác ở đâu và với mức độ chi tiết nào, thay vì mã hoá ảnh thành các patch token dày đặc có kích thước cố định. Mô hình dùng một gated spatial pooler để tạo biểu diễn thô song song với biểu diễn chi tiết gốc, và được huấn luyện quy mô lớn để đưa năng lực này vào các MLLM cấp frontier. Nhóm tác giả cho rằng cách tiếp cận này khắc phục hạn chế của downsampling, token pruning và các phương pháp thích ứng hiện có về độ chi tiết thích ứng theo nội dung, khả năng khái quát hoá giữa các tác vụ, và việc tích hợp với MLLM hiện đại cùng hạ tầng phục vụ.
Đọc bài gốc