LOWN giảm chi phí suy luận của mô hình thị giác-ngôn ngữ khuếch tán bằng cách chỉ xử lý ảnh khi cần
Các nhà nghiên cứu đề xuất LOWN, một phương pháp giải mã giúp mô hình thị giác-ngôn ngữ khuếch tán (DVLM) hoạt động hiệu quả hơn bằng cách chỉ xử lý hình ảnh khi thực sự cần thiết. Những mô hình này liên tục xử lý lại cùng các token hình ảnh ở mỗi bước khử nhiễu, trong khi dữ liệu hình ảnh chiếm 89–97% số token trên các bộ chuẩn được đánh giá. Khi thử nghiệm với LLaDA-V, việc bỏ hình ảnh chỉ làm thay đổi token được mở khóa ở trung bình 22,8% số bước giải mã, và ở một số trường hợp chỉ 7,9%. Dựa trên mức độ nhất quán giữa dự đoán có và không có hình ảnh, LOWN quyết định khi nào cần xử lý lại ảnh và cần mở khóa bao nhiêu token bị che, qua đó có thể giảm lượng tính toán hình ảnh lặp lại mà không loại bỏ vĩnh viễn thông tin thị giác.
Các nhà nghiên cứu và nhà phát triển mô hình thị giác-ngôn ngữ nên theo dõi LOWN như một hướng giảm chi phí suy luận mà không phải cắt bỏ vĩnh viễn các token hình ảnh. Hiện ý tưởng này chủ yếu có giá trị tham khảo để tối ưu các DVLM, chưa có thông tin trong bài về việc người dùng có thể áp dụng ngay.
Đọc bài gốc