Token hình ảnh theo nhu cầu: Phân bổ ngân sách thị giác cho suy luận đa ảnh hiệu quả và có khả năng mở rộng trong LLM đa phương thức

Các mô hình ngôn ngữ lớn đa phương thức phát triển nhanh, nhưng phần lớn vẫn được tối ưu cho đầu vào một ảnh. Suy luận đa ảnh tốn kém vì mỗi ảnh bổ sung nhiều token thị giác, làm tăng chi phí mã hóa và chú ý; các kỹ thuật hiện có mới chỉ giải quyết một phần vấn đề này.