WeVisOne-VL hợp nhất nhận diện hình ảnh từ vật thể đến từng pixel
WeVisOne-VL là mô hình ngôn ngữ-thị giác do WeChat phát triển, kết hợp khả năng hiểu hình ảnh ở cấp độ vật thể và cấp độ pixel trong cùng một hệ thống. Mô hình có thể phát hiện và đếm vật thể, định vị bằng điểm hoặc khung, đọc chữ bằng OCR, đồng thời tạo mặt nạ chi tiết hoặc alpha matte để phân đoạn và tách vật thể. Nhóm nghiên cứu tích hợp một bộ giải mã pixel nhẹ vào mô hình ngôn ngữ thông qua token đặc biệt, sau đó huấn luyện theo chương trình ba giai đoạn gồm tinh chỉnh có giám sát và học tăng cường trên nhiều tác vụ. Trên hơn 30 bộ kiểm thử, nhóm tác giả báo cáo kết quả dẫn đầu ở cả tác vụ cấp vật thể lẫn cấp pixel, đồng thời mô hình có khả năng từ chối ổn định khi vật thể được hỏi không xuất hiện trong ảnh. Việc phát hành mã nguồn mở có thể giúp các nhà phát triển dùng một mô hình duy nhất cho những tác vụ hình ảnh trước đây thường phải kết hợp nhiều hệ thống phát hiện, OCR và phân đoạn riêng.
Các nhà phát triển thị giác máy tính có thể theo dõi và thử WeVisOne-VL như một mô hình hợp nhất cho phát hiện vật thể, OCR, định vị và tạo mặt nạ pixel, thay vì ghép nhiều mô hình riêng. Do đây là một công bố nghiên cứu, nên kiểm tra thêm chất lượng trên dữ liệu và nhu cầu thực tế trước khi đưa vào sản phẩm.
Đọc bài gốc