Một khối, nhiều độ sâu: Vision Transformer đệ quy với các chuyên gia lập trình theo độ sâu

Nghiên cứu cho thấy một khối Transformer duy nhất, áp dụng đệ quy, có thể đạt độ chính xác ngang một bộ mã hóa thị giác đủ độ sâu với FLOPs suy luận tương đương, mà không cần chưng cất đặc trưng trung gian. reViT khôi phục các phép biến đổi riêng theo từng độ sâu bằng cách biểu diễn FFN ở mỗi độ sâu đệ quy.