Qwen công bố BlenderWorld, bộ benchmark đánh giá AI tạo cảnh 3D có thể chỉnh sửa
Qwen đã phát hành BlenderWorld, một bộ benchmark để kiểm thử các agent AI tạo cảnh 3D có thể chỉnh sửa trong Blender từ các tham chiếu ngoài đời thực. Bộ benchmark gồm 223 bài toán thuộc 9 nhóm và 22 tiểu nhóm, với 2.651 tiêu chí đánh giá nhị phân, bao phủ sản phẩm, kiến trúc, môi trường, nhân vật, hoạt ảnh và trực quan hóa khoa học. Bài toán có thể cung cấp văn bản, hình ảnh, video và tệp đặc tả mô tả các yêu cầu như kích thước, vật liệu hoặc thiết lập camera. Agent nhận đề bài cùng các tài liệu tham chiếu, sau đó phải tạo một dự án Blender và những tệp xuất được yêu cầu theo định dạng ZIP thống nhất. Quy trình đánh giá sử dụng 8 góc nhìn kết xuất thích ứng, kiểm tra cấu trúc cảnh và chấm chất lượng hình ảnh; điểm cuối cùng chia đều giữa mức độ đáp ứng rubric và chất lượng hình ảnh. Giao thức công khai cho phép dùng kết quả từ bất kỳ bộ công cụ sinh nào, dù môi trường được tài liệu hóa sử dụng Blender 4.2.10 cùng các phiên bản cụ thể của Node.js, CLI và dịch vụ đánh giá. BlenderWorld cung cấp cho nhà nghiên cứu và nhà phát triển một cách đo lường lặp lại được để kiểm tra liệu hệ thống AI có thể biến tham chiếu trực quan thành tài sản 3D có cấu trúc, có thể chỉnh sửa hay chỉ tạo ra hình ảnh.
Nhà phát triển AI và nhóm nghiên cứu có thể dùng BlenderWorld để kiểm thử agent tạo mô hình 3D có thể chỉnh sửa trong Blender trên 223 bài toán thực tế, thay vì chỉ đánh giá ảnh đầu ra. Bộ công cụ phù hợp để xây dựng pipeline sinh cảnh 3D, đóng gói kết quả và so sánh chất lượng theo cùng một giao thức.
Đọc bài gốc