Urbex dùng tác tử AI để tìm vật thể trong cảnh 3D quy mô thành phố
Urbex là một hệ thống thị giác-ngôn ngữ giúp tác tử AI xác định các vật thể hoặc địa danh cụ thể trong những cảnh 3D có quy mô như một thành phố. Thay vì xếp hạng một danh sách cố định gồm các vùng đề xuất được tạo sẵn, tác tử chủ động tìm kiếm trong môi trường tương tác với nhiều góc nhìn bằng cách truy vấn địa danh, phóng to khu vực, dựng góc nhìn xiên rồi chọn hộp giới hạn cho vị trí cần tìm. Nhóm nghiên cứu huấn luyện chiến lược sử dụng công cụ này bằng học tăng cường trên bộ dữ liệu CityRefer, với phần thưởng cho độ chính xác định vị và hiệu quả khám phá. Urbex đạt kết quả tốt nhất về Hit@1 và intersection-over-union (IoU) trên CityRefer, hoạt động mà không cần các hộp ứng viên được cung cấp trước, nhanh hơn phương pháp xếp hạng mạnh nhất để so sánh, đồng thời cho thấy khả năng thích ứng tốt hơn khi thử trực tiếp trên STPLS3D-Refer. Trên thực tế, cách tiếp cận này có thể giúp mở rộng các hệ thống hiểu cảnh 3D cho những ứng dụng cần tìm vật thể trong không gian ngoài trời rộng lớn.
Các nhà nghiên cứu và nhóm phát triển thị giác máy tính nên theo dõi Urbex nếu đang xây dựng hệ thống tìm kiếm vật thể trong bản đồ hoặc cảnh 3D quy mô lớn. Đây hiện là kết quả nghiên cứu để tham khảo, chưa có thông tin cho thấy người dùng có thể trực tiếp thử nghiệm.
Đọc bài gốc