esp32-iphone-agent: cho AI điều khiển iPhone thật bằng board ESP32 giá khoảng 7 USD
esp32-iphone-agent là dự án mã nguồn mở cho phép một mô hình AI thao tác trên iPhone thật bằng board ESP32-S3 giá khoảng 7 USD. Dự án không cần Mac, tài khoản developer của Apple, jailbreak hay cài thêm ứng dụng nào lên điện thoại. Agent nhìn màn hình qua AirPlay: máy tính macOS hoặc Linux chạy UxPlay để nhận hình, rồi chuyển thành các khung ảnh JPEG. Agent chạm vào máy qua board ESP32 cắm vào cổng USB của iPhone và hiện ra như một chuột và bàn phím chuẩn. Khi bật AssistiveTouch của iOS, thao tác di chuột và nhấp trở thành chạm và vuốt. Một mô hình lập kế hoạch viết kế hoạch ngắn từ mục tiêu và màn hình hiện tại, còn một mô hình thực thi chọn hành động kế tiếp (chạm, vuốt, vẽ, gõ, bấm phím, về màn hình chính hoặc kết thúc). Bộ não có thể là bất kỳ mô hình thị giác nào tương thích OpenAI, dùng API đám mây hoặc chạy cục bộ. Máy chủ còn theo dõi con trỏ tương đối, sửa các cú chạm trượt, kiểm tra màn hình có thực sự thay đổi sau mỗi hành động và lập lại kế hoạch khi hành động bị lặp. README có các demo như vẽ mặt cười trong ứng dụng bảng trắng và đặt báo thức lặp hằng ngày, cùng giao diện web gồm màn hình trực tiếp, nhật ký và bức tường ảnh chụp từng bước. Điều này đáng chú ý vì dự án điều khiển điện thoại như con người, qua màn hình và con trỏ, nên chạy được trong mọi ứng dụng kể cả game, và tránh được bộ công cụ kiểm thử Xcode/WebDriverAgent vốn cần Mac và ứng dụng đã ký.
Nhà phát triển và người thích phần cứng có thể thử dự án này để tự động hóa iPhone mà không cần Mac hay tài khoản developer, chỉ cần board ESP32-S3, máy tính macOS/Linux và một API mô hình thị giác tương thích OpenAI. Đây là dự án cá nhân còn mới, nên hãy cẩn trọng khi cho AI điều khiển điện thoại có dữ liệu quan trọng.
Đọc bài gốc