Cộng đồng LocalLLaMA chia sẻ demo chưa được xác minh: MiniCPM-V 4.7 chạy mô hình đa phương thức 35B trên điện thoại với khoảng 3 GB bộ nhớ
Một bài đăng chưa được xác minh trên cộng đồng LocalLLaMA giới thiệu demo của OpenBMB, trong đó MiniCPM-V 4.7 — mô hình thị giác-ngôn ngữ 35B-A3B dạng mixture-of-experts — được cho là chạy cục bộ trên điện thoại với khoảng 3 GB bộ nhớ. Demo được giới thiệu có thể đọc biển báo ngoài đời, hiểu tài liệu phức tạp, suy luận từ thông tin hình ảnh và lập kế hoạch theo các ràng buộc thực tế. Ý tưởng kỹ thuật chính là Lookahead Expert Scheduling (LES), tức dự đoán và nạp trước những phần chuyên trách của mô hình có khả năng sẽ được dùng tiếp theo, thay vì chỉ thu nhỏ toàn bộ mô hình. Nếu được kiểm chứng, cách làm này có thể giúp đưa các tính năng AI xử lý ảnh và văn bản mạnh hơn lên điện thoại mà không cần gửi dữ liệu lên đám mây.
Các nhà phát triển ứng dụng di động và AI biên nên theo dõi MiniCPM-V 4.7 và kỹ thuật LES, vì chúng có thể giúp xử lý hình ảnh, tài liệu và biển báo ngay trên điện thoại. Tuy nhiên, đây mới là một thử nghiệm được cộng đồng chia sẻ, nên nên chờ thêm kết quả kiểm chứng trước khi dùng cho sản phẩm thực tế.
Đọc bài gốc