NVIDIA giới thiệu Cosmos3-H-Dreams, mô phỏng phẫu thuật robot tương tác theo thời gian thực
NVIDIA đã giới thiệu Cosmos3-H-Dreams, một trình mô phỏng sinh dữ liệu theo thời gian thực cho phẫu thuật robot, có thể tạo video tương tác về các ca cắt túi mật. Mô hình học từ video phẫu thuật được đồng bộ với dữ liệu động học của robot trên nền tảng Versius của CMR Surgical, đồng thời phản hồi các lệnh điều khiển dụng cụ trực tiếp trên một GPU NVIDIA RTX PRO 6000. Cosmos3-H-Dreams được xây dựng trên mô hình Cosmos3-H-Embodied-Nano 16 tỷ tham số và biểu diễn phẫu thuật bằng 28 chiều hành động, gồm tư thế và trạng thái kẹp của hai dụng cụ, điều khiển năng lượng và đầu vào camera. Mô hình được huấn luyện trên video độ phân giải 832 × 480 với hành động ghi ở tần số 10 Hz, đồng thời cung cấp hai phiên bản bốn bước và hai bước để cân bằng chất lượng hình ảnh với tốc độ tạo. NVIDIA kết hợp quy trình chưng cất từ mô hình giáo viên sang học sinh, kỹ thuật Self-Forcing để giảm lỗi trong các chuỗi sinh dài, cùng FlashDreams và mô-đun FadeMem cải tiến để phát video liên tục trong khi quản lý lịch sử chú ý ngày càng lớn của mô hình. Hệ thống được thiết kế để duy trì tính nhất quán của giải phẫu, chuyển động mô, phản xạ, khói và hiện tượng che khuất khi dụng cụ di chuyển, đồng thời vẫn tuân theo các lệnh được cung cấp. NVIDIA nhấn mạnh rằng hình ảnh chân thực không tự chứng minh độ chính xác về cơ sinh học, vì vậy đây chủ yếu là môi trường nghiên cứu và phát triển để thử nghiệm điều khiển robot phẫu thuật và các quỹ đạo chưa xuất hiện trong dữ liệu, thay vì một công cụ đã được kiểm chứng để thay thế thử nghiệm vật lý hoặc đánh giá lâm sàng.
Các nhà phát triển robot phẫu thuật và nhóm nghiên cứu mô phỏng có thể theo dõi hoặc thử nghiệm Cosmos3-H-Dreams để tạo môi trường tương tác từ dữ liệu phẫu thuật thật. Tuy nhiên, hình ảnh chân thực không đồng nghĩa với mô phỏng chính xác cơ sinh học, nên hệ thống chưa nên được xem là công cụ thay thế cho kiểm thử vật lý hoặc đánh giá lâm sàng.
Đọc bài gốc