Робот-хирург обучается по видеозаписям операций

Впервые робот, обученный исключительно по видеозаписям опытных хирургов, смог выполнить хирургические манипуляции с той же точностью, что и врачи.

Результаты, полученные исследователями из Университета Джона Хопкинса, представлены на конференции по обучению роботов в Мюнхене -главном мероприятии в области робототехники и машинного обучения, сообщается в издании HUB Johns Hopkins Magazine.

«Это действительно волшебно: модель получает данные с камеры и предсказывает движения робота, необходимые для операции», — говорит автор исследования, профессор кафедры машиностроения Университета Джона Хопкинса Аксель Кригер, - «Это важный шаг к новым рубежам в медицинской робототехнике».

Команда, в которую входили исследователи из Стэнфордского университета, использовала имитационное обучение, чтобы научить широко применяемую в хирургии роботизированную систему da Vinci выполнять три основные задачи, необходимые при хирургических процедурах: манипуляции с иглой иглой, подъем тканей и наложение швов. Робот, обученный исключительно наблюдениям за опытными хирургами на видео, успешно воспроизвел сложные хирургические процедуры, выполняя их с уровнем квалификации, сравнимым с опытными врачами-людьми.

Исследователи отмечают, что разработанная ими модель обучения основана на архитектуре, схожей с архитектурой ChatGPT. Однако в отличие от ChatGPT, которая обрабатывает слова и предложения, генерируя лингвистические ответы, модель для хирургического робота фокусируется в основном на командах движения.

Благодаря успешному использованию имитационного обучения для обучения хирургических роботов роботизированная хирургия приближается к реальной автономии, когда роботы могут выполнять сложные операции без помощи человека. По словам ученых, это сокращает необходимость программировать роботов для выполнения каждого отдельного маневра, необходимого во время медицинской процедуры.

Ученые включили в модель сотни пленок, снятых наручными камерами, установленными на руках роботов da Vinci во время операции. Эти видеозаписи, обычно используемые хирургами для послеоперационного анализа перед архивированием, оказались бесценными для процесса обучения.
В общей сложности в разных странах используются более 7000 роботов da Vinci, на них прошли обучение свыше 50 тысяч хирургов, что создает обширный архив данных для анализа и «имитации» роботами.

Хотя система da Vinci широко используется, она считается неточной. Чтобы преодолеть это ограничение, ученые сконцентрировались на относительных движениях, а не на абсолютных, что позволило добиться высокой точности даже при несовершенстве входных данных.

«Все, что нам нужно, это ввод видео, а затем система искусственного интеллекта сама находит правильное действие. Мы обнаружили, что даже несколько сотен демонстраций достаточно, чтобы модель смогла изучить процедуру и усвоить новые условия, с которыми она ранее не сталкивалась», - рассказывает ведущий автор исследования Джи Вонг Ким.

Модель демонстрирует впечатляющую способность к самостоятельному обучению, выполняя задачи, которым ее специально не обучали, например, подобрать упавшую иглу и продолжить процедуру.

Ученые уверены, что эта модель может стать основой для быстрого обучения роботов выполнению любого типа операций, выходящих за рамки простых задач и завершающих процедуры.

«Новизна нашего подхода заключается в том, что теперь достаточно собрать записи выполнения различных процедур, и робот освоит их за несколько дней. Это позволяет ускорить переход к автономии, снизить вероятность ошибок и повысить точность операций», — отмечает Кригер.

Марина КЫН