Стальной помощник: как создают и к чему готовят коллаборативных роботов

В одном из промышленных заводов на Дальнем Востоке инженер собирает прибор с необычным «коллегой»: раскладывает на столе детали и показывает, чтобы тот их закрутил. Затем специалист поворачивает заготовку и снова протягивает ее ассистенту. По голосовой команде устройство начинает его красить. Так в ближайшем будущем может выглядеть совместная работа человека и коллаборативного робота (сокращенно такие установки называют коботами).


Созданием алгоритмов для их управления занимаются в Комсомольском-на-Амуре государственном университете (КнАГУ). Подробнее об этой области робототехники порталу наука.рф рассказал доцент кафедры электропривода и автоматизации промышленных установок, ведущий научный сотрудник, кандидат технических наук Юрий Иванов. Работа ведется при поддержке Российского научного фонда (РНФ).

Внимательный сотрудник

Увидеть промышленных роботов можно сегодня практически на любом производстве. Такие устройства (зачастую они выглядят как манипуляторы) используются для автоматизации рутинных задач — сварки, покраски, сборки или упаковки. Все действия они выполняют с нужной скоростью, высокой точностью и по заданной программе. Как правило, эти роботы не обладают высокоинтеллектуальными функциями и управляются промышленным контроллером или сервером.

Демонстрация работы промышленных роботов-манипуляторов

«Подобная техника работает автономно. Промышленный робот не может работать с человеком в одном пространстве. Чтобы не допустить травм, на манипулятор устанавливают камеры: если в зоне действия появляется специалист, робот должен тут же остановиться», — рассказывает Юрий Иванов.

Однако у этих технологий может быть и более продвинутый уровень. Речь идет о так называемой коллаборативной робототехнике. В отличие от обычных промышленных манипуляторов, такие устройства можно вооружать искусственным интеллектом, позволяя им работать с человеком буквально за одним столом. «Железному» сотруднику можно поручить взять инструмент, перенести его по определенной траектории, помочь закрепить какие-нибудь элементы на объекте или удерживать их под нужным углом.

Чтобы сделать такое сотрудничество безопасным и эффективным, ученые КнАГУ разрабатывают для роботов специальные алгоритмы.

«Например, если ему будут давать команду перенести инструмент из точки А в точку Б, нам важно понять, как построить траекторию движения, чтобы робот не задел человека. Или сделать так, чтобы он к этой точке двигался проще и быстрее», — объясняет ведущий научный сотрудник.

Ключевую роль в этой технологии играет компьютерное зрение. Чтобы научить робота видеть и запоминать все процессы, устанавливают несколько камер и сенсоров, направленных на сцену и на подвижные части устройства. С их помощью можно изучить технику со всех сторон и наблюдать, как с ней взаимодействует человек.

Помимо камер, к коботу подключают лидары (лазерные локаторы), камеры глубины, силомоментные датчики, измеряющие силу воздействия на робота, микрофоны для голосового управления и другие сенсоры. Так он становится мультимодальным, то есть, способным одновременно обрабатывать изображения и видео, голосовые команды оператора, текстовые команды и другие виды информации. На основе этих данных, собранных в один блок, можно предсказывать, как человек будет двигаться, какую команду он даст и какое действие ожидает от робота.

«Важно не только понять, где находится человек и какие действия он совершает в данный момент, но и что только собирается делать. Чтобы это выяснить, с помощью камер и датчиков мы обнаруживаем на его теле ключевые точки (кисти, пальцы, лицо). По этим точкам мы строим упрощенный скелет и определяем, в каком положении находится оператор. Благодаря мультикамерной системе мы строим модель специалиста и робота в 3D-пространстве. Наблюдая, в какую сторону движется рука и как поворачиваются плечи, мы можем понять, какое положение человек займет через 30, 60, 90 и 120 кадров, то есть, примерно через 4-5 секунд», — говорит автор проекта.

Кричите на робота

Пожалуй, один из самых волнующих вопросов — насколько такое сотрудничество безопасно? Что будет, если во время работы «коллегу» случайно задеть?

Для таких случаев команда специалистов КнАГУ создает специальную базу данных и базу знаний. Чтобы обучить алгоритм правильно вести себя в нештатных ситуациях, его, как бы удивительно это ни звучало, специально толкают, отнимают инструменты и даже кричат на робота.

«Мы можем попросить человека забраться на стол, где находится робот, начать шатать его. Нам важно собрать как можно больше разных сценариев, чтобы в будущем алгоритм распознавал эти действия как нетипичные. При этом у нас уже есть большой набор данных о стандартных, „правильных“ видах работы. Даже если какого-то необычного сценария в базе нет, кобот в любом случае расценит его как аномальное и остановится, либо отъедет в сторону», — делится разработчик.

Хотя в устройствах изначально должны быть встроены механизмы защиты, в том числе датчики ударов, иногда их может оказаться недостаточно. Например, если манипулятор использует дрель или горелку, то он должен учитывать, чтобы человек находился на безопасном расстоянии. В подобной ситуации даже касание инструментом оператора может привести к травме.

Ученые также использовали технологию цифровых двойников. Чтобы проверить, как устройство будет вести себя на производстве, все действия и сценарии воспроизводили в виртуальной среде.

Запомнит все

Еще одно важное направление в подобных технологиях — машинное обучение (англ. machine learning, ML). Это способ обучения искусственного интеллекта, когда вместо инструкций ему дают конкретные примеры.

Демонстрация работы коллаборативного робота

«Допустим, мы загружаем в нейросеть тысячу картинок с разными инструментами. Система их изучает и запоминает. Затем, когда мы покажем ей новую картинку, она уже сможет определить, что это, например, молоток», — отмечает Юрий Иванов.

Этот процесс обучения, по его словам, не такой простой, как может показаться. Сначала нужно собрать обработанные массивы данных — датасеты. Как вспоминает автор проекта, главная проблема заключалась в том, что датасетов, связанных с нештатными ситуациями и промышленными роботами, на момент разработки не было, поэтому команде приходилось создавать и вносить в их базу с нуля.

«А еще мы использовали технологии one-shot learning, или „обучение по одному примеру“. Это позволяет показать новый инструмент роботу, обозначить его класс и действия с ним голосом, после чего робот его тут же запоминает. Таким образом нам уже не нужны сотни размеченных фотографий этого объекта», — добавляет эксперт.

Перспективные кадры

Один из таких проектов, посвященный созданию алгоритмов для коботов, стартовал в КнАГУ два года назад, в научно-образовательном центре «Промышленная робототехника и передовые промышленные технологии». Это крупнейший центр промышленной робототехники на Дальнем Востоке, открытый при вузе. К слову, на базе этого центра по нацпроекту «Наука и университеты» в 2024 году также построят молодежную лабораторию по промышленной робототехнике «Автоматизация авиастроительных производств с применением средств промышленной робототехники».

Над текущим проектом работают кандидаты наук, а также аспиранты и магистры. Специалисты уже подготовили прототип и планируют в следующем году отработать нештатные ситуации на рабочем стенде, чтобы предложить технологию к внедрению на нескольких заводах.

«В целом, это направление довольно востребовано, особенно в Комсомольске-на-Амуре — инженерной столице Дальнего Востока. К нам могут прийти сотрудники одного из местных предприятий и поставить задачу: „Нам нужно, чтобы роботы распознавали форму объекта и выполняли производственные процессы. Что для этого необходимо?“. И тогда мы начинаем заниматься разработкой, создаем алгоритмы, проектируем систему, запускаем серверы для обучения», — рассказывает Юрий Иванов.

Участники проекта уже подготовили ряд алгоритмов, благодаря которым будущий робот сможет определять положение человека в пространстве (для этого применяют мультимодальную систему, использующую одновременно несколько камер), работать с помощью голосового управления и прогнозировать поведение сотрудника. Кстати, последний алгоритм уже представили на конференции Сбера по искусственному интеллекту AIJ в конце прошлого года (всего по этому проекту авторы опубликовали в высокорейтинговых изданиях 14 статей).

Под надежной защитой

Однако технологии на базе машинного обучения перспективны не только для промышленности. Ранее команда разрабатывала алгоритмы распознавания и управления для беспилотных роботов (автомобилей и катеров), а также для систем контроля и управления доступом. Некоторые из этих алгоритмов нашли применение в коммерческих и инжиниринговых проектах.

Еще такие разработки востребованы в сфере кибербезопасности. Например, для одного из проектов авторы создали алгоритмы, способные анализировать интернет-адреса для обнаружения фишинговых атак. Работает это так: система на базе алгоритмов машинного обучения определяет подозрительные элементы в написании URL ресурсов и сообщает об этом пользователю. По мнению ученых, кибербезопасность и защита программ являются важной частью любого проекта в сфере машинного обучения.

«Дело в том, что со временем киберугрозы становятся все более изощренными. Злоумышленники уже научились взламывать модели машин машинного обучения, обманывать алгоритмы компьютерного зрения. Мы это учитываем и стараемся повысить устойчивость к атакам: используем специальную аутентификацию, делаем алгоритмы более сложными», — объясняет эксперт.


Но и этими сферами применения подобные разработки не ограничиваются. Машинное обучение называют самой перспективной и сложной областью искусственного интеллекта. Алгоритмы используют в образовательных технологиях, здравоохранении, поисковых системах, цифровом маркетинге и многих других отраслях. Хотя ИИ развивается сейчас достаточно активно, но ему еще есть чему у нас поучиться.

Анна Шиховец