Основная сложность в работе автономных роботов на складах — понимание динамической среды и адекватная интерпретация голосовых команд операторов. Существующие системы, основанные только на текстовых инструкциях, часто дают сбои при работе в реальных условиях: они не учитывают изменение обстановки, перемещение людей и грузов, а также не способны выстраивать иерархию действий при выполнении комплексных задач.
«Предоставление планировщику возможности понимать окружающее пространство в виде графа 3D-сцены чрезвычайно важно, поскольку это позволяет в явном виде запомнить и отслеживать изменения в рабочей зоне робота и качественнее планировать его действия. Без полноценного понимания динамики пространственных связей между объектами большие языковые модели, на которых сегодня строятся системы планирования действий по голосовым командам, показывают низкую эффективность в складских условиях», — рассказал соавтор работы, заведующий лабораторией интеллектуального транспорта Центра когнитивного моделирования МФТИ Дмитрий Юдин.
Разработанный в МФТИ метод получил название SG-RAPL (Scene Graph-driven Reasoning for Action Planning). Он объединяет технологию построения трёхмерной карты окружающего пространства и большие языковые модели (LLM). Система в реальном времени создаёт детализированный граф сцены, в котором отражены все объекты на складе: стеллажи, контейнеры, коробки и люди, а также связи между ними.
«Мы предлагаем модульный подход, который использует оригинальные алгоритмы для декомпозиции последовательности задач гуманоидного робота в складской среде на основе графа трёхмерной сцены. В отличие от существующих методов, наша система способна не просто распознавать объекты, но и понимать пространственные взаимоотношения между ними», — пояснил соавтор работы, заведующий лабораторией воплощённого ИИ Центра когнитивного моделирования МФТИ Алексей Ковалёв.
Ключевая особенность разработки — использование алгоритмов слияния информации о распознанных масках объектов на изображениях камеры, соответствующих им картах глубин и специальных визуальных ArUco-маркерах. Это позволяет роботу с помощью одной встроенной камеры строить и обновлять граф окружающей трёхмерной сцены в режиме реального времени. Система способна декомпозировать сложную задачу, например, «взять коробку с верхней полки», на последовательность конкретных действий: навигацию к стеллажу, захват груза и его перемещение.
Для обучения и тестирования системы учёные создали и вручную разметили специализированный набор данных, включающий сцены со складов и десятки сценариев с голосовыми командами. В ходе экспериментов как в виртуальной среде, так и на реальном роботе, который разработан в Лаборатории интеллектуальных технологий робототехники, подход продемонстрировал более высокую эффективность по сравнению с системами, не использующими трёхмерные графы сцены.
«На основе разработанного датасета впервые проведено бенчмарк-тестирование современных алгоритмов автономного планирования действий гуманоидных роботов в складских условиях. Результаты подтвердили преимущество предложенного подхода», — добавил соавтор работы, директор Центра когнитивного моделирования МФТИ Александр Панов.
