Современные беспилотники всё чаще выступают не просто носителями камеры, а полноценными вычислительными платформами. На борту БПЛА появляются нейросети, тепловизоры, лидары и системы автономной миссии. Беспилотники могут в автоматическом режиме летать по подстилающей поверхности (к примеру, проект МФТИ – технологии бортовой оптической навигационной системы с использованием нейросетевых алгоритмов – «БОСК»).
Однако даже самые передовые решения сильны в отдельных функциях, но не дают целостной картины наблюдаемой сцены. Оператору приходится пересматривать видео, вручную запоминать объекты и сопоставлять их с координатами, что превращает инженерную задачу в трудоёмкий процесс.
Для решения этой проблемы учёные МФТИ разработали нейромодуль, получивший название «Нейропарсер». В отличие от традиционных систем видеоаналитики, которые обрабатывают каждый кадр по отдельности, он ведёт историю наблюдения каждого объекта. Это позволяет системе отвечать не на вопрос «что в кадре?», а на более сложные запросы: как долго наблюдался объект, перемещался ли он, где находился на карте и насколько можно доверять результату распознавания.
«Наша разработка предлагает смотреть на задачу как на непрерывную цепочку: сегментация, трекинг, реидентификация, геопривязка и объектовая память. Ценность появляется не в каждом звене по отдельности, а в их связке. Вместо «в кадре что-то есть» мы получаем запись: «в 10:15 обнаружен объект такого-то типа, он наблюдался несколько секунд, его положение связано с координатами БПЛА», – рассказал архитектор проекта, ведущий инженер Иван Фаркатов.
В основе устройства лежит модульная архитектура, где каждый компонент отвечает за свою задачу: сегментация выделяет контуры объектов, идентификация определяет их класс, трекинг отслеживает их во времени, реидентификация позволяет искать эталонный объект под разными ракурсами, а геопривязка связывает наблюдение с координатами БПЛА, поступающими от GNSS, INS и других навигационных средств. Такой подход исключает попытки «угадать» геометрию сцены одной нейросетью – координаты и поза объекта поступают от навигационного контура БПЛА, а нейросетевые алгоритмы отвечают только за распознавание и трекинг, что делает систему более надёжной и проверяемой в реальных условиях.
«Каждый объект получает цифровой «паспорт» – тип, маску на изображении, идентификатор трека, время наблюдения, координаты и эмбеддинг для повторного поиска даже при изменении освещения и ракурса. Благодаря этому модуль может получить эталонное изображение объекта и в ходе полёта проверять, не похож ли один из наблюдаемых объектов на заданный образец. Если совпадение достаточно уверенное, объект фиксируется в памяти сцены и попадает в отчёт», – добавил Иван Фаркатов.
«Нейропарсер» не заменяет существующие алгоритмы, а интегрирует их в единую систему, превращая БПЛА из «летающей камеры» в наблюдателя с памятью. Таким образом, передовые разработки в области технического зрения, полёта по подстилающей поверхности (в частности, такие проекты МФТИ, как «БОСК», «Фасетка»), становятся объединёнными единой комплексной интеллектуальной системой, и все эти проекты совместно позволят значительно сократить путь от выполнения полётного задания к принятию решения за счёт автоматического теханализа наблюдаемой сцены.
В перспективе технология найдёт применение в мониторинге территорий, картографировании, анализе последствий аварий и специальных сценариях, где требуется найти не просто объект заданного класса, а конкретную цель, известную по эталонному изображению. Ключевая ставка проекта – переход от набора детекций к полноценной геопривязанной сцене с памятью.
