Коллектив разработчиков с факультета радиотехники и электроники и факультета автоматики и вычислительной техники НГТУ НЭТИ создал видеонавигатор для инвалидов по зрению на основе искусственного интеллекта, который отличается эффективностью и простотой. Для работы навигатора требуется телефон на базе Android, сообщила пресс-служба вуза.
«Человек загружает разработанную нами программу, включает камеру и закрепляет гаджет на груди. Дальше работает специально обученная нейросеть. Из видеопотока кадров ИИ распознает обстановку, расстояние до потенциально опасных объектов и звуком оповещает об этом пользователя», — рассказал студент третьего курса АВТФ Егор Авдеев.
Для распознавания объектов разработчики используют модель сверточной нейронной сети, которую обучают на вручную размеченных данных. ИИ предупреждает об объектах на расстоянии около пяти метров, чтобы не перегружать пользователя информацией, а также реагировать на неожиданно появившиеся препятствия, такие как машины или закрывшиеся ворота, — приложение обрабатывает кадры за 300 мс.
От отечественных и зарубежных аналогов разработка студентов новосибирского вуза отличается тем, что способна работать в офлайн-режиме и не содержит рекламы и платной подписки. Кроме того, в программе появится возможность предлагать свои объекты для распознавания, чтобы можно было обеспечить максимальный комфорт при перемещении.
Команда работает над основным режимом работы данного приложения. «За три месяца мы постараемся выпустить версию, которая сможет помочь с распознаванием препятствий и ориентированием. Также есть идеи для добавления других функций в приложение, например, построение маршрута по голосовому запросу адреса или поиск объектов по названию», — добавил Егор Авдеев.
По словам разработчиков, проект почти готов. Перед выпуском новой версии команда проведет тестирование и в дальнейшем планирует в оперативном режиме исправлять мелкие проблемы, не влияющие на работу основного функционала приложения.
