Нейросеть научили видеть «невидимое» со скоростью света

Скоростную нейросеть, которая может в режиме реального времени анализировать поступающий видеопоток и почти мгновенно распознавать в нем заданные объекты и изображения, создали в Самарском университете имени Королёва. Об этом сообщила пресс-служба вуза.

Вместе с анализом «картинки» с обычной видеокамеры разработка может почти со скоростью света анализировать также данные, получаемые с помощью гиперспектрометров. Это устройства, видящие реальность в многоканальном спектральном отображении. Они позволяют находить объекты, невидимые для обычных средств наблюдения.

«Учеными нашего университета разработана оптическая нейросеть на основе аналоговой фотонной вычислительной системы, собран демонстрационный образец системы, подтвердивший в ходе экспериментов работоспособность выбранной схемы. Данная нейросеть предназначена для анализа поступающего в систему видеопотока и последующего распознавания и классификации определенных объектов и изображений. Ключевой особенностью разработки является возможность анализа гиперспектральных данных — система рассчитана на работу с двухдиапазонным гиперспектрометром, который также разработан у нас в университете», — рассказал профессор кафедры технической кибернетики Самарского университета им. Королёва Роман Скиданов.

По его словам, аналоговая фотонная вычислительная система позволяет проводить анализ и распознавание объектов почти со скоростью света, что в сотни раз превосходит скоростные характеристики современных цифровых нейросетей на основе традиционных полупроводниковых компьютеров. Это особенно важно для оперативного анализа гиперспектральных данных, изначально представляющих собой значительные по объему массивы информации.

Кроме быстродействия и широкого спектрального диапазона, аналоговые оптические вычислительные системы имеют такие преимущества, как полная защищенность от электромагнитных помех, малое потребление энергии и возможность параллельной обработки данных.

«Наш демонстрационный образец создан с использованием стандартных лабораторных оптико-механических компонентов, а также различных модуляторов и видеокамер. Оптическая схема устройства разработана в таком виде, чтобы благодаря камере, регистрирующей распределение интенсивности в частотной плоскости, можно было решать ряд дополнительных задач. Надежность распознавания в ходе первых экспериментов на демонстрационном образце составила 93,75%. В 2024 году планируется собрать и испытать экспериментальный образец системы в достаточно компактном корпусе размером с небольшой системный блок компьютера. Точность и надежность распознавания у экспериментального образца должна вырасти за счет подбора компонентов с улучшенными характеристиками. Опытный образец установки, возможно, будет готов в 2025 году», — отметил Роман Скиданов.

Исследования по проекту финансируют  Министерство науки и высшего образования России и Госкорпорация «Росатом».