Впервые в мире для обработки изображений с камеры применили новый класс нейросетей

Для автоматической обработки получаемых с цифровой камеры изображений ученые впервые в мире применили сети Колмогорова-Арнольда (KAN) — это новый класс нейронных сетей, который позволил нейросетевым методам обойти классические по качеству обработки цвета.

Ученые Института искусственного интеллекта Самарского университета им. Королёва с коллегами из Москвы, Вюрцбурга (Германия) и Йорка (Канада) разработали новую технологию увеличения точности цветопередачи цифровых камер, сообщили в пресс-службе вуза.

Технологию протестировали на нескольких классах задач, связанных с обработкой цветных изображений. Результаты тестирования показали, что разработка, получившая название cmKAN, значительно превосходит различные методы улучшения цветопередачи, применяемые сейчас в мире производителями смартфонов и цифровых камер.

«В современном мире используется множество различных камер, так в современных смартфонах, как правило, используются три типа камер — телекамера, основная и широкоугольная. Разные камеры по-разному отображают цвет, при переходе между камерами цвета на снимках существенно различаются, более того, эти различия камер носят нелинейный характер, что затрудняет и восприятие, и автоматическую обработку изображений. Несмотря на впечатляющие успехи нейросетевых методов практически во всех сферах компьютерного зрения, точная обработка цвета до настоящего времени оставалась вотчиной классических алгоритмов. По всей видимости, это связано с высокой чувствительностью человеческого восприятия цвета, а также с тем, что современные нейростевые подходы недостаточно хорошо отрабатывают специфику преобразования цвета. Нам удалось преодолеть разрыв между классическими и нейросетевыми алгоритмами обработки цвета и разработать универсальный нейросетевой подход сопоставления цветов cmKAN, который позволяет более точно сравнивать и корректировать в автоматическом режиме цвета изображения», — рассказал профессор Артем Никоноров, директор Института искусственного интеллекта и руководитель Центра «Интеллектуальная мобильность многофункциональных беспилотных авиационных систем» Самарского университета им. Королёва.

По словам ученого, процесс работы нейросети похож на этапы работы оператора программы цветовой коррекции, например, Photoshop или Lightroom. Оператор строит нелинейные кривые преобразования цветов и задает области их применения: так, на светлом небе правила преобразования цветов одни, в тени зданий другие, вблизи источников света — третьи. Новый подход работает схожим образом. Исследователям удалось теоретически показать, что сети Колмогорова-Арнольда максимально хорошо отражают нелинейные преобразования цвета, а параметры этих преобразований в разных частях изображения задаются сетью-генератором.

Сети Колмогорова-Арнольда (KAN) — это новый тип архитектуры нейронных сетей, он основан на теореме представления Колмогорова-Арнольда, разработанной советскими математиками Андреем Колмогоровым и Владимиром Арнольдом. Этот тип архитектуры нейросетей был разработан в 2024 году и может стать альтернативой для традиционных нейросетей MLP (многослойный перцептрон), широко используемых сейчас в системах компьютерного зрения и в больших языковых моделях.

Для обучения и тестирования cmKAN разработчики подготовили и опубликовали внушительный набор данных — Volga2K, содержащий более двух тысяч пар снимков с различных камер камер, в различных местах и условиях съемки.

«Разработанная технология протестирована на основных задачах преобразования цветных изображений: синхронизация цветов изображений с двух различных камер; синхронизация цветов RAW-изображений различных камер; приведение RAW-изображения к итоговому, а это основная задача для любых современных камер как на смартфонах, так и профессиональных; и главное, постобработка снимков человеком. Результаты показали, что наш метод стабильно превосходит мировые аналоги в среднем на 37,3%. Кроме того, cmKAN эффективно обрабатывает сцены с высоким динамическим диапазоном, изображения, снятые в сложных условиях, в вечернее и ночное время. Наш метод может найти применение не только в камерах смартфонов, но и при создании новых процессоров обработки изображений цифровых фотокамер, а также при автоматизации редактирования и цветокоррекциии фотографий в издательском деле, полиграфии, подготовке медиаконтента, профессиональной визуализации», — отметил Артем Никоноров.

Разработанный подход cmKAN представили на международной конференции IEEE International Conference on Computer Vision, прошедшей с 19 по 23 октября 2025 года в Гонолулу (Гавайи).

В проекте приняли участие ученые Самарского национального исследовательского университета имени С. П. Королёва, Московского физико-технического института, Научно-исследовательского института искусственного интеллекта (г. Москва), Института проблем передачи информации имени А. А. Харкевича РАН (г. Москва), Вюрцбургского университета (Германия) и Йоркского университета (Канада). Проект выполнен в рамках работы исследовательского Центра искусственного интеллекта — Центра интеллектуальной мобильности многофункциональных беспилотных авиационных систем.

Материал подготовлен при поддержке Минобрнауки России в Десятилетие науки и технологий.