Сотрудники Центра практического искусственного интеллекта Сбера существенно повысили точность определения эмоций на фото и видео с помощью искусственного интеллекта. Свои исследования они представили на мировой конференции по компьютерному зрению ECCV 2024.
В статье «Распознавание составных эмоций лиц на видео с помощью сглаживания предсказаний эффективных многозадачных нейронных сетей» решается задача распознавания составных эмоций. В жизни люди редко проявляют только одну базовую эмоцию. Чаще мы испытываем смешанные состояния — например, «радостно удивленный» или «печально испуганный». Такие нюансы находит новый алгоритм. В этом ему помогают легковесные нейросетевые модели, такие как MT-EmotiMobileFaceNet, для извлечения эмоциональных признаков. Специальная постобработка сглаживает предсказания с помощью усреднения или гауссовских фильтров. Этот подход резко повышает точность, конкурируя с более сложными и ресурсоемкими методами, подчеркивают ученые Сбера.
Метод сглаживания предсказаний улучшил F1-меру классификации составных эмоций на 4,5 процентных пункта. Это позволило работе занять 2-е место в престижном конкурсе Compound Expression Recognition в рамках ABAW-7 в рамках конференции ECCV. Ключевое преимущество — точное распознавание без дообучения модели на новых данных с составными эмоциями, что раньше было серьезным препятствием для практического применения.
Второе исследование, «Анализ эмоций на фото и видео с использованием эффективных многозадачных нейросетевых моделей», посвящено созданию легких моделей для одновременного решения нескольких задач. Они распознают выражения лица, знак (valence) и интенсивность (arousal) его эмоций, а также 12 кодов лицевых движений из классификации П. Экмана. Новая технология работает прямо на мобильных устройствах, не отправляя видео лиц в облако. Это экономит вычислительные ресурсы и повышает уровень безопасности персональных данных.
Ученые разработали серию легковесных нейросетей, включая MT-EmotiDDAMFNet и MT-EmotiEffNet. Объединение признаков от двух лучших архитектур позволило значительно улучшить результаты базового решения конкурса ABAW-7. Точность распознавания выражений лица выросла на 7 процентных пунктов, а качество предсказания знака и интенсивности эмоций — в 1,25 раза. Суммарная метрика качества для трех задач конкурса увеличилась в 4,5 раза. Это достижение принесло команде ученых Сбера серебряную медаль конкурса Multi-Task Learning Challenge.
Предложенные подходы подтверждают, что эффективные легковесные модели с грамотной постобработкой могут успешно конкурировать с громоздкими ансамблями сложных нейросетей. Все модели и исходный код доступны в открытой библиотеке EmotiEffLib, поэтому другие исследователи тоже могут развивать это направление.
Для бизнеса применение этих разработок может привести к революции в цифровом маркетинге и анализе пользовательского опыта. Компании смогут точно оценивать эмоциональную реакцию на контент или продукты. Производители смартфонов и умных устройств смогут разработать более чуткие системы взаимодействия с пользователем. Автопроизводители смогут создать более надежные системы мониторинга состояния водителя.
Для общества преимущества не менее значимы. Технология улучшает взаимодействие человека и компьютера, делая его более естественным и эмпатичным. Появляется возможность создания доступных диагностических инструментов в психологии и психиатрии для раннего выявления эмоциональных расстройств. Во всех этих случаях предложенный подход может применяться для того, чтобы сделать анализ сложных эмоций точным, доступным и безопасным, резюмировали в пресс-службе Сбербанка.
