Нейросеть поможет распознавать товары на кассах и весах

Команда исследователей из Сколтеха и других организаций разработала новый эффективный способ распознавания товаров на развес в магазине. Как сообщает пресс-служба Сколтеха, разработка ускорит обучение нейронной сети, когда в магазине появятся новые виды товаров. 

Ученые предлагают упростить процесс процесс взвешивания товаров и их оплаты с помощью системы компьютерного зрения.

«Сложность в том, что в магазинах много визуально похожих сортов фруктов или овощей, часто появляются новые. Классические системы компьютерного зрения нужно переобучать каждый раз, когда появляется новый сорт. Это долго, поскольку нужно собирать много данных о нём, потом вручную размечать их», — рассказал инженер-программист и аспирант Центра технологий искусственного интеллекта в Сколтехе Сергей Нестерук.

Подход PseudoAugment позволяет настраивать нейронную сеть для работы с новыми классами без долгого процесса сбора и разметки данных. Систему можно настроить даже до того, как новые сорта выложат на полки магазина.

«Ящик с новым сортом можно поставить под камеру и сфотографировать. Далее, используя всего лишь несколько фотографий, алгоритм без ручной разметки извлекает отдельные объекты, потом мы аугментируем (дополняем) изображения, на основе которых можно дообучать нейронную сеть. Мы увидели, что при добавлении новых классов деградация качества распознавания гораздо меньше, чем при обучении без аугментации. Когда будет добавляться много классов, деградация качества всё равно начнётся, но систему можно переобучать всего раз в несколько недель. Самое главное, что она сможет работать сразу, как только в магазине появится новый продукт», — отметил Сергей Нестерук.

Как объяснили ученые, аугментация изображений подразумевает их дополнение синтезированными изображениями, то есть визуальную трансформацию исходных данных. Это, например, переворачивание изображений, изменение их яркости, добавление шума и так далее. 

По словам исследователей, сфера применения алгоритма не ограничена супермаркетами. В частности, его можно использовать для обучения распознавания однородных объектов: на конвейерах для сортировки семян или твердых бытовых отходов.

Исследование опубликовано в журнале IEEE Access.