В случае распознавания иероглифов вместо алфавита из 30-40 букв система должна «понимать» сотни похожих символов с уникальным значением. Для повышения точности ученые использовали контекстуальные OCR-модели и диффузионные модели, генерирующие реалистичные изображения для расширения обучающего набора.
Основой для обучения модели стал Thesaurus Linguae Aegyptiae — самое полное собрание древнеегипетских текстов с переводами. Сначала применялись автоматические метрики, затем тексты оценивали профессиональные египтологи из НИУ ВШЭ.
В ходе проекта создаются новые технологии распознавания рукописных текстов, которые востребованы при создании и обогащении больших языковых моделей в условиях недостатка данных. По словам разработчиков, в перспективе новые технологии можно будет использовать в мобильных приложениях дополненной реальности. Например, посетители музея смогут навести на камеру на экспонат с иероглифами и понять, что там написано. Студентам-египтологам, которые только начинают изучать язык, данный метод облегчит процесс обучения.
«Проект стал результатом работы междисциплинарной команды специалистов по машинному обучению и египтологии. Первую научную работу, посвящённую разработке метода, мы уже представили на международной конференции SIGGRAPH 2025 ... На данный момент доступ к системе открыт по запросу для заинтересованных специалистов», — рассказал руководитель проекта, ведущий научный сотрудник ИСП РАН и AIRI, доцент ИТМО Илья Макаров.
