Лингвист Анна Пестова оценила шансы ИИ заменить составителей словарей

22 ноября отмечается День словарей и энциклопедий, а также 225 лет со дня рождения Владимира Ивановича Даля — писателя, лексикографа и составителя знаменитого Толкового словаря. Кто и как решает, что слово достойно попасть в словарь? Какую роль в этом играет искусственный интеллект? На вопросы по просьбе редакции Наука.рф ответила старший научный сотрудник Института русского языка им. В. В. Виноградова РАН, кандидат филологических наук Анна Пестова.

Как современные слова попадают в словари? Ответ зависит от типа словаря, объясняет эксперт. Есть словари орфографические, орфоэпические, толковые. У каждого из них свои задачи и критерии отбора.

«Я работаю в авторских коллективах двух толковых словарей: „Академического толкового словаря русского языка“ (АТоС) и „Толкового словаря русской разговорной речи“ (ТСРР). Первый — нормативный, второй — дескриптивный. АТоС описывает лексику современного литературного русского языка в ее стилистическом многообразии, а ТСРР сфокусирован на современной разговорной речи», — говорит кандидат филологических наук Анна Пестова.

Чтобы слово зафиксировали в «Толковом словаре русской разговорной речи», ему нужна широкая употребительность в устной речи носителей литературного языка и в языке СМИ. Именно в этом источнике можно встретить такие слова, как кринж или краш. Для академического толкового словаря этого недостаточно. Чтобы претендовать на место в АТоС, слово должно быть представлено в текстах авторитетной литературы, неоднократно воспроизводиться каждый год, войти в обиходное и профессиональное употребление, обладать достаточной частотностью и иметь производные.

«В академический толковый словарь берется то, что прошло „естественный отбор“ и прочно закрепилось в языке. Составители анализируют огромный массив данных: художественную литературу, СМИ, кино, речь публичных людей, интернет-тексты. Мы используем специальные лингвистические корпуса. Например, Национальный корпус русского языка (НКРЯ), гигантскую базу текстов, где можно отследить историю почти любого слова», — рассказывает ученый.

Решение добавить слово в словарь авторы принимают коллективно. Это долгая работа, которая почти всегда вызывает споры: каждый привносит свой опыт и аргументы, замечает эксперт. Например, в числе слов, недавно включенных в академический толковый словарь: дофаминовый, айтишник, автозамена, аккаунт, аниме, аудиокнига, бизнес-ланч, вебинар, веган, гештальт, гиалуроновый, дедлайн, аватар, верификация, дислексия, дизлайк, дхарма, закидон, залить и многие другие.

Иногда у слов появляются новые значения, это тоже фиксируют в словарях. Например: дефиле. Сегодня это прежде всего показ мод, а в Малом академическом словаре 1981–1984 годов у него было только военное значение, которое сейчас мало кому известно («ущелье или узкий, тесный проход»). Новое значение обретают нишевый и дофаминовый. Показательно, что они стали претендентами на звание слова года по версии портала Грамота.ру. Это отражает настроение времени: с одной стороны, желание выделиться и найти свое (нишевый), с другой — поиск ярких положительных эмоций (дофаминовый), делится ученый.

Настоящий живой механизм, который постоянно производит новые значения, — универбаты. Это слова, которые образуются на базе словосочетаний путем свертывания нескольких слов в одно. Например, слова с суффиксом -ка: социалка (не только социальная стипендия, но и все, что касается социальной сферы в целом).

В то же время многие слова уходят из языка. Это естественный процесс, он происходит постоянно, отмечает эксперт. Например, из словника АТоС исключены такие неактуальные для современного русского языка слова, как агитпоход («поход агитколлектива, совершаемый на лыжах, пешком и т. п. с целью проведения агитационной работы среди населения»), альфрейщик («специалист по альфрейной росписи»), бумагопрядение («производство пряжи из хлопка»), выкомуры («хитрые, затейливые речи»).

«Иногда исключается не слово целиком, а отдельное его значение. С чем связаны эти потери? Причин две. Первая — замена на новые слова: массовик в значении „организатор массовых игр и развлечений“ исчез. Вместо него теперь аниматор. Вторая причина — исчезает сама реалия: например, дискета у нас в словаре уже дана с пометами „инф. ист.“», — рассказывает Анна Пестова.

Уходящие слова и значения важно сохранять в письменных источниках. Словарь фиксирует не только то, что активно сегодня, но и то, что встречается в классической литературе. Поэтому лексикографы не убирают слова, а ставят при них хронологические пометы: устар., ист., устаревающее, уходящее. Существуют специальные словари, которые фиксируют уходящие слова. Например, «Жизнь российского города в лексике 30–40-х годов XX века: краткий словарь ушедших и уходящих слов и значений» О. П. Ермаковой.

Как сегодня выглядит работа лексикографа? Важно понимать, что это не человек с бумажкой, который выписывает слова, а исследователь, работающий с огромными массивами данных, подчеркивает эксперт. Работа начинается со словника — списка слов, которые войдут в словарь. Основной критерий: употребительность слова в современном литературном языке. Затем лексикограф работает над толкованием, анализируя многочисленные примеры употребления, найденные в разных источниках, в том числе в НКРЯ.

Но словарная статья в академическом словаре — это не только толкование. Она состоит из одиннадцати зон, включая грамматические характеристики и примеры в виде цитат. Каждая зона — источник нормы: орфографической, орфоэпической, грамматической, стилистической. Завершив работу над статьей, автор обсуждает ее с членами словарной группы, после чего статья возвращается на редактуру.

«Одна из главных задач современного лексикографа — ухватить, зафиксировать постоянно меняющуюся картину языка. Мы работаем с живым языком, но вынуждены описывать его как статичный снимок», — делится специалист.

Может ли взять на себя роль лексикографа искусственный интеллект? Чтобы это выяснить, старший научный сотрудник ИРЯ РАН Анна Пестова совместно с ведущим научным сотрудником НИУ ВШЭ, кандидатом филологических наук Валерием Шульгиновым провели эксперимент. Ученые дали пяти нейросетям подробную инструкцию и попросили составить словарные статьи. Выяснилось, что ИИ хорошо работает с тем, что уже многократно описано и закреплено в текстах. Но стоит ему столкнуться с чем-то новым, еще не освоенным языком, — начинаются странности.

«Модели не знают значения слова и начинают угадывать, опираясь на звучание или внутреннюю форму. Получается смешно, но не научно. Например, иишка — „уничижительное название кошки женского пола“ или „уменьшительно-ласкательная форма слова „кишка“; вайб-кодинг — „способ программирования в приятной, вдохновляющей атмосфере“», — комментирует ученый.


Не справляются нейросети и со стилистическими пометами: используют их как ярлыки, не вникая в лингвистическую логику, путают, изобретают гибриды. Модели не ищут достоверные цитаты к словам, а фабрикуют их: приписывают неологизмы классикам, создают несуществующие источники.

Результаты этого эксперимента не окончательные, добавляет эксперт. ИИ постоянно развивается, у него еще есть шанс их улучшить. Но заменить лексикографа он пока не способен. Модели демонстрируют компетентность, обратно пропорциональную новизне лексики: чем новее слово, тем беспомощнее нейросеть. Она меняет подход к составлению словарей, но скорее как инструмент, позволяющий быстрее обрабатывать данные. Жизненный опыт и понимание, что стоит за словом, есть только у человека, заключает кандидат филологических наук Анна Пестова.

А если вам хорошо знаком научный язык, приглашаем принять участие в опросе среди ученых и исследователей, который сейчас проводят Институт Пушкина и портал Десятилетия науки и технологий — Наука.рф. По итогам выберут слово года в науке и определят понятия и термины, которые лучше всего отражают главные научные темы и события уходящего года. Результаты опроса представят на VI Конгрессе молодых ученых, который пройдет 2–4 декабря в Санкт-Петербурге.