Ученые создали приложение, с помощью которого пользователи смогут «настраивать» музыкальные произведения под свои предпочтения голосом, мимикой или жестам. Например, попросить проиграть композицию медленнее или сделать из нее колыбельную.
Аспирант Сколтеха Илья Боровик и его соавтор из Германии решили сделать музыкальное исполнение более доступным для пользователей. В этом им помог искусственный интеллект. Алгоритм позволяет человеку без навыков игры на музыкальных инструментах влиять на воспроизведение классической музыки.
«Демоверсия системы состоит из модели ИИ, которая обучена на небольшом общедоступном корпусе из 1067 музыкальных исполнений 236 произведений фортепианной музыки. Модель берёт на вход ноты и учится играть по ним, предсказывая характеристики исполнения: локальный темп, позицию, длительность и громкость ноты. На выходе мы получаем исполнение произведения. Нашей же целью было сделать так, чтобы этой моделью можно было управлять, поэтому мы подключили её к приложению, которое позволяет пользователю общаться с ней», — рассказал Илья Боровик.
Запуская приложение на смартфоне, пользователь начинает слушать случайное генерируемое исполнение для произведения из базы данных. Чтобы повлиять на исполнение, он должен нажать на кнопку и записать видео или аудио. С помощью голосовых команд или выражения эмоций на лице можно попросить модель воспроизвести музыку по-другому. Например, сыграть мазурки Шопена как колыбельные.
«Для управления моделью мы используем указания к исполнению, которые уже написаны в нотах. В партитурах есть метки, которые указывают исполнителю, как играть ту или иную часть произведения: быстрее, медленнее, громче, тише и так далее. Мы берём все данные, которые есть, и на их основе преобразуем голосовые инструкции пользователя в эти указания», — объяснил разработчик.
В планах ученых — сделать процесс общения между пользователем и моделью полностью интерактивным, чтобы прийти к желаемому результату можно было всего за несколько итераций. Также они доработают интерфейс приложения и расширят базу данных музыкальных произведений. Сейчас в ней содержатся классические произведения, достояния общемировой культуры. На следующем этапе исследователи хотят включить оркестровую музыку.
Результаты работы представлены в сборнике Frontiers in Artificial Intelligence and Applications.
