Сервис для мгновенного распознавания нот представили в МФТИ

Студенты Московского физико-технического института (МФТИ) разработали сервис Audio2MIDI, способный преобразовывать музыкальные аудиозаписи в нотные партитуры с помощью искусственного интеллекта. Продукт не только значительно упрощает процесс создания нотных записей, но и решает множество актуальных проблем в музыкальной индустрии, подчеркнули в вузе.

Ручное создание нотных партитур требует много времени и усилий, а современные музыкальные ИИ модели не находят широкого применения из-за недостатка качественных данных в формате MIDI. Audio2MIDI предлагает музыкантам и композиторам высокую точность преобразования даже самых сложных полифонических композиций. Теперь получить нотную партитуру для игры на пианино можно за несколько мгновений.

Сервис работает в «Телеграме». Чтобы им воспользоваться, необходимо запустить  бот Audio2MIDI, нажать «Старт», выбрать в меню нужную задачу: распознать ноты из песни, разделить песню на голос и аккомпанемент, получить текст песни по названию или ключевым словам, скачать песню по этим параметрам. 

«Я увлекаюсь музыкой на любительском уровне, иногда играю на пианино и подбираю мелодии на слух из песен, которые мне нравятся. В процессе я понял, что автоматизация поиска нот и создания аранжировок с помощью ИИ могла бы сильно облегчить жизнь музыкантам. Это также стало бы полезным для обучения генеративных моделей музыки на основе нот. Так появилась идея нашего сервиса, который автоматически генерирует нотную аранжировку по песне, открывая новые горизонты и делая музыку доступной для каждого, независимо от уровня музыкального слуха», — рассказал автор проекта, студент МФТИ, победитель конкурса на грант российского фонда «Содействие инновациям» Дмитрий Протасов.

Audio2MIDI также может представлять интерес для музыкальных платформ и магазинов, предлагая API для генерации обширных датасетов нот, что может значительно улучшить обучение моделей генеративной музыки. Кроме того, сервис может применяться в юриспруденции для проверки оригинальности музыкальных композиций и анализа треков на наличие плагиата в условиях авторских споров.

Сервис доступен бесплатно. В дальнейшем разработчики обещают расширить функционал, добавив возможность создания партитур для других инструментов и оркестровых партий.