0

Google создала восьмикнопочный заменитель фортепиано

Google создала восьмикнопочный заменитель фортепиано
Инженеры из Google создали контроллер, позволяющий играть на фортепиано, используя всего восемь кнопок. После нажатия кнопки обученный нейросетевой алгоритм самостоятельно подбирает для каждого нажатия одной из восьми кнопок наиболее подходящую комбинацию из клавиш фортепиано.

Проект Piano Genie был создан командой Magenta из Google AI, интерактивная веб-демо доступна для всех желающих. Нейросеть обучалась на 1400 вариантах виртуозных выступлений, взятых с международного конкурса. Примечательно, что схема движения мелодии в точности имитирует последовательность кнопок контроллера.

Алгоритм основан на двух рекуррентных нейросетях с долгой краткосрочной памятью (LSTM), которые выполняют противоположные задачи. Одна из нейросетей работает как кодировщик, а другая как декодировщик.

Двунаправленный кодировщик LSTM сопоставляет последовательность фортепианных нот с последовательностью кнопок контроллера. Затем однонаправленный декодер LSTM декодирует последовательность кнопок обратно в музыку. По завершении обучения сети роль кодировщика занимает исполнитель, который сам задаёт последовательности клавиш на контроллере, а декодер связывает задаваемые комбинации с уже знакомыми. При этом на нажатие одной кнопки контроллера Piano Genie приходится проигрывание только одной ноты.

Алгоритм запоминает предыдущие нажатия на клавиши контроллера и позволяет с его помощью создать мелодию. Появится ли устройство в продаже и сколько оно будет стоить, неизвестно.




Также по теме