Melisma — программа, генерирующая AI-исполнение из MusicXML. Два пути пользования: либо абонементная плата за рендер, либо запускается программа (бесплатная) на локальном компьютере, но тогда инструменты платные. Из инструментов уже доступны скрипка, альт, виолончель, флейта, гобой, хор, голос. Каждый инструмент стоит 15 000 японских йен (8 400 рублей по курсу). На форуме впервые упомянута в «Новостях раздела» здесь.
Флейта:
Ниже я перевёл ответы на вопросы господина Накасако, создателя программы. Сам он, кстати, прежде всего композитор камерной и ранней музыки (early music, типа средневековой), мультиинструменталист, у которого в доме около 350 музыкальных инструментов, а также трек-мейкер для малобюджетных игр.
— На данном этапе рендер в десктопной версии происходит на ЦПУ, поэтому медленный. На компьютере с процессором i9 10-го поколения требуется 3 минуты на единственный трек длиной 4 минуты. По контрасту, веб-рендеринг аналогичного трека занимает 15 секунд.
— Поскольку треки [в оркестровой композиции] рендерятся отдельно, возможно небольшое расхождение по темпу, которое можно поправить позже (Мелодайном). Но это как раз не трудно с изолированным материалом.
— Темпы в партитуре необходимо ставить только с привязкой к определённому объекту, иначе — ввиду особенностей формата MusicXML — синхронизация будет теряться. На картинке ниже неправильный и правильный варианты.
—
— Десктопная версия не имеет ограничений по времени использования. Вы можете рендерить пьесы любой длины, если у вашего компьютера хватает памяти. Расход памяти — около 8 GB на 4 минуты звучания (один инструмент).
— На данный момент звук очень сухой, ведётся работа над стерео-рендерингом.
— Сам я работаю с программой Сибелиус. Дорико прошёл проверку, MuseScore тоже работает. Насчёт Финале — не знаю.
— В разработке программы использована модель, схожая с Stable Diffusion, только применённая к музыке.
— Нет, стандарт MIDI поддерживаться не будет, только MusicXML. Слишком мало информации из MIDI можно почерпнуть для хорошего рендеринга. Ноты не дают информации о точной длине каждой ноты, но дают о штрихах, динамике, лигах. Для основанном на AI продукте читаемая человеком информация даёт больше, чем MIDI. Ноты это инструкция к исполнению, а MIDI — само исполнение. [Подчёркнуто мной. — Д.Р.]
— Будет ещё одна скрипка с другим музыкантом и ирландский фиддл. Записан материал для валторны. Начиная с этих инструментов все записи будут делаться с опорной частотой ля = 440 гц. Ранее выпущенные инструменты немного завышают. [Это к вопросу о совместимости с олдскульными сэмплерными библиотеками. — Д.Р.]
— Игра в ансамбле, когда, к примеру, скрипачи не играют в темперированном строе, а опираются на текущий лад или гармонию, пока невозможна по той причине, что рендеринг делается отдельно для каждого инструмента, партитура целиком не анализируется. На данном этапе мне кажется более важным создание инструментов. А в более отдалённом будущем — вполне возможно.
— В планах создание и струнных секций. На данный же момент можно экспортировать несколько скрипок, альтов, виолончелей, а для контрабаса использовать виолончель, опущенную на октаву (прямо в нотном редакторе).
— Будут записаны sul tasto – sul ponticello – ordinare с возможностью перехода между ними («as a curve»). То же будет с динамикой и вибрато. Глиссандо-портаменто возможны уже в текущей версии. Трели флажолетами пока невозможны. [Вай-вах! Трели флажолетами ПОКА невозможны — что я слышу! — Д.Р.]
— Конверсия в другие валюты и новый сайт будут через месяц-два.
— Да, безлимитный тариф планируется.
— Нет, продажа инструментов бандлами пока не планируется.
Флейта:
Ниже я перевёл ответы на вопросы господина Накасако, создателя программы. Сам он, кстати, прежде всего композитор камерной и ранней музыки (early music, типа средневековой), мультиинструменталист, у которого в доме около 350 музыкальных инструментов, а также трек-мейкер для малобюджетных игр.
— На данном этапе рендер в десктопной версии происходит на ЦПУ, поэтому медленный. На компьютере с процессором i9 10-го поколения требуется 3 минуты на единственный трек длиной 4 минуты. По контрасту, веб-рендеринг аналогичного трека занимает 15 секунд.
— Поскольку треки [в оркестровой композиции] рендерятся отдельно, возможно небольшое расхождение по темпу, которое можно поправить позже (Мелодайном). Но это как раз не трудно с изолированным материалом.
— Темпы в партитуре необходимо ставить только с привязкой к определённому объекту, иначе — ввиду особенностей формата MusicXML — синхронизация будет теряться. На картинке ниже неправильный и правильный варианты.
— Десктопная версия не имеет ограничений по времени использования. Вы можете рендерить пьесы любой длины, если у вашего компьютера хватает памяти. Расход памяти — около 8 GB на 4 минуты звучания (один инструмент).
— На данный момент звук очень сухой, ведётся работа над стерео-рендерингом.
— Сам я работаю с программой Сибелиус. Дорико прошёл проверку, MuseScore тоже работает. Насчёт Финале — не знаю.
— В разработке программы использована модель, схожая с Stable Diffusion, только применённая к музыке.
— Нет, стандарт MIDI поддерживаться не будет, только MusicXML. Слишком мало информации из MIDI можно почерпнуть для хорошего рендеринга. Ноты не дают информации о точной длине каждой ноты, но дают о штрихах, динамике, лигах. Для основанном на AI продукте читаемая человеком информация даёт больше, чем MIDI. Ноты это инструкция к исполнению, а MIDI — само исполнение. [Подчёркнуто мной. — Д.Р.]
Тут:
Или тут:Музыкальный образ, зафиксированный в нотах, закодированный в ноты, будет потенциально содержать в себе все возможные исполнения и трактовки. Неверные в том числе. И, да, единственно правильной трактовки в нотах не будет. Неполнота прям почти по Гёделю, ага.
Зато по этому нотному коду музыка может быть воссоздана и через пятьдесят лет, и через триста – каждый раз рождая новые интерпретации (что тоже есть творчество; и не исключено, что некоторые из интерпретаций даже «аутентичным исполнительством» когда-нибудь назовут). А кубики-полоски – это одно исполнение здесь и сейчас.
4) Про MIDI-воспроизведение партитур скажу ещё отдельно.
Нотная запись это запись самого замысла произведения, мысли композиторской. В то время как любое конкретное исполнение (MIDI или живое, здесь не важно) — только одна из возможных реализаций этого замысла. В каком-то смысле партитура Бетховена уже содержит в себе все интерпретации, состоявшиеся (хоть Караяна, хоть Мравинского), так и несостоявшиеся. Отсюда простой и важный вывод: не существует и не может существовать однозначного алгоритма, воспроизводящего партитуру идеально. Любой функционально грамотный музыкант (т.е. умеющий читать и писать, читать записанное другими и записывать сам для других) прекрасно знает, что партитурное меццо-форте в каких-то случаях может означать и пиано, а в каких-то других — и форте. Встроенность, вжитость в культурный слой помогает такому музыканту понять, что именно надо делать, исполняя чужую музыку. Тоже самое и со штрихами: стаккато это насколько укоротить ноту?
— Будет ещё одна скрипка с другим музыкантом и ирландский фиддл. Записан материал для валторны. Начиная с этих инструментов все записи будут делаться с опорной частотой ля = 440 гц. Ранее выпущенные инструменты немного завышают. [Это к вопросу о совместимости с олдскульными сэмплерными библиотеками. — Д.Р.]
— Игра в ансамбле, когда, к примеру, скрипачи не играют в темперированном строе, а опираются на текущий лад или гармонию, пока невозможна по той причине, что рендеринг делается отдельно для каждого инструмента, партитура целиком не анализируется. На данном этапе мне кажется более важным создание инструментов. А в более отдалённом будущем — вполне возможно.
— В планах создание и струнных секций. На данный же момент можно экспортировать несколько скрипок, альтов, виолончелей, а для контрабаса использовать виолончель, опущенную на октаву (прямо в нотном редакторе).
— Будут записаны sul tasto – sul ponticello – ordinare с возможностью перехода между ними («as a curve»). То же будет с динамикой и вибрато. Глиссандо-портаменто возможны уже в текущей версии. Трели флажолетами пока невозможны. [Вай-вах! Трели флажолетами ПОКА невозможны — что я слышу! — Д.Р.]
— Конверсия в другие валюты и новый сайт будут через месяц-два.
— Да, безлимитный тариф планируется.
— Нет, продажа инструментов бандлами пока не планируется.