Замена вокалиста. Нейросети.

Aмирханов

Well-Known Member
7 Июл 2019
2.732
787
113
45
Подобный вопрос у меня уже был. Но был он как пост в N-ой теме. Следить за тенденциями так трудно.
Думаю в этой теме не будет лишним делиться наработками, когда нужно сделать поющие трусы- когда "вокалист"/клиент спел абы как, потом мы натренировали ИИ образцами его голоса. Спел песню проф.певец, а мы потом подставили голос клиента.
Ну уж есть наверное уже хорошо работающие инструменты?
 
@Aмирханов, Да собсно в Суно можно свой вокал импортировать и сделать кавер. Сохранив и слова и мелодию. При определенных настройках будет практически неотличим по тембру от оригинала и при этом красиво и ровно спет. По крайней мере в платной версии 4.5
 
То что applio бесплатно,это хорошо. Но не со всем материалом справляется.
Кто что наработал на эту тему?
 
@Aмирханов, бесплатно:
 
  • Like
Реакции: Aмирханов
@Aмирханов, бесплатно:

Только не совсем понял, ты предложил свой вариант как подходящий для сценария " Взял профессионально спетую вокальную дорожку( например вырезал из песни) и заменил эту дорожку на мой голос ( голос клиента)" ?
 
Третий день балуюсь с YuE2, весьма не дурственно генерит для бесплатной локалки, и работает даже на встройке (может и на CPU, но долго). Всвязи с этим возникла идея сценария как получить бэки. Там есть возможность грузить и редактировать партитуру, набиваешь вокальную партию какую нужно, текст (с русским языком работает вроде не плохо, иногда нужны "читы" чтоб заставить правильно спеть, но вроде получается), и пусть генерит. Я не пробовал заставить её а капелла петь, но мне кажется можно. Можно у внеземного разума поинтересоваться как это в промте прописать, или может в тексте тегами (на последнее честно говоря YuE2 периодически забивает и шпарит самодеятельность). В общем гарантии конечно нет, что сработает, именно насчёт а капеллы, но вокальную партию там редактировал и это гарантировано работает.
 
Третий день балуюсь с YuE2
Решил тоже побаловаться. )) А что - плюсы конечно есть по сравнению с Суно. Не заваливает частоты , начиная с середины и до конца трека, загружает без вопросов любой популярный трек для каверов, сравнительно быстро генерит... Надо покопать.

Но вот что она сделала с песней Попугай группы Круиз - это нечто. ))) На японском. :Dle46:
Надо покопать будет...

Посмотреть вложение 285516
 
  • beer
  • Like
Реакции: Kosten и ЛеонидО
@ESSE, ну вот для бэков нагенерированное плохо сепарирует к сожалению, хорошая модель в UVR живой коллектив на стемы раскладывает пипец как круто, а то, что YuE2 нагенерировала - грязно и с протечками. Если не получится заставить а капелла спеть то способ неприменимый к сожалению.
 

Сейчас просматривают