spleeter — нейросеть для разделения аудиотрека на отдельные инструменты

[rustle]

Ну что ж, теперь вопрос «а как удалить голос из фонограммы?» можно считать закрытым.
На какие стемы нейросеть умеет разбивать аудиотрек прямо сейчас:

• Вокалы / все остальное (2 стема)
• Вокалы/ барабаны / бас / все остальное (4 стема)
• Вокалы / барабаны / бас / пианино / все остальное (5 стемов)

Спойлер: Примеры работы

Скачал, установил — работает.

Находится тут.

Делимся опытом, впечатлениями и прочее

 

[mezozoy]

убил вечер) у меня в Миниконде3 почему-то иногда не выдает результирующие файлы. Штука интересная, но малопонятно где этот сплиттер применять - захватывает немало предшума даже в 2х стемах, Бас очень тяжко определяет. Для задавок - фонограмм с остатками голоса применялись и более простые способы (вырез середины, работа с мид каналом )Ну и выше 10 кГц все жестоко режет

 

[Zerocool]

изотоп Rx последний тоже так умеет , без всяких нейросетей)

 

[rustle]

изотоп Rx последний тоже так умеет , без всяких нейросетей)

Ну почему же без, там, вероятнее всего, как раз и вышита подобная обученная нейросеть. Зато тут есть возможность натаскивать сеть самому, да и просто интересно)

убил вечер) у меня в Миниконде3 почему-то иногда не выдает результирующие файлы. Штука интересная, но малопонятно где этот сплиттер применять - захватывает немало предшума даже в 2х стемах, Бас очень тяжко определяет. Для задавок - фонограмм с остатками голоса применялись и более простые способы (вырез середины, работа с мид каналом )Ну и выше 10 кГц все жестоко режет

Еще не успел погонять ее на несжатых файлах. Тоже не выдала файлы, обнаружил их вместо указанного в команде "с:/output" в "с:/Users/Username/output", не понял почему так. Первое пришедшее на ум применение — снятие партий, ну и выдирание вокала для ремикса)
Действительно все что выше 10kHz вырезает, но при необходимости можно попробовать вытащить недостающее из оригинального файла.

 

[Radiator]

Первое пришедшее на ум применение — снятие партий)

Кстати да, если хорошо будет отделять отдельные элементы фонограммы.

 

[xlt]

Ну почему же без, там, вероятнее всего, как раз и вышита подобная обученная нейросеть.

В RX используется обычное спектральное разложение, там можно просто со спектром оперировать. Каждый инструмент оставляет свой след на спектре. Вы можете его выделить и к примеру вычесть из общего сигнала... Работает все не идеально и с артефактами. Правильно обученная нейросеть поидеи должна работать совершенее и достраивать недостающую информацию, что не сможет сделать RX. Сейчас нейросети могут достраивать хорошо недостающие элементы на фотографиях... Проект интересен, мне лень гонять и тестить его, отпишитесь как работает отделение голоса от фонограммы. Очень интересно.

 

[Alx_g]

А барабаны оно не триггерит?)

 

[Cyber Slon]

https://vocalremover.com/ - здесь, как утверждает автор, нейросеть вокал отделяет. На некоторых материалах весьма неплохо, однако Music Rebalance (iZotope RX7) делает это еще качественнее. К тому же настраиваемо. И да, авторы iZotope RX7 поясняют, что Music Rebalance - развитие технологии нейросети.

 

[xlt]

авторы iZotope RX7 поясняют, что Music Rebalance - развитие технологии нейросети.

Видимо я отстал от жизни. До чего же техника дошла... В izotope rx раньше можно было отделить инструмент или голос с помощью выделения и вычитания спектра, но звучало все мутно и работало не на каждом треке. Работало это все без нейротехнологий.