Мультитрек из любого аудио: Ultimate Vocal Remover

[Kokarev Maxim]

Не нашёл обсуждение этой супер программы, хотя сам довольно давно и активно её пользую.
Итак, это те самые нейросети, которые скоро захватят мир и оставят нас без работы. Но сейчас мы можем использовать их сильные стороны себе во благо

Что умеет Ultimate Vocal Remover?
Разделять аудио файлы на мультитреки (можно достать барабаны, вокал, бас и т.д.),
разделять вокал и инструментал (создание минусовок),
удаление артефактов из аудио (чистка от шумов, ревера и т.д. я это пока не тестировал),
изменение длительности, питча аудио и другое.

Сколько стоит?
Бесплатно. Доступны платформы Win и Mac, скачать можно здесь: https://github.com/Anjok07/ultimatevocalremovergui/releases (сразу рекомендую накатить последний патч оттуда же).
Программа жрёт довольно много пространства: с установленными моделями до 7 гигабайт и более.

Не знаю, зачем нужен файл UVR_Launcher.exe - он увеличивает время запуска программы. Запускаю просто UVR.exe.

При первом запуске рекомендую пойти в настройках в Download Center и сразу скачать дополнительные модели (алгоритмы обработки) для разных задач. От себя посоветую последние Demucs 3 и 4 для мультитреков, MDX-Net: Kim Vocal 1 и 2, UVR-MDX-NET inst 3 и UVR-MDX-NET inst main для голоса и VR Arch Single Model v5 соответствующие алгоритмы де-реверба и де-нойза.

Если нужно протестировать несколько алгоритмов сразу, в настройках включите опцию Model Test Mode и программа прогонит файл через все модели.

Добавлю примеры работы.
1. Исходный звук (первый попавшийся файл с РММ)
2. Достаём из него голос
3. Другим алгоритмом убираем из голоса дилей/ревер.

 

[Keystudio]

Давно уже зареген на mvsep.com по своей работе пишу ремейки и поэтому пользуюсь услугами нейросети для извлечений нужных вокализов из записей. Неплохо работает система- неплохого качества вокальный трек на выходе, а так же инструменты -бас, барабаны и т.п.
Кому интересен результат этой нейросети в моих работах, т.е. - как я делаю ремейки, то милости прошу сюда - (2) Keystudio - YouTube

 

[jackyl]

Интригует) надо опробовать

 

[Kostya]

Ещё и такая есть - RipX.

 

[Kostya]

@Kokarev Maxim, а почему у меня полеGPU Conversion не активно?

 

[Kokarev Maxim]

а почему у меня полеGPU Conversion не активно?

Не знаю.
Могу предположить, что зависит от видеокарты. У меня nvidia. Если для обработки используется cuda, то на других картах работать не будет.

 

[Kostya]

@Kokarev Maxim, спасибо. Наверняка в этом проблема. У меня видео совсем слабенькая. GeForce GTX 460 (1 ГБ)

 

[Oliver_Cray]

Ничего нового. В плотной аранжировке, если ещё и пожатой в кирпич начинает плавать громкость.

 

[Jolla]

Для снятия аранжировок или для переработки оригинала - шикарная вещь! Делаешь вариации и можешь голос подставлять сразу. Ну, я уже не говорю о обучающей составляющей, когда можно разобрать любой трек на составляющие и очень прилично звучащие для изучения.

 

[Alex_HS]

Я уже с помощью этой софтины одной нашей звезде в получасовое шоу на муз-тв полностью вокал оттюнил в исходнике, целиком (вместе с фонограммами) записанном на один микрофон ). По понятным причинам "имена, явки и пароли" называть не буду.

 

[воронин]

А возможно ли удалить инструмент из фонограммы, к примеру, скрипку , и оставить одно ф-но. Сделать минусовку из дуэта

 

[Jolla]

А возможно ли удалить инструмент из фонограммы, к примеру, скрипку , и оставить одно ф-но. Сделать минусовку из дуэта

Я не видел такой возможности. Система гибкая, возможности зависят от моделей подгружаемых. Пока я нашел модели по выделению треков голоса, драмсов, баса и все остальное в одном.

 

[alien1010]

Где найти подробное описание всех настроек? На рус. было бы ещё лучше. Чтобы добиться максимального качества на железе своём.

@Kokarev Maxim, а почему у меня полеGPU Conversion не активно?

Nvidia RTX 1060 6GB минимум.

 

[Vladis Udler]

@Kokarev Maxim, я когда сегодня ночью скачивал прогу по ссылке,там при мне новый патч загрузили (beta) его надо ставить ? Я правильно понимаю?

 

[Kokarev Maxim]

@Kokarev Maxim, я когда сегодня ночью скачивал прогу по ссылке,там при мне новый патч загрузили (beta) его надо ставить ? Я правильно понимаю?

Да, с таким вот названием файлы: UVR_Patch_9_13_23_17_17_BETA.exe. Только я не знаю точно, все ли ставить или только самый последний. Я поставил оба на всякий случай.

Где найти подробное описание всех настроек? На рус. было бы ещё лучше. Чтобы добиться максимального качества на железе своём.

Инфы нет. Документации у создателя я не нашёл, только методом тыка разбираться. Сообщением ниже есть мануал на русском (спасибо, lenin76!). Что-то по рекомендациям там можно найти: https://github.com/Anjok07/ultimatevocalremovergui/discussions
Но есть и хорошая новость: у моделей часто настроек минимум, да и работает норм сразу из коробки. Я вообще только в дефолтном состоянии его использовал, не залезая в дебри.

 

[lenin76]

Инфы нет.

 

[alien1010]

Но есть и хорошая новость: у моделей часто настроек минимум, да и работает норм сразу из коробки. Я вообще только в дефолтном состоянии его использовал, не залезая в дебри.

Тоже метод тыка применял, когда заметил, что ГПУ и видеопамять не полностью нагружает - пытался поднастроить... но сильно не понятно, что к чему.
Есть большое подозрение, что если разобраться с тонкими настройками, то можно получить довольно чистый результат (сэмплирование всего и вся выходит на новый уровень ).

 

[Jeysound]

Есть спецы? Как это работает? Вычисления ИИ по спектральному анализу?

 

[jackyl]

У меня поле GPU активно, но у меня GeForce 1030 и CUDA вроде бы нет. И если выбрать обработку с GPU, то вываливается в ошибку. Так и должно быть?)

 

[Kokarev Maxim]

Так и должно быть?)

Галочка не должна была появиться, ведь куды нет А в остальном всё верно: обработка gpu на 1030 не заработает, только процессор.

Есть спецы? Как это работает? Вычисления ИИ по спектральному анализу?

Сам автор ссылается вот на этот документ: https://arxiv.org/pdf/1706.09588.pdf
Может, это что-то прояснит

 

[jackyl]

@Kokarev Maxim, вот такое нашёл в характеристиках видюхи. CUDA 6.1. Не совсем понимаю, это другое?

 

[Jeysound]

Сам автор ссылается вот на этот документ: https://arxiv.org/pdf/1706.09588.pdf
Может, это что-то прояснит

Ипать кракозябра Может кто-то сможет резюмировать?

 

[Kokarev Maxim]

Не совсем понимаю, это другое?

Видимо, да. У программы в минимальных требованиях для гпу обработки заявлено:
Nvidia RTX 1060 6GB is the minimum requirement for GPU conversions.
Nvidia GPUs with at least 8GBs of V-RAM are recommended.

Я ошибся насчёт 1030, есть у неё cuda. Похоже, просто не все версии подходят.

Ипать кракозябра

я когда этот документ открыл, такие же мысли были.

 

[Vladis Udler]

Видимо, да. У программы в минимальных требованиях для гпу обработки заявлено:
Nvidia RTX 1060 6GB is the minimum requirement for GPU conversions.
Nvidia GPUs with at least 8GBs of V-RAM are recommended.


я когда этот документ открыл, такие же мысли были.

Кароче всем геймерам ,бонус Не геймерам анус.

 

[Alex_HS]

У меня на ноутбучном 6-ядернике i7 8800H c "офисной" НВидией 520 получасовый файл просчитывался часа полтора. Жаль, не выставлялось только отключение разделения на лишние стемы, мне нужен был только вокал и всё остальное. И результат только в 16/44, хотя исходник был 24/48.
ЗЫ: Сорян, это был не сабж, а StemRoller (хотя наверное яйца +/- те же, только в профиль). Сабж не успел поставить, т.к. смутил размер, при почти одинаковых объёмах инсталлеров около двух гигов, StemRoller требовал практически тот же размер для установки, а сабж запросил 5 гектар.

 

[Jolla]

У меня на ноутбучном 6-ядернике i7 8800H c "офисной" НВидией 520 получасовый файл просчитывался часа полтора. Жаль, не выставлялось только отключение разделения на лишние стемы, мне нужен был только вокал и всё остальное. И результат только в 16/44, хотя исходник был 24/48.
ЗЫ: Сорян, это был не сабж, а StemRoller (хотя наверное яйца +/- те же, только в профиль). Сабж не успел поставить, т.к. смутил размер, при почти одинаковых объёмах инсталлеров около двух гигов, StemRoller требовал практически тот же размер для установки, а сабж запросил 5 гектар.

У меня полутораминутный кусочек Райзен 5950 в неспешном режиме - 23 секунды, а Rtx 3060 - 6 секунд.

Разница в размере может быть из-за моделй. Там сами модели нужно закачивать или, может быть они в инсталлятор тоже встраивают

 

[Dmitry Stepin]

Надо признать, что эта софтварина выделяет голос намного лучше изотоповского RX'a

Особенно удивляет разница в тех случаях, когда композитор напел демо в телефон под пианино или аккордеон. Небо и земля.

 

[Ruslan25]

эта софтварина выделяет голос намного лучше изотоповского RX'a

Как не пытался шаманить с модулями RX, такого результата не добился.

 

[ESSE]

Как бы особо и не нужно, но на всяк спрошу.
На встроенной видео мультрек мне не получить штоле?)

 

[Slick]

@Dmitry Stepin, она еще и барабаны с басом шикарно достает. А vr de echo еще и чистит от реверов шикарно