Warping tool: предложения

[belovw]

@@Michael, КМК ты не правильно определяешь транзиенты. На сколько я понял, у транзиента должен быть полный спектр. Как это вычислить математически не знаю. Но зато набрёл на интересные документы. Может быть и помогут тебе.

https://www.hsu-hh.de/download-1.5.1.php?brick_id=s6grzZJBSLzP9kG3
http://paper.ijcsns.org/07_book/200612/200612B21.pdf

http://ismir2011.ismir.net/papers/PS2-6.pdf
https://hal.archives-ouvertes.fr/hal-01306501/document
https://www.mp3-tech.org/programmer/docs/thesis34g.pdf

 

[@Michael]

Спойлер: ну и где тут трансиенты?

 

[EUGEN27771]

@Michael, нормально работает - просто неправильно понимают. Людям нужны тыкалки - тыкнул в кнопку - Вау, круто.
@belovw, транзиенты мы давно нашли как искать. Транзиенты по амплитуде не дадут супер-результата...
Искать нужно еще и транзиенты по частоте в лог. шкале, причем с ограничениями сверху и снизу(это исключит ошибки, но не все).
Далее нужно проанализировать на соответствие оба метода. Далее - нужен очень хороший механизм сравнения, и только тогда - можно начинать что-то делать.

 

[EUGEN27771]

@Michael, в последнем примере - это будут перепады по частоте.
Вот похожий вариант

Но толку с этого не много, надо совмещать. Причем и вес учесть, работы дохрена, мне это не нужно.

 

[belovw]

@@Michael, ты прочитал инфу что я скинул? Там же практически даже алгоритм вычисления предложили.
А по поводу "где тут транзиенты?" - переведи отрисовку волны в спектро мод, и увидешт где транзиенты.
Мне так кажется, что их нужно вычислять через бффт. Т. Е. Сначала запускается бффт, а потом функция сравнения. Там где у сигнала полный спектр, там и транзиенты.

 

[@Michael]

Да какая разница брать спектр или амплитуду (скрипт делает fft сигналу если чё). В примере трансиентов нет. Ну или кто-то из нас не понимает что такое трансиент в DSP. А определять нужно по сути приращение первых-вторых порядков от огибающих (плюс корелляции, анализ, фильтры распределения и т.д), что само по себе уже субъективно.

Не читал, потому что заниматься этим всё равно не буду, пустая трата времени.

 

[belovw]

Да какая разница брать спектр или амплитуду

Вообще-то на эту тему написано куча научных трудов. Ссылки на некоторые я выложил.

Не читал, потому что заниматься этим всё равно не буду, пустая трата времени.

Ну, ладно.

 

[EUGEN27771]

@belovw, я вот даже не читая понимаю о чем речь, изучал задачу.
И механизм полного решения я описал.
Но на практике - это сложная задача. Если бы за это платили, причем много платили - можно было бы взяться.
А так - в чем смысл - потешить самолюбие? Так есть 100500 других вопросов, не менее интересных и сложных

 

[lil-burn]

@EUGEN27771, можно создать проект на какой-нибудь краудфандинговой платформе типа кикстартера и поставить цену. Как требуемая сумма наберется - в течение нескольких месяцев написать скрипт. Об этом (о сроках) условиться предварительно, и о том, какие функции будут например, и какого качества ожидать от скрипта (по сравнению с имеющимися на рынке аналогичными программами). Если качество на выходе получается ниже заявленного - делается манибэк.

Если про выравниивание дублей - вещь однозначно нужная при сведении, знаю минимум нескольких людей, точно готовых за это платить + постоянно натыкаюсь на подобные скрипт-реквесты.
Сам как что-то свожу, каждый раз ловлю себя на мысли что вот неплохо бы кнопочку такую на тулбаре.

 

[EUGEN27771]

какого качества ожидать от скрипта

Это не ясно, а за такое никто не платит.
Алгоритм достаточно простой, я бы сказал, допустим, так:
1)Находить транзиенты - и по амплитуде, и по частоте.
2)Сравнивать между собой, пытаясь выявить начало слова.
3)Совмещать по полученным результатам.

 

[belovw]

@EUGEN27771, а если находить транзиенты на смене тона?

 

[EUGEN27771]

@belovw, да, конечно же - это предусмотрено, в первом пункте я упомянул, искать все транзиенты нужно.
Что такое транзиенты? Это любые резкие изменения - по амплитуде, по частоте, не важно по чему - важен сам факт изменений.

 

[@Michael]

Ключевое слово - "резкие". На практике искать трансиенты актуально только для ударки. Для всего, что касается речи, уместней абстрактные алгоритмы поиска с корелляцией, относительными порогами и коэффициентами поиска в зависимости от сигнала и заполняемости массива потенциальных точек будущих маркеров, а потом их не менее абстрактное сопоставление.

У меня это всё сделано на примитивном уровне (в силу скудности интеллекта и практически нулевой математической базы). А так - ну конечно можно распластать сигнал на слоги, кореллируя море производных, учитывать всплески высоты за динамично меняющиеся относительно амплитудных свойств отрезков времени, учитывать отдельно высчитанные распределения потенциальных точек от разных полос спектра. Ну и определять потенциальное положение будущих маркеров, не только как сейчас, сравнивая массивы динамично меняющихся кусков аудио (формально массив прогоняется с абстрактным стретчмаркером среди массива сэмплов) уже после сдвигов, периодически делая референс к исходнику, но и делая попутный макроанализ, обратный анализ получившегося к референсу и так далее, что я тут рассказывать буду, тут и так все всё знают.

Но в самом деле кого это волнует. Я вообще руками всё делал и буду делать. И питч править, и тайминг. Автоматизация таких вещей - удел тех, кому нужно поскорей подвинуть всё и отдать дяде заказчику. А всё, что "поскорее да побыстрее" к музыке не относится. Грубо поправить, а потом посидеть руками и ушами поработать - это да, приемлемо.

 

[belovw]

Но в самом деле кого это волнует.

Запарил, ты уже второй раз как минимум пытаешься меня задеть. )))
Я давно проявлю интерес к этой разработке. В своё время не успел присоединиться - многое упустил. Сейчас думаю, если усилия сложить, можем продвинуться. Если конечно сам хочешь.

@@Michael, @EUGEN27771, а может эмоции выключим и перейдём к конструктивному диалогу? Подключим Лукина, не думаю что он откажет, по крайней мере подскажет куда копать.

Но для начала нужно додумать алгоритм выявления этих маркеров. Нужно уходить на закрытую площадку и вести переговоры там.

 

[EUGEN27771]

@Michael, на самом деле, не только для ударных. И по поводу интеллекта и математической базы - ты явно преуменьшаешь свои способности, у тебя все хорошо.
По математике - вообще отдельная история - там лучше один раз понять, чем сто раз считать, это точно говорю, как закончивший физмат(и все забыв, правда).
@belovw, зачем на закрытую площадку, можно в теме по обсуждению.

Но для начала нужно додумать алгоритм выявления этих маркеров

Это и есть основная задача. Вот расклад по макс. интенсивности по частотке - только я ограничил диапазон

 

[belovw]

Ок. В скриптописание я отстал с самого старта, но помочь оч хочется. Женя, EUGEN27771, как я понял, красная огибающая представляет собой частоту одноголосного сигнала.
Можно тебя попросить, вывести на индикацию ещё и производную этой огибающей. Для улучшения визуализации можно поиграть с масштабом и смещением.