Синхронизация аудио и видео win

[Lsw]

Работаю в Bitwig Studio Win
Получил заказ на ремикс трейлера, мне были высланы: Сам трейлер Full HD и стэмы с 4 дорожками. Моя задача была наложить свою музыку, местами заменить оригинал, сделать агрессивнее.
Темп я подобрал 168 bpm, хотя оргинал 84 bpm. Результат по времени точно синхронизирован с оригиналом, там же начинается, там же заканчивается. В понимании синхронизация она такая. И вот что он мне написал:

But something wrong with the sync. Timings for SFX to match cuts/slow-motion seem misplaced. Сan you confirm timing is off?
Please keep in mind that trailer is 60 FPS, not 30 FPS. Maybe that's why timing a bit off?

Я написал ему, что с таймингами и FPS не работал никогда и моя программа не содержит этих функций. И отправил ему WAW в 32 бита с плавающей. Результат он принял, но пожелал, чтобы в будущем я сам делал синхронизацию в Adobe.

Поделитесь пожалуйста полезными ссылками по изучении этой синхронизации и вкратце, если можно поясните принцип, что это вообще такое?

 

[fakeitback]

Если вы работаете над звуком для видео, очевидно, что у вас в процессе работы должен синхронно выводиться видеопоток.

Работайте в daw которая имеет такую возможность. Nuendo, Pro Tools, Reaper...

 

[dugdum®]

По моему опыту работы с озвучкой под видеоряд важно его конвертнуть в формат с постоянным битрейтом,
многие DAW не точно показывают картинку, если видео закодировано со всякими прибамбасами, сколько раз
накалывался, в DAW всё делаешь с точным синком под видео, а в итоге всё разъезжается, когда готовую звуковую дорожку
под видеоряд подкладываешь. а в музыкальном клипе рассинхрон на доли секунды и уже будет ерунда....

 

[inde]

@dugdum®,

его конвертнуть в формат с постоянным битрейтом

Кого? видео? На сколько я знаю, битрейт тут (для синхронизации) не причём, важно: кадры в секунду (FPS) и частота дискретизации.
@Lsw,
А вообще звукорежиссёр совершенно не обязан подкладывать звук под видео. Обычно, после всех работ по звуку, звукорежиссер отдаёт готовый wav в монтажку и всё...

 

[fakeitback]

Проблемы бывают с видео, в котором применяется сжатие по ключевым кадрам (keyframes). Т.е. тот же всеми любимый h264, например.

Поэтому когда синхрон гарантированно важен - надо перекодировать такие видео в формат с покадровым сжатием (mjpeg, например, или банальный dv).

Да, и соответственно fps проекта должны соответствовать импортированному видео.

Сливать мастер видео должен монтажёр, конечно, но часто просят выслать превью со смонтированным звуком (да и просто это вежливо по отношению к клиенту).

 

[dugdum®]

Кого? видео? На сколько я знаю, битрейт тут (для синхронизации) не причём, важно: кадры в секунду (FPS) и частота дискретизации.
@Lsw,

я потому и написал, потому что мой практический опыт говорит об обратном. проблемы с синком есть. если кто-то их научно формализует, я только спасибо скажу.

 

[inde]

@fakeitback, а какие форматы видео ещё грешат подобным, а какие нет?

 

[fakeitback]

Да почти все современные форматы сжатия либо b-frame, либо p-frame.

Я с телефона сейчас, оперативно не нагуглил, но точно список актуальных форматов по типу сжатия есть, чуть ли не в вики.

 

[inde]

с покадровым сжатием (mjpeg, например, или банальный dv).

ошиблись? цитата из Вики - "В кодеках MJPEG и DV видеопотока все кадры — I-типа." то есть keyframes. А нет, понял. Все кадры опорные, то есть "целые", без b и p кадров...

 

[Lsw]

По моему опыту работы с озвучкой под видеоряд важно его конвертнуть в формат с постоянным битрейтом,
многие DAW не точно показывают картинку, если видео закодировано со всякими прибамбасами, сколько раз
накалывался, в DAW всё делаешь с точным синком под видео, а в итоге всё разъезжается, когда готовую звуковую дорожку
под видеоряд подкладываешь. а в музыкальном клипе рассинхрон на доли секунды и уже будет ерунда....

А каким образом оно разъезжается не могу понять?
[DOUBLEPOST=1498925995][/DOUBLEPOST]

@dugdum®,


Кого? видео? На сколько я знаю, битрейт тут (для синхронизации) не причём, важно: кадры в секунду (FPS) и частота дискретизации.
@Lsw,
А вообще звукорежиссёр совершенно не обязан подкладывать звук под видео. Обычно, после всех работ по звуку, звукорежиссер отдаёт готовый wav в монтажку и всё...

Точно!!! Видео которое он мне выслал с частотой дискретизации 48000, а я ему высылал в 44100. Может в этом дело?
Если так, то мне придётся работать в 48 000? Других вариантов нет?

 

[dugdum®]

А каким образом оно разъезжается не могу понять?

а очень просто, DAW показывает неверные кадры, не может понять с какого места таймлайна надо точно воспроизводить.
причем я столкнулся с тем, что оно ещё всегда и чуть по-разному показывает в плане синхры. а если загрузишь классику,
типа DV формата, то таких косяков не будет.

 

[inde]

работать в 48 000?

ДА, хотя вроде есть и 44100,но это надо просто обговаривать. А стандарт -48000

 

[dugdum®]

Если так, то мне придётся работать в 48 000? Других вариантов нет?

я думаю, что это как раз вообще не влияет.

 

[inde]

я думаю, что это как раз вообще не влияет.

ЭМм... поясните?)

 

[fakeitback]

Keyframes - это как раз когда берется кадр и в следующих кадрах отдельно кодируются только изменения в этом кадре. Т.е. у вас в кадре двигается автомобиль, а все остальное статично - вот автомобиль и кодируется
(это всё очень грубо говоря)

А в mjpeg том же каждый кадр кодируется отдельно, т.е. это просто набор jpeg-of стоящих подряд.

 

[dugdum®]

ЭМм... поясните?)

а что пояснять? как может влиять частота проекта на рассинхрон? он в данном случае от другого происходит, от того, что DAW не может
точно определить позицию по времени в видеодорожке и показывает её вам в процессе работы немного "рандомно".

 

[inde]

@fakeitback, Да, спасибо, уже дошло)) Но таблички с форматами так и не встретил...пока
[DOUBLEPOST=1498928814][/DOUBLEPOST]

а что пояснять?

Мы немного о разном говорим. Видео имеет частоту дискретизации 48000, а если у вас проект (звук) в 44100, как они синхронно встанут?
А то что DAW не может показать точно кадр из-за формата, это я уж понял...

 

[dugdum®]

Видео имеет частоту дискретизации 48000, а если у вас проект (звук) в 44100, как они синхронно встанут?

видео не имеет такую частоту, обычно это 25, 30, 50 и т.д. кадров в секунду.

 

[inde]

@dugdum®, @fakeitback, кстати, а в каких DAW Вы наблюдали такие проблемы?
[DOUBLEPOST=1498929256][/DOUBLEPOST]

видео не имеет такую частоту, обычно это 25, 30, 50 и т.д. кадров в секунду.

Вы прикалываетесь?)) Возможно я не правильно выразился...но, Писали когда нибудь звук под видео, ну на съёмочной площадке например или ещё где?

 

[dugdum®]

Вы прикалываетесь?

нет. 48000 кадров в секунду такое оборудование пока не в широком пользовании.

в каких DAW Вы наблюдали такие проблемы

кубик/ню, и ещё где-то (забыл)

 

[inde]

48000 кадров в секунду

Не кадров, это частота дискретизации в Герцах. https://en.wikipedia.org/wiki/Sampling_(signal_processing)#Video_sampling
В табличке, на против 48,000 Hz написано - Стандартная частота дискретизации звука, используемая профессиональным цифровым видеооборудованием, таким как магнитофоны, видеосерверы, микшеры и так далее. Эта скорость была выбрана потому, что она могла восстанавливать частоты до 22 кГц и работать с 29,97 кадрами в секунду NTSC-видео, а также 25 кадров / с, 30 кадров / с и 24 кадра / с. При использовании систем 29,97 кадров / с необходимо обрабатывать 1601,6 звуковых сэмплов на кадр, доставляя целое число звуковых сэмплов только на каждый пятый видеокадр. [9] Также используется для звука с потребительскими видеоформатами, такими как DV, цифровое телевидение, DVD и фильмы.....(гугл переводчик)

 

[fakeitback]

Для видео стандарт ЗВУКА - 48000 кадров в секунду. А ВИДЕО кадров в секунду может быть уложено по разному, как выше написали, 24, 25, 30 (точнее, 29,97), 50 и т.д.

Как это всё синхронизирует конкретная DAW - есть нюансы. Я в своём рипере просто не замечаю, все прозрачно, где-то надо менять ЧД аудио и выставлять частоту кадров картинки в свойствах проекта.

 

[inde]

Для видео стандарт ЗВУКА - 48000 кадров в секунду

48000 Гц, откуда ж кадры в секунду? в крайнем случае семплы на кадр

 

[fakeitback]

Samples и frames в данном случае синонимы и в литературу употребляются оба варианта)

 

[inde]

@fakeitback, жесть, подмена понятий ИМХО))

 

[dugdum®]

@inde у звуковой дорожки своя частота, у видеодорожки своя частота кадров. Они могут сочетаться в любых пропорциях. Тут как раз проблемы нет.

 

[Lsw]

я думаю, что это как раз вообще не влияет.

а что пояснять? как может влиять частота проекта на рассинхрон? он в данном случае от другого происходит, от того, что DAW не может
точно определить позицию по времени в видеодорожке и показывает её вам в процессе работы немного "рандомно".

Для видео стандарт ЗВУКА - 48000 кадров в секунду. А ВИДЕО кадров в секунду может быть уложено по разному, как выше написали, 24, 25, 30 (точнее, 29,97), 50 и т.д.

Как это всё синхронизирует конкретная DAW - есть нюансы. Я в своём рипере просто не замечаю, все прозрачно, где-то надо менять ЧД аудио и выставлять частоту кадров картинки в свойствах проекта.

Подытожу. Раньше в других DAW (кубейс) я встречался с такой проблемой, что когда в проект с частотой 44100 добавляешь сэмпл с частотой 48000, DAW у меня спрашивал, конвертировать ли сэмпл в частоту 44100, если я говорил "нет", то сэмпл немного растягивался и питч соответственно падал. Сейчас, когда я добавлял аудиодорожку из присланного видео с ЧД 48000, Bitwig у меня ничего не спрашивает, можно предположить, что для корректного воспроизведения дорожка автоматически конвертируется в 44100 под проект. Я делаю музыку с ЧД 44100, высылаю заказчику, он вставляет её в свой проект с ЧД 48000, который видимо тоже ничего не спрашивает и не конвертирует и тут и появляется рассинхрон. Согласны?

 

[dugdum®]

Согласны?

нет. ресемплинг аудио в проекте не дает рассинхрона. дело в том, что ваша звуковая дорожка изначально сделана с неправильным таймингом из-за того, что DAW вас обманул, криво показывая видео, когда вы эту звуковую дорожку делали. скорее всего так.

 

[Lsw]

нет. ресемплинг аудио в проекте не дает рассинхрона. дело в том, что ваша звуковая дорожка изначально сделана с неправильным таймингом из-за того, что DAW вас обманул, криво показывая видео, когда вы эту звуковую дорожку делали. скорее всего так.

Тайминг - это начало какого либо объекта в монтажной ленте так ведь? Так у меня же был только один объект, видео и больше ничего. Или есть ещё какие-то тайминги?

 

[Dozer1]

DAW вас обманул, криво показывая видео, когда вы эту звуковую дорожку делали

Вы уверены, что @Lsw, когда делал свою версию, синхронизировался только по видео? Ведь в его распоряжении были и аудио файлы.