Визуализация музыки "in realtime": есть ли методы и решения? (1 онлайн

LogicS

Неисправимый любитель
17 Апр 2008
1.055
1.578
113
Большой Камень
Не нашёл куда запостить - пусть будет здесь )
Идея такая: позади выступающих (музыка инструментальная) расположен экран, на котором проектором, подключенным к компьютеру, формируется динамическое изображение (далее ДИ). Состав ДИ, будь то трехмерные объекты, художественные образы или световые частицы (не суть) реагирует на исполнение каждого участника коллектива - изменением яркости, цветовой палитры, формы, размера, деформации, содержания отведенной части ДИ и т.д.. Причем, с клавишных, к примеру, отведенная часть ДИ управляется по MIDI, от остальных участников - по сигналограмме, либо по части спектра.
Пришёл к выводу, что подобная программа может быть написана на игровом движке - благо они доступны и их достаточно много.
Только вот в чём "загвоздка":
Управление процессом в теоретически подготовленном ДИ доступно только со "стандартных" контроллеров: клавиатуры, мышки и джойстиков. А для MIDI-команд и преобразованных (или "сырых") аудиосигналов нужно изрядно проработать сам движок. Проблема, в принципе, решаема, но на её решение нужны или деньги, или время - и того, и другого, по моим прикидкам, понадобится много :)
Вот мы и подошли к вопросу: существуют ли уже подобные программные продукты? Или нечто похожее, пусть даже очень отдалённо, на то, что я описал.
Я слышал, что что-то подобное создали для Fruity Loops - вроде как даже отдельный VST-плагин
Буду весьма признателен за любые предложения, идеи, размышления, комментарии и советы.
 
  • Like
Реакции: wolfire

AL3X

Well-Known Member
8 Апр 2019
1.286
1.081
113
подобная программа может быть написана
Неужели ничего из существующих VJ решений не подходит?
Скорее всего об этом речь
 
  • Like
Реакции: LogicS

LogicS

Неисправимый любитель
17 Апр 2008
1.055
1.578
113
Большой Камень
@AL3X, спасибо огромное за VJ (просмотрю и изучу - есть интересные решения) и за ZGameEditor Visualizer - да, это он. Пошарю настройки, возможно, подойдёт для решения некоторых задач. Ещё раз спасибо!
 

dugdum®

Active Member
12 Янв 2005
4.502
2.604
113
Москва, ЮАО
ну, например, Max/Msp с его надстройкой jitter :)

а ещё есть vvvv
вот, даже, на него в первую очередь надо обратить внимание.

это специализированные инструменты для поставленной задачи
 
Последнее редактирование:
  • Like
Реакции: LogicS

wolfire

Well-Known Member
18 Дек 2011
3.944
1.446
113
Сам временами думаю над этим) Идея была чтобы визуализациция точно соответствовала музыке.
 
  • Like
Реакции: LogicS

AL3X

Well-Known Member
8 Апр 2019
1.286
1.081
113
написана на игровом движке
Писать, кстати, ничего не надо. Например, UE работает с OSC, да и с MIDI, кажется, тоже.
Просто есть куда более узкоспециализированные инструменты. Хотя, конечно, в случае с движком креатифф просто безграничен)
 

LogicS

Неисправимый любитель
17 Апр 2008
1.055
1.578
113
Большой Камень
на него в первую очередь надо обратить внимание
Согласен, очень "навороченный" программный продукт, с управлением по MIDI в том числе. Спасибо!

... чтобы визуализациция точно соответствовала музыке.
Да. В реальном времени это фантастично и это, как раз и увлекает :)
 

LogicS

Неисправимый любитель
17 Апр 2008
1.055
1.578
113
Большой Камень
… UE работает с OSC, да и с MIDI, кажется, тоже.
Если есть управление по MIDI, то возьмусь за изучение языка скриптов, за год, думаю, осилю - сам немного "дельфист" :)
Там действительно
креатифф просто безграничен)
Это да :)
 

Aqmor

Active Member
1 Окт 2019
150
82
28
104
для игрового движка unity 5 есть ассист миди-контроллера keijiro на базе которого можно и сотворить оригинальное онлайн видео
 
  • Like
Реакции: LogicS

Alex Longard

Well-Known Member
10 Май 2015
1.941
1.232
113
36
München->Deutschland, Київ->Україна
  • Like
Реакции: DZeDeNZ, dr-music и LogicS

AL3X

Well-Known Member
8 Апр 2019
1.286
1.081
113
@LogicS, тут вот еще какое дело: несмотря на то, что движки вроде UE и Unity сейчас доступны "условно бесплатно", существует ряд ограничений в плане сферы их применения. Да и, честно говоря, слишком уж они громоздкие и неповоротливые, особенно для ваших задач.
Если будете смотреть в эту сторону, я бы тогда рекомендовал Godot. Легкий, быстрый, полный open-source. Плагины для MIDI есть, а если чего еще понадобится, все можно прикрутить.
При этом никаких ограничений по использованию точно нет.
 
  • Like
Реакции: DZeDeNZ, Aqmor и LogicS

electrical

Well-Known Member
26 Май 2020
1.364
951
113
32
Из основных, пожалуй Cycling '74 Max, Touchdesigner и vvvv. Далее openFrameworks, Cinder, PureData, Processing. Ну и стоит наверное отдельно упомянуть про браузерный cables.gl.
 
  • Like
Реакции: LogicS и baloo

baloo

Distor-Dreamer
19 Июн 2011
8.795
5.640
113
Ekaterinburg
в стиме есть немного визуализаторов, легко по поиску ищутся VSXu, но там суть в бесплатном плеере и небольшом числе дополнительных карт, то есть без кастомайза
 
  • Like
Реакции: LogicS

Aqmor

Active Member
1 Окт 2019
150
82
28
104
Акстате в плане програмирования визуализации, самым простым решением будет древненький Blitz3D. Простенький интерпретатор на бейсике. К нему есть юсерлиб midin.dll c декларациями. Можно с миди-клавы или с какой-нибудь daw через loopMIDI создавать и манипулировать 3d объектами, спрайтами и пр.
Было дело, игрался.., прикольно.
 
  • Like
Реакции: LogicS

Aqmor

Active Member
1 Окт 2019
150
82
28
104
@electrical, да, скрипты могу скинуть вместе с библиотекой midin, но нужны небольшие пояснения.

тут архив лежать будет дней семь, вроде

1. у меня Blitz3D 11.08

2. юсерлиб(в архиве) положить возле блитца.exe в папку "userlibs"

3. в файле-скрипте "MidiInTest 3D (a).bb" в строках "Select Midi In" стоит значение моей миди-клавы MidiDev = 0, а если через loopMIDI, то MidiDev = 1. У вас может быть по другому. Прилагаю в архиве "MIDItester.exe", который поможет разобраться где-какой входящий порт.

4. в файле-скрипте "MidiInTest.bb" номер порта вводится при запуске. таразберетесь

5. ВАЖНО!!! Закрывать запущенное скрипт-приложение только клавишей эскейп (Esc), иначе приложение останется висеть в процессах(у меня винда сама закрывает, когда заббываю) т.к. не закрыто обращение к миди-устройству(такая фигня всегда была в кейкволке). Сей нюанс решается, но лень.

6. в конфигурации блитца в файле blitzide.prefs у меняв строке font_editor cour 12 и сам файл "cour.ttf" рядом. Иначе в скриптах могут появится крякозябли - делал каменты на русском, лень чистить.
 
Последнее редактирование:
  • Like
Реакции: electrical и LogicS

Alex Longard

Well-Known Member
10 Май 2015
1.941
1.232
113
36
München->Deutschland, Київ->Україна
@Aqmor, лучше уже на Blitzmax, во первых под него есть модуль RtMidi с поддержкой полноценного протокола midi, во вторых гора модулей для визуализации, и даже где-то видел несколько модулей для работы с видео.
Blitz3d еще лет десять назад умер с новыми виндами, и с тех пор я на него болт забил.
 
  • Like
Реакции: DZeDeNZ, LogicS и Aqmor

Aqmor

Active Member
1 Окт 2019
150
82
28
104
Так-то оно наверно так, но мне кажется, что не важно в какой среде юзать (рипер или студия 1), тут совсем другая история. Это история о великом потенциале гордого миди-события. Вот оно произошло в своих зет-икс-игрек рамках, разверзлость такскать, храбро в позитивной 3д-визуализации. Прошло по какому-то героическому пути и... всё... жалко птичку. Все рыдают, продюсеры тоже.
 
Последнее редактирование:
  • Haha
Реакции: Alex Longard

Сейчас онлайн (Пользователей: 0, Гостей: 1)