Музыкальный вайбкодинг (7 онлайн)

[Кофф]

Камрады закинули отличную идею создать тему по вайбкодингу всего, что так или иначе связано с музыкальной индустрией и ремеслом.
Думаю, и интерес и полезность будет большая.
А может, кто-то и DAW навайкодит) Или это сделает команда камрадов.
Раздела подходящего не нашёл - слишком необычная тема, поэтому пусть пока здесь, во флейме. Если что - админы перенесут.
Милости просим всех умеющих вайбкодить.
И тех, кто хочет поучиться этой магии)

 

[dugdum®]

@evgeny26 расскажи какой путь ты считаешь оптимальным, какие ИИ агенты юзаешь для визуал студии. Используешь ли JUCE?
Я безусловно первые шаги только освоил, но результат радует, (уже 3 плага за пару дней, два из которых получились интересными), я пожалуй ещё повожусь и буду использовать под свои запросы сделанные плагины.
Как делал я: в ИИ чатботе гугл-хрома проектировал алгоритм который мне хотелось, потом просил подготовить файлы для компиляции - бот выдаёт 4 файла нужные для проекта "плагин" в Projucer ну и дальше экспорт в визуал студию и компиляция (на этом этапе борьба с ошибками ИИ-шки), тут уже несколько надо понимать, что делаешь. Собственно по коду ошибки из Visual Studio - чатбот умеет давать советы где и что поправить и из-за чего вышла ошибка, но это не на 100% работает (гугловский чатбот туповат). Мой вст3шный нейрослоп: ссыль

 

[Slick]

На курсоре + opus 4.6 (теперь 4.7). Более простые агенты - дольше делать. Сейчас еще gpt 5.5. Большое значение имеют скилы. Например сделал себе hot path simd vectorization. На juce себе все делаю, кроме extension для reaper. Также баловства ради для андрод пару приложений.

 

[evgeny26]

У меня схема такая,
- VS Code (Visual Studio Code) - основной редактор
- в нём встроен ИИ агент - GitHub Copilot (у меня базовая платная версия, по моему есть ограниченная бесплатная)
(есть варианты добавить бесплатных агентов и моделей, но я с этим не заморачивался, если что, на ютюбе есть туториалы)

- Juce 8 и Visual Studio 2022 установлены, но после первого проекта, в котором было очень много лишних телодвижений,
я их практически не открываю.

В каждом проекте ИИ агент делает скрипт \ скрипты с нужными настройками проекта Juce и компиляции в Visual Studio, и в дальнейшем использует его.
Вообще все повторяющиеся задачи \ действия агента желательно автоматизировать и задокументировать.

-Code Repository - код проекта и версии файлов нужно где то хранить, лучше всего GitHub repository \ GitHub Desktop
с ним агент тоже может сам работать, если настроить, например, дать ему команду коммитить перед каждым крупным изменением.

если проект небольшой, и лень открывать GitHub, пусть сделает скрипт который как минимум архивирует папку кода, и запускает его перед изменениями.

Это минимизирует ошибки \ глюки агента, всегда можно вернуться на прошлую версию.

-Инструкции \ документация - важно чтобы агент вёл документацию, план работы, изменения, важные функции, инструкции пользователю и т.д, так можно легко продолжить работу в новой сессии, с другим ИИ, не повторяя одно и тоже 10 раз. Проще будет перейти в другую сессию, или проконсультироваться с другим ИИ

можно сохранить постоянные инструкции для агента (или скиллы агента), в определённых файлах .md, которые агент автоматически будет читать, например, после каждого крупного изменения в коде, обнови файлы документации. Или, после успешной компиляции скопируй файлы плагина в папку VST.

Плюс работы с GitHub Copilot, или другим агентом, то что он может работать с терминалом и получить доступ к файлам, запускать команды \ скрипты \ видеть ошибки, то есть, если он запустил компиляцию и получил ошибку, он сам её видит в терминале и сам исправляет.
то же самое с troubleshooting, если плагин выдаёт ошибку, он может добавить в код сохранение логов, потом сам их прочитает, то есть намного больше самостоятельной работы агента, и меньше заморочек пользователю.

Это так навскидку.
вот например так выглядит проект, в котором я отвлёкся от кастомизации миди контроллеров и решил превратить Akai APC mini в лампочку ambient lighting

 

[Antonio]

@evgeny26, гит не установлен? Желательно чтобы измененные файлы были видны здесь.

 

[evgeny26]

гит не установлен? Желательно чтобы измененные файлы были видны здесь.

установлен, но в этом проекте я поленился, забэкапил в zip , то есть показал как не надо вайбкодить,
а в других проектах всё синхронизировалось в github, и было полезно, так как приходилось не раз восстанавливать старые версии, брать кусочки кода из прошлых версий, сравнивать и т.д.

 

[euggie2000]

Например сделал себе hot path simd vectorization.

А данные организованы в AoS, SoA или AoSoA?)

 

[Slick]

А данные организованы в AoS, SoA или AoSoA?)

AoSoA. Но было непросто. После рефакторинга все отвалилось. Курсор прокручивал штук 30 гипотез, каждый раз по 6 замеров cpu. Но получилось круто. Особенно связка unison 32 + 2 warp подряд. Древний 4770k тянет сложный патч в моем синте. Ну и смысл конкретного правила в курсоре - не запороть векторизацию в дальнейшем

 

[euggie2000]

AoSoA. Но было непросто. После рефакторинга все отвалилось. Курсор прокручивал штук 30 гипотез, каждый раз по 6 замеров cpu. Но получилось круто. Особенно связка unison 32 + 2 warp подряд. Древний 4770k тянет сложный патч в моем синте. Ну и смысл конкретного правила в курсоре - не запороть векторизацию в дальнейшем

да, simd/avx оптимизация впечатляет. а как насчет поддержки neon?

 

[Slick]

да, simd/avx оптимизация впечатляет. а как насчет поддержки neon?

Да я пока в дебрях закопался. Семплер сложный делаю, с поддержкой lua (помимо синтезаторной части). Warp много сил убил (последовательный варп. Очень сложно сделать bend, а потом sync к примеру) . За все сразу взялся. Финально твикать оптимизации потом буду. У меня документации только 150 штук ))) недавно попросил сделать "рефакторинг докумениации" ))) с главным документом с оглавлением для быстрого поиска. Много велосипедов изобрел

 

[SoulState]

AoSoA. Но было непросто. После рефакторинга все отвалилось. Курсор прокручивал штук 30 гипотез, каждый раз по 6 замеров cpu. Но получилось круто. Особенно связка unison 32 + 2 warp подряд. Древний 4770k тянет сложный патч в моем синте. Ну и смысл конкретного правила в курсоре - не запороть векторизацию в дальнейшем

А можно аудио демку послушать, как это всё звучит?

 

[belovw]

Может так проще будет перейти в JUCE? Так-то идей много. Всё упирается в реализацию.

 

[Antonio]

Всё упирается в реализацию.

а у тебя есть подписка на нейросеть какую-нибудь? Если пока нет, начни с https://claude.ai/ - это лидер в программировании. Чат гпт вроде на пятки ему наступает. Потом джемини, тоже неплоха, но заметно слабее клода. У меня есть подписка на джемини, несколько аккаунтов добыл по акции, поэтому использую https://antigravity.google/ там и джеминай и клод есть, можно сравнивать.

В общем, если всё правильно сделаешь, увидишь, что за час можно наваять то, на что раньше неделя уходила.

 

[dugdum®]

Вообще увлекательное конечно дело... Скучал по Waves RVox, но не готов мусорить систему огромным пакетом и вот хоп и он уже у меня в виде самособранного плагина ) также сделал аналоги Invisible Limiter, Glue, EMT140 )

 

[drumwizard]

Вообще увлекательное конечно дело... Скучал по Waves RVox, но не готов мусорить систему огромным пакетом и вот хоп и он уже у меня в виде самособранного плагина ) также сделал аналоги Invisible Limiter, Glue, EMT140 )

И как, с оригиналами вычитаются в нулину?

 

[dugdum®]

И как, с оригиналами вычитаются в нулину?

не интересовался ) вряд ли. но они работают, дают результат с переменным успехом ) не было ещё времени протестировать как следует. для желающих всё выше лежит.

 

[fractala]

Вообще увлекательное конечно дело... Скучал по Waves RVox, но не готов мусорить систему огромным пакетом и вот хоп и он уже у меня в виде самособранного плагина ) также сделал аналоги Invisible Limiter, Glue, EMT140 )

а где берете сами алгоритмы работы эффекта? врятли waves rvox алгоритм выложен прям в открытый доступ?

 

[dugdum®]

а где берете сами алгоритмы работы эффекта? врятли waves rvox алгоритм выложен прям в открытый доступ?

Про это и тема. В нейросетках. ИИ знает как работает тот или иной плагин и на чем основан его принцип действия и под это можно сгенерить разные варианты алгоритмов, даже если в сети нет оригинального алгоритма. И не факт что это будет чем-то хуже, надо тестировать, тюнить.

 

[Vladiger]

ИИ знает как работает тот или иной плагин и на чем основан его принцип действия и под это можно сгенерить разные варианты алгоритмов, даже если в сети нет оригинального алгоритма

Я и без ИИ знаю принцип действия ДВС Мерседеса, там есть поршень и коленвал. Я даже могу его собрать и буду ездить на нем, но не на Мерседесе.
Неее, это не то... Это не RVox, это самообман. Плагинов наклепать конечно можно, а своё оно всегда ближе к телу (к слову о хуже/лучше), понятно что это будет лучше чем RVOX ))

 

[dugdum®]

Это не RVox, это аналог RVox - плагин с аналогичным принципом действия и такими же регулировками. Никакого самообмана, работает )

 

[belovw]

ИИ знает как работает тот или иной плагин и на чем основан его принцип действия и под это можно сгенерить разные варианты алгоритмов, даже если в сети нет оригинального алгоритма

Ну допустим, хотя мои опыты с генерацией ЛА-2А выдали примитив. Возможно нейронка попалась молодая.

И не факт что это будет чем-то хуже, надо тестировать, тюнить.

Алгоритм не тюнить надо, а создавать.
Вот если нейронка сможет сэмулировать электрическую схему, то да - будет супер. Но ту же оптопару повторить получилось только у самих УАД.

 

[Vladiger]

Это не RVox, это аналог RVox - плагин с аналогичным принципом действия и такими же регулировками

Ну морда просто от RVox, перерисованная. А так, я бы сказал что это вообще другой плагин. Просто какой то новый компрессор. Я бы не сильно доверял тому, что там нейронка знает про алгоритмы RVox, а как её знания проверить? Ну так же шильдык Мерседеса можно прилепить на Ладу-Гранту — всегда мечтал о Мерседесе ))
Тут ещё возникают вопросы копирайтов, а не варез ли это? Ну то ладно, RVox для себя вроде как, никто не видел и я вроде уже не скучаю.

Мне вот тоже нравится ревер Valhalla Room, прям тащусь от него, но не хватает в нем дакинга. Вот хоть убей, скучаю по дакингу — очень нужен. Так я бы сделал проще, проинклюдил DDL валхалы (можно её прям в ресурсы запихать) и написал бы для нее оболочку, типа VST адаптера (плагин внутри плагина), а на выходе добавил бы Дакинг. Морду какую угодно либо сам нарисовал, либо скопировал.
И все, я уже не скучаю, у меня есть оригинальная Valhalla с дакингом и пойди проверь что это не моё?

Если уж мы юзаем чужие наработки ИИ, то почему не можем взять уже готовое и просто поменять шильдык?

 

[belovw]

а у тебя есть подписка на нейросеть

Мне бы на подписку на здоровый сон раскошелиться, а не это вот всё.
Вот скажи мне @@Antonio, что будет с теми если оставить их без ниеронки?
Понятное дело - диназавры, так уже никто не делает. И тут же в новостях - не могут возобновить производство Ту-95, потому что потеряна технология аргонной сварки. Не понял почему они про моего дядьку забыли, видимо потому что он шел по Узбекистанским документам. Пока жив и наверное ещё что-то помнит, хотя с завода ушел в году эдак 93-ем.
Хочешь ещё фактов? Я писал уже как-то - была утелизирована одна из научных библиотек, причина - невостребованность. Эт тебе снова про лак Страдивари.
Ничего личного. Ты же знаешь как я тепло отношусь.
Но плюсы одназначно есть. Нейронка научить работать с той же VS или VB скорее всего поможет.

 

[belovw]

почему не можем взять уже готовое и просто поменять шильдык?

А как же совесть? Как правовое поле? Так и будем жить вечно воруя у друг друга? Оно и понятно почему все закрылись и никому ничего не рассказывают.