"Идеальный секвенсер будущего" - офтоп из S1 v7 (2 онлайн)

  • Автор темы Автор темы Antonio
  • Дата начала Дата начала
В последнее время успешность моделей с трансформерами — которые суть особые вспомогательные нейросети, расширяющие возможность генеративного ИИ воспринимать длинные информационные ряды, — начала склонять ряд комментаторов к допущению, что GPT-4 (особенно в версии «o») и ряд сопоставимых с ним по сложности систем всё-таки могут претендовать на некоторое, пусть и не подлинно человеческое, понимание пропускаемой через них информации. Эту гипотезу и взялись проверить в MIT, предложив генеративной модели две практические задачи: провести условный автомобиль по улицам Нью-Йорка от одной точки до другой — и сыграть в «Отелло», далеко не самую сложную игру с компактным набором внятных правил. Собственно, целью эксперимента и было установить, способна ли система понимать предложенные ей правила, восстанавливая по ним логику функционирования иных, хотя и схожих систем, — или же она даже при наличии трансформеров не более чем Excel-сортировщик, только производящий упорядочение огромной базы данных сразу по множеству неоднозначных параметров.

Увы (хотя для кого-то, наверное, всё же ура), соответствующим истине оказалось именно второе предположение. Да, поскольку трансформеры натренированы образовывать связи между далеко отстоящими один от другого информационными блоками (и потому, в частности, модели для ИИ-рисования с трансформерами лучше воспринимают длинные витиеватые подсказки), какая-то картина этих связей в их «сознании» — в виде весов на входах их перцептронов — воспроизводится. Но она соответствует реальной лишь до тех пор, пока от системы требуют воспроизводить нечто в целом адекватное именно тому набору данных, на котором она обучалась. Исследователи приводят такой пример: на полной карте Нью-Йорка (с его строгой прямоугольной планировкой: «на север с юга идут авеню, на запад с востока — стриты», как писал поэт) ИИ великолепно справлялся с задачей проложить маршрут для автомобиля из точки А в точку Б, поскольку обучался на огромном массиве выстраиваемых живыми водителями маршрутов. Но стоило экспериментаторам условно перекрыть всего лишь примерно 1% проездов, как соответствие проложенного маршрута реальности разом упало с почти 100% до 67%.

Иными словами, цифровая система не поняла простейших на человеческий взгляд правил — вроде «чтобы объехать перекрытый участок, проследуй на один квартал дальше, поверни там, а потом сделай обратный поворот и вернись на прежнюю трассу». И широко разрекламированные сегодня «рассуждающие» (reasoning) модели — они, увы, лишь имитируют логику рассуждений, не разбираясь в ней как таковой: нечем им пока разбираться.

Ну собственно о чем я и говорил ранеее , весь нынешний "ИИ " , это по сути Excel на стероидах )
 
Иными словами, цифровая система не поняла простейших на человеческий взгляд правил
Все верно, ллм не могут "понимать". Они угадывают следующее слово в тексте на основе того, какие слова встречались в тексте до этого, и того, на чем модель училась. Управлять моим компьютером, ага, щас.
 
Ну кстати все нонешние создатели ИИ , почему то забывают что вся наша высшая нервная деятельность невозможна без нейромедиаторов )
Любое наше действие или мысль стимулируется, или наказывается ) ...нашим же мозгом )
так что пока машина не научится испытывать , боль или удовольствие - ни о каком подлинном ИИ , не может идти речь )

а это задача сильно посложнее чем угадывать тексты )или генерить мемчики )
 
  • Like
Реакции: greennoise
Ну вот кстати , генерит инстаграм инфльюенсеров )) , само там постит фоточки , пишет постики ))
Какой то чел , свою "модель ", оттуда же пропихнул на онлифанс, и начал баблишко косить ))


Это будущее социальных сетей, бот анкеты - под которыми будут бот пользователи писать комменты )
 
это не будущее, это настоящее) маск когда твиттер покупал пару лет назад лихо сбил цену, заявив, что там от 20 до 50 процентов пользователей боты)
 
  • Like
Реакции: Zildjian
от 20 до 50 процентов пользователей боты
интересно в таком случае как там устроена оценка награды за просмотр рекламы. Мало вероятно что твиттер отдаёт данные об анкетах кликнувших, да и серверное время для вычисления "трушности" юзера наверняка перекроет профит от рекламы. Выходит "система нипель". Win-win для твиттера
Наверняка ж с приходом Маска там стало меньше ботов. Стало ведь?
53H0YuXZ7y9AeN31xdshYb1XlYkGSejc.jpeg
 
Доткомы и ИИ это явления настолько разного масштаба... Никому дела нет до доткомов. Да, хотели заработать, да, ожидали что будет прибыль. Не сбылось. И всем пофиг, кроме тех, кто потерял на этом деньги.

С ИИ ситуация совсем другая. Люди принципиально считают, что это важно, что это будущее, и так должно быть, поэтому вкладывают и деньги и усилия и врямя, чтобы это будущее побыстрее наступило.

Назовите мне одну причину, почему оно не наступит.

Потому что в основе современных нейросетей примитивные алгоритмы разработанные 50 лет назад? Как то даже смешно звучит. В основе чего угодно сложного лежит что-то простое.

Потому что нейросети работают не так как человеческий мозг? Самолеты тоже летают не так, как бабочки или птицы, это не делает их менее подходящими для полёта. К тому же, человеческий мозг у нас уже есть, было бы не плохо попользоваться чем-то более эффективным.

Потому что мы еще не научились эффективно использовать нейросети и они не окупаются? Вот это вопрос ближайшего времени. Тысячи стартапов сейчас работают над применением существующих технологий, в то время как десятки компаний эти технологии развивают.
 

Antonio


Вы наивный мечтатель , и во времена доткомов(когда собственно и появился современный интернет во всех его масштбах , и во времена изобретения телеграфа это были революции как бы не большего обьема )
 
  • Like
Реакции: presly
Вы наивный мечтатель

Спасибо за характеристику, но я вообще никто. Альтман, Маск, Цукерберг, "куртка из нвидеа" и еще множество миллиардеров и миллионеров - они наивные мечтатели. Вкладывают миллиарды, понимая, что отставание в этой гонке слишком опасно. А гонку сравнивают с ситуацией начала 40х, а ИИ с ядерной бомбой. А не с доткомами.

Я лично буду только рад, если вы окажетесь правы. Но не вижу никаких реальных подтверждений вашим словам. Исследование, показавшее что GPT 4o плохо понимает в случае с картами или играми, для человека, который эту 4о использует почти каждый день, представляется наивным. 4о не подходит для этих задач, так же как и для программирования. Думаю о1 или о1 мини бы справились если не идеально, то намного лучше. Вы сами признаёте, что в общих случаях современные нейронки справляются хорошо, и только при погружении в детали перестают справляться. Но разве не очевидно, что технология развивается? Мощности увеличиваются, алгоритмы разрабатываются, дорабатываются, объединяются в новые формы.

Отдельно отмечу, что "сознательный ИИ", способный пройти любой тест, людям интересен, но создаст серьезные проблемы. Гораздо удобнее пользоваться "бездушными машинами", с легкостью выполняющими все рутинные человеческие задачи. И к этому уровню мы подошли вплотную. Было бы замечательно, если бы прогресс остановился на этом этапе. Хотя... Он остановится только в случае большой мировой войны, и это уже совсем не было бы замечательно...
 
  • Like
  • facepalm
Реакции: Zildjian и zga
4о создана как раз для общих случаев, для повседневного, а не специального использования. И все равно в итоге вырастет до уровня специалиста.

 
  • facepalm
Реакции: Zildjian
Я заметил что интернет очень сильно изменился за последние года два. ИИ боты создают темы, ИИ боты отвечают в комментариях, ИИ пишут статьи и т.д.. качество информации и качество поиска в сети резко упало. И чсх я понимаю что обратного процесса уже не будет.
 
@Red Routes, полагаю, всё таки на каждый хитрый болт есть своя гайка и активность ботов, даже в многомилионных масштабах, легко выпаливается на основе их социальной активности, анализа уникальности текста и т.п

ЗЫ. отвечая на вопрос под катом — по личным ощущениям так и есть
 
И чсх я понимаю что обратного процесса уже не будет.
Хз. Всё то, что обсуждали год назад остаётся в силе. Я недавно упоминал, что стало проще выделиться среди авторов в каком нибудь спотифае: сейчас дистрибьютеры предоставляют возможность генерировать картинку обложки по запросу и количество однообразных "нейрокартинка + текст" обложек очень много. Они уже не цепляют так, как ещё год назад и выглядят дёшево. И даже для того, чтобы сгенерировать пакет изображений и собрать из них симпатичную картинку, нужен некоторый талант и чувство вкуса. Нейронка из коробки не умеет сделать круто и уникально. Аналогично и с музыкой.
Ближайшие перспективы я вижу, скорее, такими: будут некие "нейро авторы", которые будут генерировать материал для сборки конечного продукта. И в обучалках, кроме классических дисциплин будут ещё и промты для нейронок. По сути, ещё один инструмент, но не волшебный робот который сам всё сделает.

Сорян, вроде на конкретный пост отвечал, а всё о своём :D Просто сейчас начал активно пользоваться Stable Diffusion, на практике оно нифига не так радужно, реально тянет на целую новую профессию.
 
Последнее редактирование:
  • Like
Реакции: Zildjian и fakeitback
не так радужно
это вы ещё в золотые времена пришли когда есть flux и SD XL. Я начинал с 1.4... По поводу замены специалистов - пока нейросеть не научится хотя бы инициализировать классы которые сама же и насоздвавала тут даже говорить не о чем. Как подспорье (если лень учить библиотеку или нужна быстрая "затычка") иной раз работает. ИНОЙ. В качестве исключения. Ну и я уже молчу что она из рабочего кода в 9 из 10 раз делает нерабочий. Это уже старая хохма. Если что-то чуть сложнее табуретки то там сразу "лапки"
 
  • beer
  • Like
Реакции: Kokarev Maxim и Zildjian
@Antonio, да любая. Всё от сценария зависит.
Ну самое банальное что что я ни разу не видел инициализации класс методов или статических методов, там где они откровенно нужны. Городятся какие-то глобалы, списки не нужные, хотя уже внутри класса всё есть в его же стандартных методах. Понятно что это костыль украденный со stack overflow.
 
  • Like
Реакции: AuxProduction и fakeitback
Городятся какие-то глобалы, списки не нужные, хотя уже внутри класса всё есть в его же стандартных методах. Понятно что это костыль украденный со stack overflow.
Если работать с официальным чатом гпт, ему можно в настройках запретить такое поведение и скормить еще кучку правил. Также в промпте иногда имеет смысл ссылаться на мануал, а лучше на его конкретный раздел. Еще лучше под повторяющиеся задачи создавать gpt's с большими промптами. Извиняюсь если пишу что-то очевидное, просто в этой теме часто вижу такие сгенерированные тексты, что подозреваю, что многие не пытались подойти с умом к использованию нейросетей, потестировали на скорую руку и вынесли вердикт.
 
@Red Routes, если однажды написанная подсказка экономит в дальнейшем кучу времени, есть смысл задуматься. :)
 
это вы ещё в золотые времена пришли когда есть flux и SD XL. Я начинал с 1.4... По поводу замены специалистов - пока нейросеть не научится хотя бы инициализировать классы которые сама же и насоздвавала тут даже говорить не о чем. Как подспорье (если лень учить библиотеку или нужна быстрая "затычка") иной раз работает. ИНОЙ. В качестве исключения. Ну и я уже молчу что она из рабочего кода в 9 из 10 раз делает нерабочий. Это уже старая хохма. Если что-то чуть сложнее табуретки то там сразу "лапки"
В точку! Я именно с flux и начал. Сразу "всё в одном", только запросы корректировать остаётся. А вот уже чтоб более управляемо и качественно, начинаются танцы с бубном и костыли в виде подключаемых lora типа "нормальные руки", "нормальный [название предмета]" и т.д. По итогу, слишком много всяких обвесов и ручной работы, чтобы считать это "интеллектом".

А вот на счёт кода: буквально вчера я родил грамотный и лаконичный скрипт для Рипера в локальной LLM. Да, пару функций пришлось поправить вручную, но вцелом - довольно круто! Опять же: я разбираюсь в коде и смог его исправить, без ручной работы не обошлось.
Кстати, попробовал генерировать тексты песен на русском языке в разных моделях - везде одинаковая лажа без рифмы. Интересно, как с этим на передовых сетках типа gpt-4...
 
  • Like
Реакции: Antonio
в локальной LLM.

Хвалили какую-то китайскую модель, мол, одна из лучших в программировании. Забыл название


Да, пару функций пришлось поправить вручную,
Это потому что умеешь. Я бы попросил ллмку, она бы поправила. :)
 
генерировать тексты песен на русском языке в разных моделях - везде одинаковая лажа без рифмы. Интересно, как с этим на передовых сетках типа gpt-4...
Gpt4 и 1о по русски стихи не пишут. Говорят Claude справляется.
 
  • Like
Реакции: Kokarev Maxim
Хвалили какую-то китайскую модель, мол, одна из лучших в программировании. Забыл название
Да, есть полноценные крутые, но там уже в ресурсы всё упирается: я использую "оптимизированные" (квантованные) модели размером 4-7гб, столько же они занимают в памяти видеокарты и работают мгновенно. Пробовал более качественные по 20-30гб, но там уже время обработки заметно увеличивается, но по тестам я не заметил особо прирост в интеллекте. Полноценные весят по 300гб и выше, мне даже страшно представить, какие ресурсы нужны для комфортной работы и на сколько долго мой комп будет просчитывать... Даже не тестировал. Имхо, такие вещи пока лучше делегировать онлайн сервисам.
Это потому что умеешь. Я бы попросил ллмку, она бы поправила. :)
С этим тоже всё интересно. Ошибки были в том, что нейронка пару функций заменила выдуманными, которых не существует в реале. То есть, с точки зрения ИИ - ошибки нет изначально и в такой ситуации она может заменить один рандом на другой, или вовсе оставить без изменений... О, а нафига я пишу то, можно же прям по месту проверить. Секунду.

Вот. Он пишет код, используя функцию reaper.GetTempoTimeSigMarkerNames, которой не существует. Я говорю ему: исправь ошибку, такой функции нет. Он пишет "Прошу прощения за путаницу. Функция reaper.GetTempoTimeSigMarkerNames на самом деле является частью API ReaScript и используется для получения темпа и размера из маркера, а не напрямую из настроек проекта." То есть, просто ложь на голубом глазу :)
Тем ни менее, тут же он предлагает исправленный вариант кода, используя "эквивалент" из API: reaper.GetTimeSignatureSettings. Но прикол в том, что и эта команда не работает, потому что тоже выдуманная :D
В общем, по ощущениям, это как будто сотрудничаешь с теми гастарбайтерами из Нашей Раши :D
 
  • Like
Реакции: presly

Сейчас просматривают