Эукариот ли я дрожащий, или право имею? (24 онлайн)

"промптование" вполне ведь можно воспринять как высокоуровневый язык программирования. Причём, даже более "изящный" (как это скзать, по синтаксису) своей природной естественностью )). Что также можно отнести к еволюции а не деградации
по сути промпты на английском языке через ИИ становятся высокоуровневым языком программирования
только есть кляйнебиггерпроблем в этом, промпты превращаются в высокоуровневый код который компилируется/транслируется/интрепретируется в байткод/машинный уже с помощью инструментов сделанных людьми. Не разу пока не видел случая, что бы ИИ написал в ответ на промпт - "хозяина, мы же херней занимаемся, давай лучше копилятора из промпта сразу в исполняемы код сделаем и потом за день долетим", а потому что весь код который он генерит раньше так же разрабы находили кусочками на со, гитхабе, в доке к библам и муслявили это в рабочее решение, а теперь этим занимаются агенты под присмотром промптователя и лишь изменилась скорость муслевания. Получается "промптование" это больше такой продвинутый контекстный поиск с комбинаторикой результатов. А программирование это когда инженер понимает как работает железо, ресурсы, операционка, компилятор/вм, знает отлично синтаксис и из этого разрабатывает оптимальное решение, а не просто рабочую чепуху которая при следующей попытке обновления функционала внезапно превращается в еще больший багодром.
 
Меня уже порядком утомили рассказы о том, что современные LLM якобы устроены по образу и подобию человеческого мозга. Особенно когда это начинают объяснять люди, имеющие весьма смутное представление о нейрофизиологии. ))

Ребят, вы вообще понимаете, насколько искусственный нейрон далёк от биологического? В трансформере это, по сути, математические операции над числами. А настоящий нейрон - сложнейшая электрохимическая система с ионными каналами, мембранными потенциалами, дендритной обработкой сигналов, десятками механизмов регуляции и собственной временной динамикой. Причём дендриты сами по себе способны выполнять весьма нетривиальные вычисления.
Дальше ещё веселее. LLM обучаются преимущественно методом обратного распространения ошибки и градиентного спуска. Мозг так, насколько нам известно, не работает. Там синаптическая пластичность, долговременная потенциация и депрессия, STDP, нейромодуляция и куча других механизмов. Да, существуют гипотезы о биологически правдоподобных аналогах градиентного обучения, но никто пока не продемонстрировал, что мозг реализует стандартный backpropagation.

А архитектура? У трансформера self-attention, матричные преобразования, последовательные вычислительные блоки. У мозга рекуррентные нейронные сети, колоссальное количество обратных связей, разные типы нейронов, непрерывная электрохимическая активность. И это я ещё не касаюсь работы глии, нейромедиаторов и всей остальной биохимии.

Память тоже устроена совершенно иначе. В LLM информация, усвоенная при обучении, распределена по весам модели, а текущий контекст обрабатывается отдельно. У человека несколько взаимодействующих систем памяти, гиппокамп, консолидация воспоминаний, непрерывная перестройка синаптических связей. Мозг изменяется буквально в процессе жизни, а стандартная LLM во время разговора даже собственные веса не обновляет.

И вот после всего этого мне начинают рассказывать, что LLM - это цифровая копия мозга, потому что там тоже нейроны и связи между ними. ))

Да нет там никаких нейронов в нейрофизиологическом смысле. Есть математические абстракции, некоторые принципы которых исторически действительно позаимствованы из представлений о работе нервной системы. И функциональные сходства, разумеется, существуют. Только сходство отдельных принципов обработки информации ещё не означает сходства механизмов, а тем более идентичности архитектуры.
С тем же успехом можно объявить самолёт копией птицы. Крылья есть, летает, значит принципиально одно и то же. Аэродинамику, анатомию и всю остальную физику можно не изучать. ))

Самое забавное, что для понимания этой разницы вовсе не требуется быть нейрофизиологом. Достаточно просто не путать математическую модель с объектом, отдельные и далеко не базовые свойства которого она моделирует.
 
Последнее редактирование:

Сейчас просматривают