Меня уже порядком утомили рассказы о том, что современные LLM якобы устроены по образу и подобию человеческого мозга. Особенно когда это начинают объяснять люди, имеющие весьма смутное представление о нейрофизиологии. ))
Ребят, вы вообще понимаете, насколько искусственный нейрон далёк от биологического? В трансформере это, по сути, математические операции над числами. А настоящий нейрон - сложнейшая электрохимическая система с ионными каналами, мембранными потенциалами, дендритной обработкой сигналов, десятками механизмов регуляции и собственной временной динамикой. Причём дендриты сами по себе способны выполнять весьма нетривиальные вычисления.
Дальше ещё веселее. LLM обучаются преимущественно методом обратного распространения ошибки и градиентного спуска. Мозг так, насколько нам известно, не работает. Там синаптическая пластичность, долговременная потенциация и депрессия, STDP, нейромодуляция и куча других механизмов. Да, существуют гипотезы о биологически правдоподобных аналогах градиентного обучения, но никто пока не продемонстрировал, что мозг реализует стандартный backpropagation.
А архитектура? У трансформера self-attention, матричные преобразования, последовательные вычислительные блоки. У мозга рекуррентные нейронные сети, колоссальное количество обратных связей, разные типы нейронов, непрерывная электрохимическая активность. И это я ещё не касаюсь работы глии, нейромедиаторов и всей остальной биохимии.
Память тоже устроена совершенно иначе. В LLM информация, усвоенная при обучении, распределена по весам модели, а текущий контекст обрабатывается отдельно. У человека несколько взаимодействующих систем памяти, гиппокамп, консолидация воспоминаний, непрерывная перестройка синаптических связей. Мозг изменяется буквально в процессе жизни, а стандартная LLM во время разговора даже собственные веса не обновляет.
И вот после всего этого мне начинают рассказывать, что LLM - это цифровая копия мозга, потому что там тоже нейроны и связи между ними. ))
Да нет там никаких нейронов в нейрофизиологическом смысле. Есть математические абстракции, некоторые принципы которых исторически действительно позаимствованы из представлений о работе нервной системы. И функциональные сходства, разумеется, существуют. Только сходство отдельных принципов обработки информации ещё не означает сходства механизмов, а тем более идентичности архитектуры.
С тем же успехом можно объявить самолёт копией птицы. Крылья есть, летает, значит принципиально одно и то же. Аэродинамику, анатомию и всю остальную физику можно не изучать. ))
Самое забавное, что для понимания этой разницы вовсе не требуется быть нейрофизиологом. Достаточно просто не путать математическую модель с объектом, отдельные свойства которого она моделирует.