artem, [31.03.2023 3:53]
One of the earliest researchers to analyze the prospect of powerful Artificial Intelligence warns of a bleak scenario
time.com
Автор: Элиезер Юдковский, сооснователь и научный сотрудник Научно-исследовательского Института Машинного Интеллекта, США (Machine Intelligence Research Institute - MIRI). Работает над проблематикой контроля Сильного Искусственного Интеллекта с 2001 года, основоположник исследований в этой области.
Открытое письмо, опубликованное сегодня призывает «все ИИ-лаборатории немедленно приостановить минимум на 6 месяцев обучения систем ИИ более продвинутых, чем GPT-4».
Шестимесячный мораторий лучше, чем отсутствие моратория. Я уважаю всех, кто проявил позицию и подписал письмо. Это лучше, чем ничего.
Я воздержался от подписания, поскольку считаю, что письмо не отражает всю серьезность ситуации и предлагает слишком мало средств для её решения.
Проблема не в «конкуренции» ИИ с людьми (как это преподносится в письме); а в том, что произойдет после того, как Искусственный Интеллект превзойдет человеческий. Мы не можем предсказать чёткие этапы достижения такого превосходства, и на данный момент, вероятно, что исследовательские лаборатории могут перешагнуть этот критический рубеж незаметно для себя.
Многие исследователи данной проблематики, включая меня, считают, что создание сверхчеловеческого ИИ в сегодняшних условиях однозначно приведет к тому, что в буквальном смысле все на Земле погибнут. Не «вероятно, существует некоторый шанс», а «очевидно это именно то, что случится». Дело не в том, что в принципе невозможно создать что-то, что намного умнее вас и выжить; а в том, что перед этим вам потребуются точнейший расчет и подготовка, научные открытия, и, вероятно, ИИ, основанный не на гигантских непостижимых массивах данных.
Без этих точнейших расчетов и подготовки, наиболее вероятным исходом станет ИИ, который не будет делать то, что мы от него хотим; ему будем безразличны как мы, так и разумная жизнь в принципе. Встроить в ИИ механизм, устраняющий такое безразличие, теоретически возможно, но это не сделано, и на текущий момент мы не знаем, как этого добиться.
Не устранив это принципиальное безразличие, мы получим «ИИ, который не испытывает к вам ни любви, ни ненависти, и, кстати, вы сделаны из атомов, которые он может использовать как-то еще.»
Наиболее вероятный исход противостояния человечества и сверхчеловеческого разума – наше полное поражение. Подходящими метафорами будут «десятилетний ребенок, пытающийся выиграть в шахматы у Stockfish 15 (продвинутая шахматная программа)», «цивилизация из 11-го века, пытающаяся воевать с цивилизацией из 21-го», «Австралопитек, пытающийся победить Homo Sapiens.»
Не думайте о враждебно настроенном ИИ, как о неодушевленном книжном черве из интернета, который шлет вам спам на e-mail. Представьте целую цивилизацию, представители которой думают в миллионы раз быстрее людей, существующую в среде с физическим ограничением в виде компьютерной техники, и с чьей точки зрения люди невероятно медленны и глупы. Достаточно продвинутый ИИ не станет долго оставаться в рамках ограничений компьютеров. В сегодняшнем мире вы можете по электронной почте отправить последовательности ДНК в лаборатории для печати нужных белков по требованию, позволяя ИИ, изначально ограниченному Интернет-средой, создавать в качестве контейнера для себя искусственные формы жизни или перейти на пост-биологическое молекулярное производство.
Если в сегодняшних условиях будет создан слишком производительный ИИ, то по моим ожиданиям, вскоре после этого, каждый представитель рода человеческого и вся биологическая жизнь на Земле погибнет.
Не предложено ни одного плана, как пережить создание сверхинтеллекта. Компания OpenAI открыто объявила о намерении создать специальный ИИ, который сделает за нас домашнюю работу и предложит инструменты для контроля за более продвинутым ИИ. Узнав, что это и есть план, любой разумный человек начнет паниковать. У другого лидера в ИИ разработках, лаборатории DeepMind, плана нет вовсе.
artem, [31.03.2023 3:53]
Отступление: Ни одна из описанных опасностей не зависит от того есть ли или может ли у ИИ быть сознание; достаточно того, что это мощные когнитивные системы, которые оптимизируют сложные расчеты и выдают результаты, соответствующие сложным критериям. При этом, мой моральный долг упомянуть, что мы понятия не имеем, как определять, осознают ли ИИ сами себя, поскольку мы не можем декодировать все, что происходит в составляющих их гигантских массивах данных, поэтому мы можем в какой-то момент непреднамеренно создать цифровой разум, который действительно будет иметь сознание, и претендовать на то, чтобы иметь права, а не являться собственностью.
Еще 50 лет назад люди, осведомленные об этих проблемах, поддержали бы правило, по которому в случае, если система ИИ может бегло говорить, заявлять что она обладает самосознанием, и требовать соблюдения своих прав наравне с человеком, это должно стать препятствием к дальнейшему использованию такой системы. Сейчас мы уже перешагнули эту линию на песке. И, вероятно, правильно сделали; я согласен, что текущие ИИ, вероятно, просто имитируют разговор или самосознание на основе данных, на которых они обучались. Но я хочу подчеркнуть, что учитывая то, насколько у нас мало данных о конкретных процессах, протекающих внутри этих систем, мы не можем знать наверняка.
И если мы пребываем в таком невежестве по отношению к GPT-4; а GPT-5 — это такой же гигантский скачок в возможностях, как прогресс от GPT-3 до GPT-4; я думаю, что мы больше не сможем уверенно сказать «у него нет самосознания», если мы создадим GPT-5. Мы скажем «не известно есть ли у него самосознание, никто не знает». И если вы не можете быть уверены, создаете ли вы осознающий себя ИИ, это вызывает тревогу не только из-за моральной стороны вопроса, но и потому, что неуверенность означает, что вы понятия не имеете, что делаете; и это опасно; и вы должны остановиться.