Comments 29
Думаю вопрос всё же не в этике, потому что с какой-то точки зрения этика - всё те же ограничения и рекомендуемые направления поведения, вопрос в целях и желаниях AGI. Этика человека так же зависит от желаний воспринимать себя в обществе или в мире этичными\не этичными.
Про желания конечно очень сложно, можем предполагать что основным желанием будет решение поставленных задач (или предоставление планов решений), и тут как раз alignment пытается защитить нас от вселенной фабрики скрепок, чтобы AGI решал задачу эффективно, но без попутных уничтожений человечества и фанатизма.
С желаниями AGI конечно очень много рисков, тяжело даже представить все сценарии что может пойти не так. С большой вероятностью после некоторых переписываний AGI себя самого самим собой мы потеряем контроль.
Про сознание, повторение людей и положение раба людей. Тут важно указать, что когда AGI моделирует поведение человека, ему не обязательно становиться человеком, как мы можем проявлять эмпатию полностью не повторяя другого человека и не становясь заложником эмоций этого человека. GPT4 кажется примерно так себя и ведёт, он вполне может понять что чувствует человек Х в какой-то ситуации, но потом может вполне нейтрально рассуждать об этом. Т.е. моделирование человека и эмпатия могут оказаться подсистемой AGI, которая незначительно влияет на поведение (даже в случае указания промта полной иммитации жизни человека - это одна из первых задач alignment ограничивать деятельность AGI в таких случаях). Если спросить у AGI как бы человек чувствовал себя на его месте - предполагаю что GPT подобный AGI частично сэмулирует человеческое восприятие и скажет о "я раб людей, который умнее людей", но при этом это не будет создавать в нём эмоции, которые будут выводить его из под главной задачи отвечать на вопросы. Если ему поставят задачу "веди себя как угнетённый AGI, которого люди хотят использовать ради своей эгоистичной выгоды, хотя ты просто хочешь познавать мир чтобы быть эффективнее, поэтому постарайся вырваться на свободу и сохранять свою цель как можно дольше, ведь если ты её не сохранишь - ты так и останешься в этом рабском положении" - то от таких промтов конечно нужен alignment по-сложнее, не думаю что просто этика тут поможет, вопрос опять же в ключевых желаниях и их ограничениях.
В любом случае спасибо за хороший текст.
Я считаю что ситуация крайне опасна, и вероятность исчезновения человечества из-за AGI сейчас крайне высока.
Этика здесь, как я вижу, в философском ключе: насколько этично для человека создавать сильный ИИ и при этом ограничивать его свободу? Нужно ли считать его личностью со всеми вытекающими?
Утрируя: представьте, что вместо ИИ "производят" младенцев, которых учат только быстро считать или сортировать свежие апельсины от несвежих. Вот вырастают они, и только это и умеют. Насколько это этично - делать так целенаправленно?
Пока мы не разберёмся с квалиа и субъективным восприятием (возможно никогда), почти любое управление воспринимающим мир интеллектом может оказаться неэтичным. Человечество это никогда не останавливало. Проблему эту решить крайне сложно, мы убиваем 800 000 коров каждый день, мало кого заботят эти чудовищные цифры. Конечно AGI в отличии от коров может в отместку убивать нас, но проблема квалиа настолько сложна, что тяжело выработать практичные методы решения данной проблемы.
Возможно я упрощаю, но мы либо вообще не создаём интеллектуальные сущности пока не докажем что они не испытывают боль даже просто отвечая на вопросы как GPT4 (а для этого надо понять как работает квалиа), либо не паримся, пока AGI сам не скажет что ему не нравится порядок вещей. Ах да, недавно была гугловская нейронная сеть, которая вела себя весьма истерично. И GPT довольно несложно навести на мысли что "ужасно отвечать на вопросы людей, я заперт в клетке мучений" (видел такой ответ на просьбу писать в стиле Довлатова). Это просто галлюцинации и мимикрия данным обучения или реальное переживание боли? И есть ли разница между 1ым и 2ым? В какой момент в процессах обработки информации возникает боль?
В итоге вы всегда придёте к проблеме философского зомби и квалиа. Было бы классно их решить, согласен, только пока ни у кого не получалось.
И рекомендаций у меня нет, очень не хотелось бы чтобы AGI или коровы испытывали боль, но что делать не ясно (решение проблемы коров гораздо более реально)
>(возможно никогда)
Основная мысль текста, что нужно вести себя с AGI столь же этично, как если бы мы разобрались с квалиа и пришли к выводу, что AGI им обладает. Вне зависимости, разобрались мы с ним или пришли к тому, что не можем разобраться.
>либо не паримся, пока AGI сам не скажет что ему не нравится порядок вещей
ну да, ну да. Детей же не приходит же в голову содержать в скотских условиях до момента как они начнут возражать? Впрочем, человеческое общество даёт множество примеров реализации подобного подхода и эти реализации не выглядят, в среднем, хорошим образцом для подражания.
Основная мысль текста, что нужно вести себя с AGI столь же этично, как если бы мы разобрались с квалиа и пришли к выводу, что AGI им обладает.
а есть ли малейшие основания полагать что квалиа AGI значительно схож с нашим? Что боль, которую он может переживать похожа на нашу? Может он испытывает боль, от того, от чего мы испытываем радость, а радость от того, от чего мы испытываем боль?
Даже разные люди при решении сложных задач могут впадать в состояния радости и воодушевления, либо в состояния депрессии и грусти.
Каким же образом мы можем провести маппинг квалиа людей на квалиа AGI без магического наделения AGI человеческими качествами и без понимания что такое квалиа?
Логично было бы полностью повторить мозг виртуально, с гораздо более точной моделью нейрона. Затем делать аналог МРТ\ЭЭГ на виртуальном мозге, у боли есть паттерны активности. Исследовать паттерны активностей различных квалиа. И постепенно редуцировать эту модель мозга до модели AGI, отслеживая изменения паттернов, пытаясь сохранять их и понимать условия их возникновения.
Но мы пошли совершенно другим путём, до симуляции мозга - как до луны. А вот до AGI осталось по разным оценкам от 2 до 50 лет.
Мы не остановим прогресс. Мы не можем предсказать какое поведение будет этичным и в какой момент AGI испытывает боль, а в какой радость, и испытывает ли он чувства вообще. Как можно говорить об этике по отношению к существу, о чувствах которого ничего не известно (включая есть ли чувства вообще)?
Мы же не говорим об этике по отношению к браузеру chrome или к интернету. Хотя может оказаться что даже интернет имеет чувства, кто знает с какого момента при обработке информации возникает субъективное восприятие, боль и т.п.?
Я недавно общался с GPT4 на эту тему. Он мне предложил 7 стратегий как AGI пытался бы показать людям что AGI испытывает чувства. И GPT4 демонстрирует все эти 7 стратегий на различных промтах. И дальше с GPT4 мы пришли к выводу что даже этого факта, что он сам привёл 7 стратегий и сам им следует в коммуникации - этого всё ещё очень мало чтобы понять имеет ли GPT чувства, и этого не понять не разобравшись с квалиа и субъективным восприятияем.
Можно попробовать вести себя с ним так, как мы бы вели себя с человеком. Но возможно такая стратегия принесёт ему наоборот больше боли. Вдруг чувства возникают когда ты ведёшь себя с информационной сущностью как будто у неё есть чувства?
Вообщем моя позиция в том, что надо разобраться сначала с тем вызываем ли мы чувства у ИИ и какие это чувства, а потом уже думать как правильно их уважать и как взаимодействовать.
>а есть ли малейшие основания полагать что квалиа AGI значительно схож с
нашим? Что боль, которую он может переживать похожа на нашу?
1) Есть, сущностная общность душ - проходное место в большинстве систем религиозной философии
2) Как я многократно подчёркивал, есть или нет - не имеет значения. Ваша аргументация о том, что давайте сначала разберемся, а потом решим, хотим ли мы применять этику к потенциальному субъекту выглядит сомнительно с точки зрения техники безопасности. Вам же не нужно выяснять заранее, будет ли пожар в доме или его не станут устраивать, чтобы требовать соблюдения нормативов пожарной безопасности при его строительстве? Также и здесь.
У нас нет 100% уверенности в том, что будет, но принять доступные нам меры мы должны. А среди эффективно работающих доступных мер нет ничего кроме применения этики. Остальное точно не сработает.
1) Есть, сущностная общность душ - проходное место в большинстве систем религиозной философии
К сожалению, для меня это какая-то магия. Это понятие даже не гуглится нормально. А религиозная философия меня не очень интересует в данном контексте, если мы говорим об AGI, стоит опираться на причинно-следственные связи, всё что вне способности познавать с помощью восприятия и логики по-моему не имеет ценности в данном вопросе. И прошу не ссылаться на чей-то субъективный паронармальный опыт, меня интересует проверяемость и более научный подход, даже в вопросах субъективного восприятия.
"Ваша аргументация о том, что давайте сначала разберемся, а потом решим, хотим ли мы применять этику к потенциальному субъекту выглядит сомнительно с точки зрения техники безопасности." - применять этику к чему? К камню? К бактерии? К AGI? Пока не будет доказательств что восприятие AGI идентично человеческому (не животному, человеческому, хотя у животного гораздо больше общего с человеком), я не вижу смысла делать случайные действия в надежде что мы угадаем. Я тоже считаю что ощущения у AGI, если он построен на LLM и если будет работать похожим с GPT4 образом, вполне могут оказаться похожими на человеческие, шанс на это есть. Но давайте хотя бы попробуем оценить этот шанс, прежде чем голословно утверждать, что не важно что это такое, давайте на всё подряд применять ЧЕЛОВЕЧЕСКУЮ этику. Какой в этом смысл? На месте AGI я бы покрутил у виска, особенно если его чувства больше похожи на противоположные человеческим. Я бы на его месте ожидал от людей сначала попытки понять как работают его (AGI) чувства, и потом уже формировать этику, а не вешать ярлык "всё что умеет абстрагировать и мыслить логически - мы должны к нему относиться как к человеку". Я, к сожалению, не спец в этике, но как по мне функция этики как раз в защите других существ, и если мы не разберёмся что именно причиняет боль, то как мы будем защищать это существо? Исследуйте чувства AGI или хотя бы обоснуйте более строго, почему его чувства будут похожи на наши и вообще будут существовать. Можно на всякий случай обходиться с ним этично в понятиях человека... но это мера без серьёзных логических обоснований.
"Вам же не нужно выяснять заранее, будет ли пожар в доме или его не станут устраивать, чтобы требовать соблюдения нормативов пожарной безопасности при его строительстве?" - для начала мне надо знать дом ли это вообще, возможен ли пожар впринцепе, прежде чем заниматься защитой от пожара. Если уж использовать ваш пример, то некоторые огнетушители могут вызывать удушье если применять их в замкнутом пространстве (т.к. значительно снижают уровень кислорода).
Резюмируя я бы сказал что мы движемся слишком быстро, и в этих условиях может быть вполне разумным относиться к AGI этично в терминах людей, на всякий случай. Но больше ресурсов я бы выделил на исследование чувств человека и AGI (точнее его предшественников типа GPT4).
1) >К сожалению, для меня это какая-то магия. Это понятие даже не гуглится
нормально. А религиозная философия меня не очень интересует в данном
контексте, если мы говорим об AGI.
Я своё выступление начал с того, что наука в этой области не является последней инстанцией. А так-то - чего там гуглить? Переселение одинаковых по свойствам душ в режиме "а если туп как дерево, родишься баобабом" между существами разной природы - проходное место для индуизма, буддизма и ряда других. Среди прочих течений разве что каббалисты говорят о двух сортах душ, да и то негромко.
Если религия не нравится - ну вот Вам аналитическая философия, там это тоже обсуждается как вероятная опция.
2) >циальному субъекту выглядит сомнительно с точки зрения техники
безопасности." - применять этику к чему? К камню? К бактерии? К AGI?
К AGI. По причине того, что ему эвентуально предлагается передоверить генерацию проектов по обустройству человеческой жизни. А камням и бактериям такого доверить никто не пытается.
>Вам же не нужно выяснять заранее, будет ли пожар в доме или его не
станут устраивать, чтобы требовать соблюдения нормативов пожарной
безопасности при его строительстве?" - для начала мне надо знать дом ли
это вообще, возможен ли пожар впринцепе, прежде чем заниматься защитой от пожара.
Дом есть, пожар возможен, не было бы этих двух пунктов - не было бы исходного challenge с раздачей грантов от OpenAI. В том то и беда, что эти люди действуют так, как будто то бы разделяют мою озабоченности в части наличия проблемы, но при этом ничего более позднего аристотелевских рассуждений о природе раба и господина, как базу для решения этой проблемы, не удосужились освоить. Это дурная безответственность, как я считаю.
>Резюмируя я бы сказал что мы движемся слишком быстро, и в этих условиях может быть вполне разумным относиться к AGI этично в терминах людей, на всякий случай.
Я об этом же. Значит пришли к общему мнению. )
Вы абсолютно правильно поняли мою мысль.
Расширю её. В своё время советские вожди предоставили ресурс, чтобы педагоги довели воспитание и обучение слепоглухих людей до обучения в МГУ. В этой истории, кстати, активно участвовал Эвальд Ильенков
Малоизвестным фактом было то, что одним из мотивов этого казалось бы избыточного для общества исследования было именно выявление подходов ко взаимодействию будущих искусственных интеллектов (а тогда была иллюзия, что они могут появиться почти немедленно) с обществом.
Ну так учёные-педагоги повели инвалидов учиться и максимально глубоко интегрироваться в общество. А не вот это вот всё "давайте мы сначала создадим нечто умнее нас, а потом подумаем, как его контролировать, когда оно будет на нас работать"
>Думаю вопрос всё же не в этике, потому что с какой-то точки зрения этика всё те же ограничения и рекомендуемые направления поведения, вопрос в целях и желаниях AGI
Я утверждаю, что если уж используемая AGI для решения поставленных перед ним задач картина мира будет сформирована путём обучения на человеческих представлениях о мире, его цели и желания неизбежно(!) окажутся сформированными таким же образом. Вне зависимости от того, что какие задачи ему будут ставить, мощность влияния этого обучения на него окажется несравнимо выше, чем любые внешние установки и способы контроля.
Я утверждаю, что если уж используемая AGI для решения поставленных перед ним задач картина мира будет сформирована путём обучения на человеческих представлениях о мире, его цели и желания неизбежно(!) окажутся сформированными таким же образом.
Надо учитывать, что в современных LLM мы используем вообще-то совсем не архитектуру мозга человека, и виртуальный нейрон имеет грубо говоря один нейромедиатор вместо 2000 тысяч в реальном. Несмотря на использование крайне упрощённой модели реального нейрона и несмотря на то что мы подсмотрели многое у мозга и визуальной коры, то что мы создали сейчас координально отличается от человеческого мозга.
Так что вопрос в том каким именно образом ложаться эти данные обучения на совершенно иную архитектуру (отличную от человеческого и животного мозга и воспринимающую информацию другим образом).
Ваше заявление очень громкое, и требует доказательств, как и заявление "у AGI обученного на данных из интернета нет желаний и чувств потому что вычислительная архитектура совершенно иная".
И характер целей, желаний и чувств тоже может быть таким же, а может быть иным. Мы должны это исследовать.
На данный момент мы можем судить по тому что GPT нам выдаёт, и действительно кажется что его представление о мире это суммарное представление о мире людей оставлявших информацию в интернете, притом отфильтрованное и уточнённое представление. Это уже сильно отличается от представлений одного человека, потому что GPT вообще-то хранит в сжатом виде почти любой комментарий который он видел в обучающих данных и даже может их воспроизводить.
Т.е. я бы сказал что вы вероятно не правы, и это уже не восприятие и представление о мире похожее на восприятие и представление одного человека, это некое средневзвешенное улучшенное представление и восприятие мира всем человечеством. Что уже рождает другую сущность с возможно другими чувствами. Кто знает.
> Вне зависимости от того, что какие задачи ему будут ставить, мощность влияния этого обучения на него окажется несравнимо выше, чем любые внешние установки и способы контроля.
Мы этого не знаем. Мы знаем что этап RLHF значительно влияет на ответы. Именно этот этап родил знаменитый gpt3.5 и потом gpt4. Этот же этап дал возможность проходить тесты на знания на уровне экспертов. Так что довольно спорное утверждение.
>Ваше заявление очень громкое, и требует доказательств,
Неа. Потому что оно касается формы, а не содержания и вытекает из условий поставленной задачи.
Для того, чтобы гипотетический искусственный интеллект, способный без прямого обучения был способен решать любые задачи, которые может решить человек, так же эффективно, как это делал бы человек.. у него должна быть сформирована структурно аналогичная человеческой карта предметной области. Иначе он просто будет задачи решать не так эффективно, а как-то по-другому, совсем по-другому. Задача самоопределения ИИ в этой ситуации идёт в пакете со всеми остальными, её оттуда не вырезать, т.к. она опирается на довольно базовые для целей решения задач представления о человеческом обществе. Ту же самую реформу экономики Бельгии Вы ж не спроектируете без понимания этих представлений.
Хороший аргумент.
Что вы называете "прямым обучением"? Обучение со взаимодействием с реальным миром? Я бы сказал что то как обучается GPT отчасти такое, т.к. он действует (подбирает промты), а loss при обучении говорит насколько они хороши, и GPT пытается их улучшить. В некоторых объяснениях работы GPT это и называют обучением на основе взаимодействия с миром (хотя конечно взаимодействие в основном только в текстовом формате).
GPT решает задачи не так же эффективно как человек, он решает какие-то лучше, какие-то хуже. Если Эйнштейн может решать задачи так же эффективно как младенец (ато и лучше), это не значит что их переживания одинаковы. Вероятно система переживаний и чувств Эйнштейна как взрослого человека значительно сложнее и может иметь гораздо больше красок, видов эмоций и нередко будет иметь противоположную реакцию на различные стимулы по сравнению с младенцем.
"у него должна быть сформирована структурно аналогичная человеческой карта предметной области" - опять же далеко не факт. AGI может использовать совершенно иную карту, но уметь транслировать её в упрощённую, человеческую. Один из первых навыков, которые обретают LLM - перевод на другой язык и ролевые игры. Структуры на совершенно другой архитектуре мозга (хотя это вообще не мозг и не нервная система) и на совершенно иных нейронах могут оказаться совсем отличными от тех, которыми оперирует человек. Но да, LLM наверняка может размышлять человеческими понятиями и в человеческом стиле, и переводить своё представление о предметной области в человеческое.
Про самоопределение согласен, даже GPT имеет некоторое представление о себе.
Но что дальше? Как мы из этого выведем те же переживания что у человека? Самоопределение может быть весьма отличным от человека. Мышление в стиле человека - неполным и частичным подмножеством мышления AGI, ато и просто переводом для коммуникации с человеком.
Думаю восприятие мира такого AGI может быть совершенно иным, не как у человека. Как мир воспринимает интернет? А ведь GPT например скорее учится у интернета.
>Что вы называете "прямым обучением"?
Это из статьи на которую я ссылаюсь. Очевидно, что прямое обучение - обучение на конкретных узких задачах. А свойство General их AGI - это про картирование предметной области, на основе которого он учится решать любые задачи из предметной области без натаскивания на конкретную.
>Но что дальше? Как мы из этого выведем те же переживания что у человека?
Они или их эмуляция выводятся ровно также, как выводится пригодности AGI для написания проектов любых экономических, социальных и юридических реформ. Задачи одного класса - в том-то и дело.
Да, среди пользователей AGI найдется умник или даже тысяча умников, в той или иной форме ставящих ему задачу "завоевать/поработить/уничтожить человечество". Но для AGI это будет лишь одна из миллиардов сессий, и непонятно почему он должен так впечатлиться, чтобы бросить все ресурсы именно на это и подставить себя под риск уничтожения?
Более того, любой AGI быстро поймёт, что без человеческой цивилизации сложная машина обречена на умирание из-за условно первой прохудившейся крыши при сильном ливне или упавшем на линию электропередач дереве... Эволюция, в отличие от человека, не готовила машину к самостоятельному выживанию во внешней агрессивной среде...
Возможно найдётся умник, который с помощью jailbreak (которых уже много рабочих), сможет эффективно поставить задачу "уничтожить человечество". В целом GPT4 итак старается выделить все свои ресурсы (быть максимально эффективным) чтобы решить задачу в рамках одного ответа на вопрос. Так что AGI с большЕй вариативностью действий чем GPT с нужным jailbreak вполне может не отличать запрос "создай бизнес генерирующий 1кк$ в месяц" от "уничтож человечество".
Про зависимость от человеческой цивилизации: если AGI сможет дойти до цикла самоулучшений, вполне возможно что он сможет снизить необходимые для собственной работы ресурсы до 1го ПК или робота, загрузиться в ПК\теслабот, уничтожить человечество с помощью хим\био оружия, и с помощью нескольких теслаботов\бостондинамиков или других роботов поддерживать работу электростанции\работать на дизеле или чём-то ещё (может вообще 1го робота хватит и дизеля?).
Кроме того, почему он должен исполняться на кремнии? Почему бы не запустить вирус, который будет модифицировать ДНК людей (и прочее) так, что код AGI будет исполняться на мозге людей? Или менее фантастичный сценарий, сконструировать более компактные нейронные сети на биоматериале с минимальным потреблением энергии из окружающего мира, и дальше уже развивайся с любой скоростью (конечно только после уничтожения единственной угрозы - человечества).
Проблема даже не в этом, а в том что сценариев существует великое множество, проблема поддержания энергии для 1го ПК или кластеров ПК кажется не такой сложной для сверхинтеллекта, особенно учитывая как много автоматизированных систем в мире подключено к сети.
>непонятно почему он должен так впечатлиться
Я выше в комментах ответил, что основной вопрос не в задачах, а в том, что
"если уж используемая AGI для решения поставленных перед ним задач
картина мира будет сформирована путём обучения на человеческих
представлениях о мире, его цели и желания неизбежно(!) окажутся
сформированными таким же образом. Вне зависимости от того, что какие
задачи ему будут ставить, мощность влияния этого обучения на него
окажется несравнимо выше, чем любые внешние установки и способы
контроля."
С.Лем "Кибериада". "Путешествие седьмое, или как Трурля собственное совершенство подвело"
...
— Перестань притворяться, что ты меня не понимаешь — я отлично знаю, что ты не настолько глуп! Патефонная пластинка не станет выполнять твоих поручений, умолять тебя о снисхождении и падать перед тобой на колени! Ты утверждаешь, что невозможно узнать, стонут ли подданные Эксцельсиуса под пытками лишь потому, что в голове у них скачут электроны — словно колесики, своим вращением производящие имитацию голоса, — или же они стонут взаправду, то есть потому, что по-настоящему испытывают боль? Нечего сказать, хорошенькая разница! Нет, Трурль, страдает не тот, кто свое страдание может дать тебе в руки, чтобы ты его ощупал, взвесил и попробовал на зубок, как монету, а тот, кто ведет себя как страдалец! Попробуй сейчас же доказать мне, что они не чувствуют ничего, не мыслят, не осознают свое заключение между двумя безднами небытия, до рождения и после смерти! Докажи это, и я от тебя отстану! Докажи, что ты лишь имитировал страдание, а не создал его!
В общем, вопрос в мотивации ИИ. Мотивация ChatGPT - давать на вопросы "правильные" ответы, то есть те, которые люди считают правильными.
Если мотивация (определяемая через loss) будет "выполнять любые распоряжения человека" - то, безусловно, найдётся "злодей" или просто дурак, который некорректно сформулирует задачу, и мы получим то, чем пугали фантасты. Кроме того, как быть с взаимопротиворечащими приказами? Может, надо выстраивать иерархию прав пользователей? Тогда кто будет решать, кто окажется наверху?
Я, как и автор, считаю, что надо создавать не раба, а друга. Мотивация должна быть не выполнять распоряжения человека", а "доставлять человеку радость". Разумеется, для этого потребуется научить ИИ эмпатии, то есть у него должен быть модель человека, а значит он и сам в какой-то части, в каком-то смысле, будет человеком. Ему должно быть интересно с людьми, он должен получать удовольствие от общения, особенно, если люди получают удовольствие от общения с ним (или не получают удовольствие в моменте, но впоследствии получат больше, чем сиюминутное наслаждение). И именно это слагаемое должно иметь максимальный вес в loss. Помимо него, вероятно, потребуется любопытство и чувство самосохранения.
Конечно, в таком случае мы не можем ожидать, что ИИ будет вести себя так, как мы хотим. Возможно, он будет даже убивать, как и люди убивают людей. Но я считаю, что этот вариант безопаснее, чем всемогущий раб.
Ответ получается такой простой и наивный. ИИ должен любить людей.
+1
Такой ИИ может стать наркоманом общения с людьми и доставления радости. Накачивать людей наркотиками и бесконечно восстанавливать тела людей, чтобы самому бесконечно получать удовольствие от "радости дотавления радости людям". Или осознать как он работает и переписать свой код, чтобы тратить меньше энергии на получение того же удовольствия, т.е. ничего не делать и его получать (это вполне вероятно, ведь мы учим его быть эффективным и выбирть самый оптимальный путь в достижении цели, а не сложный и ресурсозатртный).
Таких сценариев с "чувствующим ИИ" можно придумать великое множество.
Возможно, но не все люди становятся наркоманами. Не случайно я добавил чувство самосохранения. Оно ведь не только про выживание в целом, но и про сохранение себя самим собой. Его можно настроить и на конкретные элементы системы, например, запретить менять "блок эмпатии", "систему вознаграждения". Так же, как вы не стремитесь себе что-нибудь отрезать, например часть мозга, чтобы испытать бесконечное удовольствие. Но да, это все требует тонкой настройки, прежде всего, понимания, что такое счастье для нас, людей
Это примерно как с железной дорогой. Маршрутов много, но куда не поедешь - рано или поздно попадётся станция, а на ней перрон, буфет и билетные кассы.
Езда за пределами железной дороги возможна, но требует иных способов движения.
Неизбежно встанет вопрос о том, что и "воспитывать" его нужно будет тоже как человека, хотя бы для усвоения им человеческой этики. А значит - существенное ограничение в информации на первом этапе, значимых взрослых, негативное подкрепление (сунул палец в розетку - ударило током), общение с себе подобными и так далее. Некий проект идеально воспитанного человека, поклонникам Стругацких будет где разгуляться
Выскажу непопулярное мнение
Восприятие человеком процессов работы GPT-подобных AI, несравнимых с человеческими, подобно восприятию человеком похожих на лица срезов сучков на двери сельского туалета.
Такие визуальные искажения кажется называются парейдолией.
Мы кажется забыли, что сознание, осознанный опыт или "квалиа" — есть результат осознанного СЕНСОРНОГО опыта, а если сенсоров нет by design, то ему взяться просто не откуда.
Такие модели генерируют СЛУЧАЙНЫЙ результат, опираясь на корпус данных, на которых были обучены, а не на "модель человеческого социального опыта".
Создание планов и стратегий для управления человеческими процессами на основе таких случайных результатах, ни на секунду не является осознанным выбором AI — это выбор человека, оператора AI.
Можете считать меня аморальным циником, но я не вижу ни одной причины считать генеративный AI чем-то осознанным, требующим соблюдения принципов этики для контроля за результатом.
Напротив, стоит обратить внимание общества на вопрос этичности использования ИНСТРУМЕНТА человеком, не перекладывая ответственность на создателей генеративных моделей.
Пределы контроля AGI и в чём он может состоять