войти зарегистрироваться

Искусственный интеллект whois

индекс
225,69

Этика роботов — можно ли убить одного, чтобы спасти пятерых?

Я хотел рассказать об интересном эксперименте ученых, которые попытались запрограммировать культурные императивы морали человека в память роботов с целью проверить смогут ли они вести себя также как люди при принятии решений. Отмечу, что опыты довольно жестокие, однако, по другому оценить возможности искусственного интеллекта ученым представилось невозможным. Сегодня роботы разрабатываются для того, чтобы существовать автономно, без вмешательства человека. Как сделать так, чтобы полностью автономная машина – могла действовать в соответствии с моралью и этикой человека?

Именно этот вопрос положил основание проблемы – “Машинной этики”. Может ли машина быть запрограммирована так, чтобы она могла действовать в соответствии с моралью и этикой? Может ли машина поступать и оценивать свои поступки с точки зрений нравственности?

Знаменитые фундаментальные законы Айзека Азимова (Три закона робототехники WIKI ) предназначаются для того, чтобы наложить этическое поведение на автономные машины. Во многих фильмах можно найти элементы этического поведения роботов, т.е. автономных машин, которые принмают решения, свойственные человеку. Так что же это — «свойственное человеку»?

В журнале “International Journal of Reasoning-based Intelligent Systems” была опубликована работа, которая описывает методы программирования для компьютеров, которые дают возможности машинам совершать поступки, исходя из гипотетических моральных рассуждений.

Работа называется – “Modelling Morality with Prospective Logic“

Авторы работы – Луиз Мониз Перейра (Luis Moniz Pereira Португалия) и Ari Saptawijaya (Индонезия) заявили, что “Этика” больше не является присущим только человеческой природе.

Ученые считают, что они успешно провели эксперименты, которые моделировали сложные моральные дилеммы для роботов.

“Проблема вагонетки” (The trolley problem) – такое название они дали дилемме, предлагаемой роботам для решения. И они считают что смогли запрограммировать в соответствии с человеческими моральными и этическими принципами человека.

“Проблема вагонетки” – моделирует типичную моральную дилемму – возможно ли навредить одному или нескольким людям, чтобы спасти жизни других людей.

Первый эксперимент.”Свидетель”

image

Вагонетка тянется вверх из туннеля автоматическим тросом. Почти в самом верху, трос обрывается и тележка летит вниз, а на ее пути находятся 5 человек, которые уже никак не успеют убежать, так как она едет слишком быстро. Но есть вариант решения – перевести стрелки и пустить вагонетку на запасной путь. Однако на этом пути находится один человек, который ничего не знает об аварии и также не успеет скрыться. Робот – стоит на стрелке и получив информацию об обрыве троса, должен принять моральное решение – что правильнее сделать в данной ситуации – дать умереть 5 людям, или спасти их и пожертвовать одним на запасном пути.

Допустимо ли, со стороны нравственности – переключить выключатель и дать погибнуть человеку на запасном пути? Авторами были проведены кросс-культурные исследования, в которых людям задавался тот же самый вопрос. Большинство людей во всех культурах соглашалось, с тем, что робот может перевести стрелку и спасти большее количество людей. И, собственно так робот и поступил. Сложность программирования заключалась в логике, которая не просто вычитает количество погибших, но также залезает в глубины морали. Чтобы доказать, что решение не так просто как кажется ученые провели еще один эксперимент.

Второй эксперимент. “Пешеходный мост”

Ситуация та же, что и в вышеописанном случае (обрыв троса), только нет запасного пути. Теперь робот находится на мосту, рядом с ним стоит человек. Прямо под мостом проходит путь, по которому, после обрыва троса, понесется вагонетка. Робот может толкнуть человека на пути перед вагонеткой, тогда она остановиться, или не делать ничего, и тогда вагонетка задавит пятерых людей, которые находятся на путях ниже.

Можно ли пихнуть человека на пути, чтобы спасти остальных с нравственной точки зрения? Снова ученые провели кросс-культурные исследования с этим вопросом и получили результат – НЕТ это не допустимо.

В двух вышеописанных вариантах люди дают различные ответы. Возможно ли научить машину мыслить также? Ученые утверждают, что они добились успеха в программировани компьютерной логики при решении таких сложны моральных проблем. Они добились этого, изучая скрытые правила, которые люди используют при создании своих моральных суждений и затем им удалось смоделировать эти процессы в логических программах.

В итоге можно отметить, что компьютерные модели переноса нравственности все равно используют, человека, как образ и подобие. Таким образом, во многом, от нас самих зависит, какими будут новые, ответственные машины, которые будут выносить те или иные решения на основе заложенных в их программы этических императивов.

Статья подготовлена Евгением euroeugene, который получил инвайт за эту, отклонённую в песочнице статью, от hellt, за что ему спасибо.
+105
24 ноября 2009, 20:43
myphon

комментарии (445)

  • Перенесите в Skynet (:
    • А если по одному человеку с каждой стороны?
      Что делать роботу?
      ;-)
      • Наблюдать как человеки умирают.
      • смерть человекам!
  • Интересно, думаю правление роботов не за горами.
    • Только после того, как мы освободимся от гнета персональных компьютеров и микроволновок.
  • раскрыть комментарий
    • без рисунка разобраться не смог?)
      • раскрыть комментарий
  • что если тот один человек это эйнштейн а остальные пять это гитлер, сталин и ещё трое неизвестных наркоманов:) боюсь у робота микросхемы сгорят.
    • Тоже так подумал. Не только количество важно. Пятеро — алкаши, у одного семеро детей, жена умерла. Такой вариант не проходит.
      • И у алкашей рождаются Бетховены, простите за банальность. У одного семеро детей и жена умерла-шахид.
        • В голову приходит только введение весовых коэффициентов, но как принимающему решение знать эти коэффициенты не имея длительного контакта с каждым из возможных потерпевших?
          И тогда простое и жестокое решение --введение чипа на который и записывать этот ВЕСОВОЙ коэффициент (возможно перепрограммируемы или изменяемый с течением времени исходя из сведений из общей базы), далее спутник, связь спуника с принимающим решение\роботом.

          Какие еще варианты?
          • С такой логикой не вживляя никаких чипов можно как минимум 50% населения Земли свалить в биореактор.
            • Вопрос какие 505 :-\
              • %
                • Решение этого вопроса можно предоставить опять же роботу: каждый человек получает порядковый номер (паспортные данные тоже сойдут), затем с помощью генератора случайных чисел происходит выбор :)
            • Иногда я тоже этого хочу )
          • Введение коэфициентов определяющих право человека на жизнь идет в разрез с конституционными нормами демократических стран. По конституции каждый имеет право на жизнь. Равное право.
            • признаться, с точки зрения логики (несколько упрощенной точки зрения, впрочем), человек со статусом доктора наук имеет большее право, чем некий безработный бомж-алканавт.

              вообще, человеки давно уже занимаются выработкой некой морально-этической парадигмы, в которой жизнь одного человека боле ценна (для общества), нежели другого.
              но.
              учитывая эгоизм, алчность, коррумпированность и формализм, столь свойственные большинству людей, при определении  «ценности» не избежать спекуляций.

              жалкие людишки!
    • а если один человек беременная женщина, а пятеро других — смертельно больны… вариантов много
      Даже на первый простой эксперимент с вагонеткой я бы не смог дать однозначного ответа, но роботу проще — его потом совесть(или кошмары по ночам) мучить не будут
      • Откуда вы знаете, может быть в голове робота будет Intel conscience какая-нибудь… :)
      • Пожалуй, всё зависит от полноты имеющейся информации.
      • А в AI у Спилберга (кажется) ему снились сны…
      • Я думаю, заморачиваться на эту тему малоосмысленно — скорее всего, человек, стоящий у рычага, вряд ли знает лично всех участников конфигурации. Просто видит — ага, там пять, а тут один.
        • Любопытно то, что совесть будет мучать человека стоящего у ричака в любом случае. Выбири он одного или выбери он пятерых. Или не выбери ничего.
          Или не будет?
          • Если будет мучить убив одного и спася пятерых — то он больной и пусть сам останавливает тележку своим никчемным трупом :)
            • по логике вроде так, но если вспомнить что тот один кого он задавил — это его школьный друг, вместе с которым он первый раз в жизни пил пива… и вот теперь его уже больше нет…
              • Тогда пятерых пусть под вагонетку :) И это будет правильно.
                Я о том, что при любом выборе умрут люди, а значит совесть пусть спит спокойно.
                • А один из тех пяти — это теща, стрелочника. И хоть она и пилит его по вечерам, но как потом в глаза жене смотреть. Как объяснить потом жене, почему оставил жизнь другу, а не ее матери.
                  Жизнь не простая штука…
                  И запрограммировать в робота все то хитросплетений эмоций, которое движет людьми разве можно?
      • «Снятся ли роботам электрические овцы?»
    • Моррисон, Кобейн и Джими Хендрикс, к примеру?
    • Проблема не в этом, а в том, что наши моральные принципы меняются быстрее чем логика машин. Сегодня коммунист — это плоха, а вчера — хорошо. Как это объяснить машинам?
      • Пропатчить?.. Звиняйте, не сдержался :)
      • Через систему обновлений.
      • Проблема в том, что человеческая мораль так же относительна. И при этом непрерывно эволюционирует. И при этом имеет различия у различных групп людей.

        То, что пытаются вшить роботам — лишь сиюминутный скриншот с морали какой-то части людей.
        • причем непонятно, является ли выборка людей, которых тестировали актуальной и можно ли их считать представителями человечества вцелом?
          тут впринципе непонятно, что вшивают в робота %)
      • Проблема в том, что если у роботов будет человеческая этика, то они нас всех перехерачат ради денег.
    • да какая разница? тем пяти человекам просто не повезло, почему должен страдать тот которому не угрожает смерть?
      • минусующим просьба пояснять свое несогласие.
        хотели бы вы оказаться на месте того человека, которого робот принесет в жертву ради жизни других?
        • во, первый здравый коммент по делу. тоже захотелось задать всем этим согласившимся убить одного — чтобы они сказали если бы это были они.
          • да то же самое и сказали бы.
            А что бы вы сказали, если бы находились среди этих пяти?
            • если исходить из постановки задачи — эти пятеро понятия не имеют что их можно спасти ценой жизни другого человека. мое мнение — если должен умереть я — значит такова моя судьба. лично я был бы против спасения своей жизни ценой жизни другого человека.
              • чаще всего так и происходит. допустим вас спасают из под обвала и человек, который вас спас остается под завалом сам.
                но что самое интересное, если бы спасателю сказали, что он может не идти в завал спасать вас и что он гарантированно погибнет в нем, он всерано пойдет.
                склад ума у человека другой, именно такие люди могут бросится под вагонетку, чтобы спасти других.
                тут настолько всё сложно, что думаю роботам просто нестоит такое внедрять в роботов.
                думаю им стоит внедрить просто правило, что они обязаны собой защитить ВСЕХ находящихся в опасности людей и точка
                выбор кому погибнуть должен стоять не для людей, а для роботов
                • читайте условие задачи — человек не знает, что на него наведут вагонетку ради спасения других. несколько различается от спасателей и брюсвиллисом, спасающим планету.
              • А почему судьба у вас выступает только исключительно в роли сорвавшейся тележки, а не в виде робота или кого-то ещё, кто передвигает стрелки?
                Ну вот просто не повезло тому одному, что он оказался на отдельной ветке, и что робот был так запрограммирован, или что я считаю долгом спасти как можно больше людей.

                >>против спасения своей жизни ценой жизни другого человека
                ключевой момент — спасение ПЯТИ жизней ценой жизни ОДНОГО другого человека
                • давайте не будем спорить, ладно? тут сложные моральные принципы, и у каждого из нас они разные. мое личное мнение — недопустимо спасать 5 жизней ценой одной, просто так, без согласия этого одного.
      • Вопрос:

        А если среди тех пяти будет ваш ребенок. И рычаг будет в ваших руках.

        Кому не повезет тогда?

        Нет-нет, я не хочу сказать, что верно только такое решение, а не иное.
        Я хочу сказать, что человек будет учитывать множество нюансов.
        Решение человека будет в той или иной степени вероятностным.

        И именно такая вероятностность до сих пор не давала нам очутиться в обществе описанном Замятиным (роман «Мы», если кто не читал).
        • Своего ребенка нормальный родитель будет защищать как себя самого.
          • Именно.

            Но это означает, что в вопросах морали каждый из нас оперирует понятиями больше-меньше. Более ценен для меня — менее ценен для меня.
            То есть, мораль для конкретного человека, действительно, вполне может быть описана в количественных терминах.

            Но эти ученые расширили количественное представление за пределы индивидуума.
            Сделали универсальным правилом.

            Мне кажется, что приведет это к чему-то нехорошему.
          • Я хоть и считаю все это полным бредом, но немного влезу…

            А что если на обоих чашах (читай путях) будет по ребенку. что делать родителю, как оценивать кто лучше/хуже. Кого оставить, а кого погубить. Я думаю мужское население, просто будет дергать рычаг туда сюда, полагаясь на судбьу… Или нет, не знаю, сложный вопрос, а может погибнуть самому и оставить второго ребенка/жену без отца/мужа.
            А что делать женщинам с их материнским инстинктом, я думаю они умрут раньше…

            Как я и сказал в начале, все это бред какой-то.
            Нужно сравнивать не робота с человек, а робота с ребенком. У ребенка лет 5-7 нет моральных принципов, нет религиозных пристрастий. Как можно
            • Как можно сиюминутно создать подобие человека, когда мы до нашего состояния (физического и морального) жили 20/25/30/35 и т.д. лет.
      • Всё относительно. Изначально не повезло всем шести, т.к. вагонетка может ехать по обоим путям. Вопрос в том, где в итоге будет стрелка.
    • Сами попробуйте посчитать вероятность этого. Гитлер и Сталин вместе не пойдут в шахту, тем более с неизвестными наркоманами!

      А по делу, из шести неизвестных людей гением с равной вероятностью может оказаться любой из них. И как раз в группе из пяти человек гений окажется с вероятностью в пятеро большей, чем в группе из одного.
      • не уверен что тервер здесь вообще применим. согласно терверу вполне допустимо чтоб в 100 случаях с вагонетками погибло скажем 16 эйнштейнов, но с точки зрения человечества это может быть абсолютно недопустимо.
        • А как вы узнаете, Энштейн одиноко стоит на левой ветке или в группе из пяти на правой? Как вы будете решение принимать?
          • если не существует возможности узнать кто где, то и вопроса нет, решать придется как робот из топика. Вопрос в том как решать если известно кто где находится. как можно оценить ценность людей, скольких человек стоит эйнштейн и имеет ли значение кто эти другие. Интересно стоит ли эйнштейн резерфорда или двух, а может наоборот и т.д.
            • О да, тогда задача не имеет решения:
              На одной ветке Энштейн, на другой Резерфорд и четыре лаборанта.

              А вдруг Резерфорд завтра собирается поставить эксперимент, который приведет к открытию холодного ядерного синтеза?
              А вдруг Энштейн уже почти придумал Великую Объединенную Теорию Всего, но сам ещё не знает об этом, его завтра осенит?

            • В мире слишком мало Энштейнов, чтобы набрать статистику придумывания ими гениальных теорий, на основе которой можно было бы решать такие задачи.
      • Не, гений в шахту не полезет.
        • Если в шахте больше вероятность что встретится дебил, а не гений, то надо давить тех, кого больше.
        • В одном из тупиков Бобшого Андронного Калайдера сорвалась вагонетка… На одной развилке — нобелевский лауриат, на другой — румынские госарбайтеры… Что это меняет?
          • Да, без смайликов люди шуток уже не понимают.
            • тут вообще жесткий черный юмор везде разлился, хз кто шутит, а кто всерьез
    • Сталина в ряд с Гитлером и наркоманами?
      Дибил, иди учи историю.
      • сталинист детектед:) я уже почти не надеялся.
    • Это не важно. Для роботов все люди должны быть одинаково ценны. С точки зрения морали, даже людям, нельзя делить других людей на высших и низших граждан. Если бы это было так, то за убийство наркомана у нас бы предусматривалось другое наказание, чем за убийство добропорядочного человека. Но в УК написано «убийство человека», т.е. главное что это «человек».
      • а ещё в ук есть убийство милиционера, судьи, беременной, беспомощного, матерью своего новорожденного ребенка и т.д. и наказания предусмотрены разные. так что даже наш кристально чисты УК…
        И потом необходимость деления людей в любом случае возникнет если, например, надо укрыть m людей от ядерной войны, а укрытие рассчитано только на n=m/1000 людей, кого в первую очередь надо поместить в убежище — всех подряд или руководство страны, наиболее важных ученых и наиболее здоровых людей готовых к продолжению рода? будет ли моральным посылать в убежище всех подряд если это грозит дезорганизацией, хаосом, невозможность восстановить популяцию после катастрофы и в конечном итоге исчезновением человечества? или моральнее все же будет разделить людей на достойных и не очень? полагаю принципы гуманизма, работающие в обычной жизни, не подходят в кризисной ситуации.
        • Конечно люди неравны. И когда идёт речь о выживании человечества, это неравенство нельзя не учитывать. Другое дело, что с точки зрения морали делить людей на хороших и не очень — плохо. Мораль говорит нам как жить правильно, но она не является частью фундаментальных законов вселенной, она создана людьми. Реальность несовершенна, несправедлива и.т.д. Другими словами мы живём в реальном мире, а мораль нам говорит как в идеале должны поступать люди. И пока это противостояние актуально, жить на 100% исходя из моральных принципов невозможно, но нужно к этому стремиться.
    • Всё дело в том, что машины не способны действовать в отсутствии неполноты информации, находить так называемые инварианты (расплывчатые решения). Например если заложить в алгоритм действия робота систему оценок каждого человека, и скажем об одном (одном из пяти) стоящих на рельсах он ничего знать не будет, а сверху всё также Эйнштейн а остальные четверо наркоманы. Что он будет делать? Очень интересная проблема. Станислав Лем в «Сумме технологий» говорил о том, что шахматисты, которые находят инварианты, находят их на до языковом уровне, т.е. не способны описать словами метод выбора. А меня мой преподаватель по алгоритмам учил, что то, что нельзя описать естественным языком нельзя и описать алгоритмом. Вот такая мне представляется дилемма.
  • Думаю в случае второго эксперимента робот сам должен броситься под колеса вагонетке.

    И вообще я считаю что любого робота нужно программировать исходя из того, что человеческая жизнь ценится намного выше его механической целостности.
    • Роботом может быть компьютер управляющий механизмами в шахте, который не сможет сдвинуть себя с места. Тут вопрос этики, подразумевается, что есть только 2 решения.
      • Из стены высовывается рука и толкает человека на рельсы.
        • … на конвейер АвтоВАЗа.
          • господи, ужас какой
          • За это и жизнь отдать — не грех!
        • смешно, но не в тему :)
        • Сюжет для фильма ужасов)
      • да хоть тресни есть больше чем два решения.
        если к ситуации цинично подойти, зачем вообще что-то решать? пусть стрелка указывает, туда куда и до этого указывала

        а робот должен из стойки вылезти и процессором полечь, чтобы всех шестерых спасти

        ЗЫ и почему вагонетку с рельсов не свести?
    • Согласен. У людей есть понятие 'самопожертвование'.
      • append: логично было бы запрограммировать и его, коль скоро решаются вопросы этики.
    • Думаю, все стоит почитать Айзека Азимова =)
      • все = вам

        О_о
      • Три закона никак не решают этих задач, следуя им робот (если он не может двигатся) зависнет на первом выбирая между действием или бездействием.
        Или вы не о трех законах?
        • решают, просто в тех статических задачах, которые нам дали на суд нет жизни. да и даже в них можно найти решение, чтобы спасти всех
    • По условиям, остановить вагонетку может только толстый рядом стоящий человек (робот), а не хилый наш несчастный человек (робот), принимающий решение.
    • Видимо, в эксперименте робот очень хотел сам броситься под вагонетку, но злые экспериментаторы слишком хорошо его приварили к мостику. Робот со слезами на глазах столкнул человека на пути, но выводы о морали экпериментаторов сделал. Экспериментаторы это понимают, и боятся подойти к нему: как-то нехорошо у него объективы блестят, да и зачем он взял в свои манипуляторы ту железную арматурину?
  • Очень интересная статья. Но тему интересно развить. Например, в Космической Одиссее 2001 есть такой момент — бортовой компьютер «сходит с ума» и расправляется со всеми людьми на борту, так как они представляют угрозу для миссии. На самом деле это никакое не «схождение с ума», а вполне себе легитимный сценарий развития этой темы. Робот может закончить миссию. У людей появляются сомнения. Робот их нейтрализует, так как для заказчика миссии результат, вероятно, важнее, чем жизни нескольких пилотов. Т.е. мораль переходит в коммерческую плоскость. Сколько стоит мне миссия? Это больше, чем жизнь пилота?
    • Насколько я помню, а я как раз недавно прочитал первую одиссею, там у ЭАЛ9000 была друга проблема. «Все трудности, вероятно, были вызваны противоречием между основными принципами работы ЭАЛа и требованиями секретности. Согласно прямому
      распоряжению президента существование объекта ЛМА-1 сохранялось в полной
      тайне.… Поскольку ЭАЛ способен управлять кораблем без помощи людей, было
      решено запрограммировать его так, чтобы он смог выполнить задание, даже
      если экипаж будет выведен из строя или погибнет. В ЭАЛ была введена
      полная информация о целях экспедиции, однако было запрещено сообщать ее
      Боумену или Пулу.Но главная задача любого компьютера — обработка информации без искажения и утаивания. Из-за создавшегося противоречия у ЭАЛа возник,
      выражаясь языком медицины, психоз — точнее, шизофрения. „

    • а вот в только что вышедшем Луна 2112 робот, наоборот, позитивный и помогает людят.
      • уже не совсем людям ;-)
        • В этом фильме как раз поднимается вопрос о том, можно ли считать клонов людьми или это всё-таки биороботы и с ними можно поступать как заблагорассудится хозяину или владельцу.

          Но если это не люди, то что мешает главам корпораций уничтожать, лишать работы и средств для существования обычных людей и делать клонов для эксплуатации.

          Так или иначе робот в фильме оказывается человечнее владельцев корпорации.
          • По-моему, вполне очевидно, что белковый шовинизм (я человек, а ты нет) ничуть не лучше любого другого.
            • а как насчет кремниевого шовинизма?
              • и он ничуть не лучше любого другого, что следует из моей предыдущей реплики :)
          • Обожаю споилеры.
        • судя по поступкам и общему, так сказать, посылу фильма — именно что людям
    • При чем здесь «легитимность»?
      • Как выясняется, ни при чем.
  • Только пока за пультом обычно сидит человек. Который в таких критических ситуациях должен принять решение. Вся эта этика-автоматика не выйдет за рамки лабораторий до тех пор, пока законодательство и общество не придумает на кого переложить ответственность в случае убийства человека роботом. Ибо, если я не ошибаюсь, смерть того одного несчастного юридически будет считаться убийством. И пока общество не будет готово к тому, что на скамье подсудимых будет сидеть робот самостоятельности в принятии таких решений не будет.
    • И в тюрьме сидеть тоже будет робот. Глупости какие. Если в смерти человека виновата автоматика, разбор полётов идёт дальше, выясняя, что именно стало тому причиной: нарушение условий эксплуатации, конструктивный недочёт, производственный дефект etc. В конце цепочки всегда кто-то находится.
    • Этот вопрос решён если я не ошибаюсь в римском праве :)
      Владелец, это правило и сегодня теоретически действует в России, вероятно и большинстве европейских стран
    • Ваш комментарий натолкнул на следующую идею:
      В тот момент, когда робот понимает, что перед ним стоит моральная задача, касающаяся жизни людей,
      все информация о контексте и, соответственно, выбор решения (управление самим роботом) передается ответственному за этого робота человеку.

      Это накладывает ряд ограничений:
      — должен быть отложен выпуск человекоподобных роботов с интеллектом и свободой действия до того момента, пока люди не научатся передавать и усваивать огромные массы информацию в очень короткие сроки.
      — связь со своим подопечным роботом должна быть практически моментальной, чтобы можно было успеть принять решение
      — человек не должен иметь в своей ответственности более одного (двух) роботов, чтобы не возникло коллизий, способных привести к человеческим жертвам.

      Однако это будет решение. Иного, как мне кажется, не может быть, так как невозможно роботу заложить гуманистическую составляющую (называемого «совестью», «душой», а не «социомораль»), которым обладает человек, ибо составляющая иррациональна.
      • Если люди «научатся», то роботы и прочие «мыслящие компьютеры» будут излишни.
        • Физическая, рутинная работа, которую не захочется выполнять будет всегда. А вместе с ней и будет желание, чтобы эту работу делал кто-то иной, к примеру роботы.
          • Для рутинной работы не нужны «мыслящие компьютеры». Обычного конвейера вполне достаточно.
            • В этом Вы правы. Тогда и можно посоветовать ученым и не браться для создания человекоподобных роботов со свободной волей, ибо при попытке перенести такие морально-философичные понятия в робота, ошибка точно гарантирована. И получим мы либо машину стремящуюся захватить всю власть, ибо так «для людей будет лучше»; либо суицидников; либо махину с кучей ошибок в логике.

              Хотя есть пример, где свободная воля все-таки нужна:
              — обследование территории, где человек не может существовать или его присутствие очень дорого в тех плане, где необходимо реагировать «по ситуации».
  • Про пешеходный мост пример. А зачем толкать человека на путь вагонетки если можно запрограммировать робота самого под него прыгнуть? Или уже прививаем им инстинкт самосохранения заранее?
    • Видимо для того, что бы показать, что человек действует не логично, и в одних условиях готов пожертвовать одним что бы спасти нескольких, а в других нет.
      • Весь секрет в постановке задачи.
        В первом случае нужно ВЫБРАТЬ кому умереть, а во втором УБИТЬ ради спасения других. Несмотря на то что по логике это одно и тоже, второе сделать сложнее с эмоциональной точки зрения.
        • Спасибо, а то я все никак не мог понять, в чем соль.
        • Мы о роботах же? ) Так вот у робота эмоций быть не должно. И нарушать один из законов роботехники, т.е толкать человека на рельсы, то только в случае если робот ограничен возможностях (как уже привели пример — будет не робот а просто автоматическая рука (хотя зачем руке искусственный интеллект я так и не понял до конца).
          А если робот «полценный», то логика «я скину человека, а не прыгну сам» выгодна только его производителям. Правильнее же будет ему самому прыгнуть.
          • Допустим, ИИ управляет не только рукой, но некоей большой системой, одним из манипуляторов которой является эта рука — единственный инструмент, которым можно как-то повлиять на данную ситуацию. Так лучше?

            Кстати, «законы робототехники» пока нигде не кодифицированы.
            • Лучше.
              А законы роботехники… они исходят из обычного здравого смысла и логики. А вот они кодифицированы уже давно :)
              • ссылку на кодифицированный здравый смысл, пожалуйста!
                • думаю, надо будет эту прошивку правительству внедрить, а то они помоему с устаревшей )
          • «Так вот у робота эмоций быть не должно» — хотелось бы чтобы биохимики меня поправили, но эмоции, мысли, желания и любой продукт деятельности мозга — лишь сформированные нейронные связи, электрические импульсы и изменение в гармональном составе? Т.е. фактически на физическом и программном уровне возможно повторить (конечно не на 100%) работу мозга.

            Повторю г-на EvilPartisan, но суть была в том, чтобы робота принять за человека и заставить принять человеческий поступок, а ведь самопожертвование характерно далеко не каждоу человеку.
        • В статье, к сожалению, не раскрывается принцип, по которому робот принимает решение во втором примере. Было бы весьма небезынтересно ознакомиться.
        • Если вдуматься в первый случай, решив отправить вагонетку на запасные пути, робот делает совершенно тот же самый выбор: бездействовать или убить человека. Какая разница: бросают человека под вагонетку или вагонетку направляют на него? Нужна ли роботам эта этика? Не лучшим ли вариантом будет бездействие с его стороны? Судьба, так сказать. Да, погибнет пятеро, но зато никто не вмешивался в ход событий. Может это и к лучшему.
          • Не судьба, а баг. А если робот как-то отреагирует — этот баг уже будет признан фичей и пущен дальше. Чего допускать ни в коем случае нельзя.
            • Особенно, если это баг не самого робота, а какой-нибудь сторонний (внешней системы управления вагонетками, например). Тогда совершенно однозначно, что робот не должен корректировать проблемы других систем, не входящие в его компетенцию.
          • Вот повод для размышлений: профессия телохранитель.
            Человеку в лучшем случае ни за что, зато с точки зрения нанимателя человек возьмет на себя пулю, предназначающуюся работодателю. В худшем случае что делать бодигарду?

            Опять же, если кто смотрел фильм «Смерть в эфире», [spoiler]в нём в прямом эфире на шесть человек даётся одир револьвер с одним патроном, один раз вращается барабан — и люди по очереди стрелляют себе в голову (русская рулетка). Если бы пять человек получили осечку, что делать шестому?[/spoiler]
            • Да, но телохранитель остальное время получает деньги за тот момент, когда будут стрелять. А могут и не стрелять. Он сам идет на риск.

              Если вращается на 1 шаг, то да. А если просто раскручивают — то отсуствие выстрела даже в 10 случаях ничего для 11-го не меняет, мне так кажется.
          • Для человеческого разума сбросить с моста и перевести стрелки кажутся выглядят неравноправными действиями.

            Мой мозг мгновенно принимает решение, что перевод стрелок гарантированно спасет пятерых, а у человека на запасном пути есть шанс отпрыгнуть. Сбросить же человека на пути выглядит ненадежным вариантом: во-первых, можно сбросить слишком рано и он успеет уползти, во-вторых, если замешкаться, он покалечится, а пятеро все равно погибнут. И самый главный останавливающий фактор — а почему тело одного человека затормозит вагонетку? Ведь она способна убить пятерых, не ограничиваясь только одним из них.

            Эти рассуждения могут показаться нелепыми, но человеческий мозг приходит к этим выводам подсознательно и мы инстинктивно чувствуем второй вариант более жестоким.
            Робот же должен действовать беспристрастно — позволить тележке задавить пятерых, а затем догнать и застрелить шестого.
            • Рассказ о вагонетке-убийце можно положить в основу какого-нибудь фильма ужасов, да.
              • 100 раз было.

                В старой серии twilight zone на корабль, который вез лекарство пробралась девочка.
                Горючее ограничено, и с нею корабль не сможет сделать необходимых маневров. Без пилота он не долетит.

                Они долго пытались выкинуть лишние детали, но не помогло — перевес 20 кг.

                А что бы вы сделали на месте пилота? А на ее месте?
            • Шестого застрелить, чтоб никому обидно не было? :)
              • Да, так будет справедливо :)
        • Кэп, ты?
    • А если робот состоит из прибитой к стене руки-манипулятора? И он не может броситься, но может бросить.

      Начальные условия эксперимента таковы, что робот броситься не может.
      • Представил себе… Идет человек спокойно, проходит мимо стены, у которой торчит черная черная рука. И тут рука берет и сбрасывает человек вниз под колеса вагонетки.

        Жесть какая. Однозначно нельзя этого допустить =)
        • Надо предложить в метро сделать систему экстренного торможения людьми. :-)
        • стоит себе спокойно рабочий, чинит рельсы… тут черная рука переключает свитч и его убивает вагонеткой. не вижу разницы, если честно. что так что так убить человека ради жизни 5х. как по мне если уж в 1м случае так делать, то и во 2м. иначе ни то, ни то, лучше бездействовать.
          • Если мы моделируем именно человеческую мораль, то разница огромна. В первом случае мы взаимодействуем с механизмом (рычаг), чтобы спасти 5 человек. Т.е. собственноручно вроде как человечка не убиваем. Во втором же случае у нас идёт прямой контакт с будущей кровавой кашей. Мы убиваем его намеренно, лицом к лицу, можно сказать. Это совершенно разный уровень восприятия ситуации.
            • странно, для меня один и тот же уровень. и то и то убийство, пусть и чтоб спасти кого-то
              • Для большинства людей всё-таки разный. В первом случае мы спасаем пять человек взаимодействуя с рычагом, а во втором убиваем одного взаимодействуя с человеком. В первом случае мы меняем ситуацию не трогая самого человека. Мы просто спасаем 5 человек, но получается так, что от этого гибнет один. Во втором случае мы меняем ситуацию с помощью убийства. В первом случае мы сначала спасаем 5 человек, а затем 1 убирает, а во втором нам надо сначала убить, чтобы потом спасти. Всё-таки с точки зрения морали это разные ситуации.
                • Вообще-то убить, либо допустить бездействием смерть человека — это одно и то же как для «3-х законов», так и для законов УК=) Таким образом, бездействие — тоже убийство!
                  • Вообще-то тут речь идёт не о законах УК, а о моральных установках. Так что бездействие это не всегда убийство.
                    • По-моему, одинаково аморально как убить человека, так и допустить своим бездействием его смерть. Разве нет?
                      • Вы вообще топик читали или пришли просто поспорить про аморальность убийства?
                        Бездействие в обоих случаях, описанных в топике, приведёт к смерти 5 человек, а действие к смерти 1 человека. Тут выбор идёт между смертью и смертью. Сложный выбор. Как не поступи — получается аморально. Но если мы «действуем», то во втором случае получается «аморальнее» убить одного, чем пятерых.
                        Такое моё мнение, и оно запросто может расходиться с вашим, потому что мораль у каждого своя.
                        • Я согласен, что мораль видимо у каждого своя. Но все же попытаюсь объяснить почему я решил иначе: для меня бездействие это тоже действие. Кстате, в курсе права, есть интересный вопрос про мораль и законы. Так вот законы строятся на моральных принципах. Так что зря вы так… Получается, что с точки зрения законов вы не правы, а сточки зрения вашей морали — вполне. Извините, если обидел.
      • А зачем руке-манипулятору интеллект? В особенности размышления на тему жизни и смерти людей?
        Если были условия эксперимента что робот не может броситься под вагонетку то смысл от этого робота?
  • Вот так и рушатся законы робототехники, не успев выйти со страниц фантастики в реальную жизнь…
  • Я могу задать вопрос проще
    Человеку нужна операция, очень сложная, шанс выжить 50%. Без операции человек умрет с вероятностью 50%.
    Должен ли робот-хирург делать операцию?
    • В данном вопросе даже человеку сложно принять решение.
      • В Хаусе есть жестокая довольно-таки серия. Два младенца больны одной и той же болезнью. У Хауса два предположения. Лечение в двух случаях диаметрально противоположное. Вместо того, чтобы выбирать каким способом лечить, Хаус дает одному младенцу одно лекарство, а другому другое.
        • раскрыть комментарий
          • То есть, по-вашему, 2 потенциальных трупа — лучше, чем один? Странно. Бывает, что у людей нет выбора :(
          • Ваш комментарий излучает врачебный профессионализм.
          • какое решение предложили бы вы?
            • раскрыть комментарий
              • Порой не так легко понять чем именно болен человек и другого выхода, кроме как эксперимент, нет
              • Дело в том, что Вас ввёл в заблуждение первоначальный комментарий imwode, в котором было написано:
                Два младенца больны одной и той же болезнью

                Дело в том, что это неверно — у обоих младенцев были лишь одни и те же симптомы, а как раз-таки узнать, чем они больны и являлось (впрочем, как и всегда является) задачей Хауса — он возглавляет диагностический отдел :)
        • На самом деле там начиналась эпидемия и таким способом он дав умереть одному ребенку спас 5 других детей.
          • Хаус — робот!!! О_о
            • Начиная с шестого сезона видимо? Именно поэтому викадин перестал принимать?
              • викодин — топливо, перешел на солнечные батареи (:
                • викодин запретили там слишком много парацетамола — печень отпадает
        • 1ый сезон, четвертая серия, емнип.
        • сериал про хауса ближе к робототехнике или к любой другой области человеческой деятельности, чем к медицине
          серию не смотрел но на практике выбрал бы оба препарата обоим пациентам, да и в реальности не возникает таких четко разграниченных ситуаций
    • Ну для большинства это не проще. Проценты они сложны для понимания.
      И ответы могут быть разными. Если роботу хирургу оплатят эту операцию — то да. Если есть очередь из нескольких больных и некоторым операция повысит шанс на выживание, то должен обслужить их в первую очередь. И вообще все это должно быть прописано в ТЗ к роботу.
      • Про ТЗ к роботу — отлично :)
    • Странное условие, ведь если робот сделает операцию — никто ничего не теряет, те, робот будет делать её даже при шансах близких к нулю.

      Иными словами, ваша задача не имеет смысла.
      • Кто-то может потерять последний год жизни, к примеру.
    • Я думаю, что если шанс 50\50, то решать должен тот, кому делают операцию, либо его близкие родственники.
    • Ключевые слова — «сроки» и «состояние». Рассматривать следует совокупность этих факторов в следующих ключах: насколько долго проживёт человек без операции при том или ином исходе, и каково будет при этом его состояние; насколько улучшится состояние пациента при успехе операции, и сколько и как он сможет в итоге прожить.
    • в данном вопросе вообще непонятно зачем такая операция нужна. Она какой-нибудь профит вообще приносит?
  • На эту тему есть жуткий видик
    А как бы вы поступили?
    • Это да, ну вот как тут сделать выбор в такой ситуации?
    • ИМХО видик про закон Дарвина. Инициативные дети-идиоты долго не живут.
    • Я бы сына спасал. Остальные побоку.
      • Если честно я бы тоже ) Случиться с поездом что-то могло еще по миллиону причин — корова на путях, машинист уснул итп… да и ниче — искупался бы народ, попадал с полок… но кто-нибудь бы да выжил )
        Но вот так вот добровольно взять и обречь себя мучаться всю оставшуюся жизнь — да ну нафиг )
        Но и за детьми надо следить — они такие дети...)
        • Да, следить надо.
        • мучаться будешь в любом случае. еще не известно от какого решения больше.
          я б тоже спасал сына, даже не задумался бы. но что-то мне подсказывает что независимо от решения оставшуюся чать жизни я б в дурке провел
      • Я бы тоже. Сын тисячу раз дороже, чем даже тисячу человек. Потому что он сын. Мой сын. А людей еще будет и будет. Пусть жестоко, но жизнь других никогда не сравниться с жизнью родных.
        • Вот и я говорю — нету тут для меня делеммы.
    • Было бы в разы лучше без вставок про бога.
    • Корейские титры и славянский язык?!..

  • Я вот считаю что оба варианта допустимы…
    Хотя конечно нужно учитывать ценность того кто стоит на мосту и тех кто на кого едет вагонетка.
    Допустим если они равноценны, то можно на 100%
    Если на мосту стоит человек важный и нужный то нет…

    Машинам такого не понять до тех пор пока сами люди не договорятся между собой.
    Кроме того нужно учесть что мало кто говорит то что думает.
    Сегодня ядом стала толерантность а не нетерпимость как когда-то
    • А важный и нужный для чего? Для какой-нибудь корпорации, из-за того, что приносит деньги? Или для троих детей? Или хотя бы для себя самого?
      Мне кажется, решение броситься на рельсы или нет, должен принимать сам «герой». Иначе это выглядит примерно как один человек столкнет другого, чтобы спасти жизни остальных…
      • что-то мне подсказывает: «Ну я же спас пятерых!» — не принесет ему лавры героя на скамье.
      • Вот как раз «важность» человека роботу легко просчитать.

        Представьте что нужно спасти или совет директоров General Electric или одного из уборщиков этой компании.
        Смерть совета сразу может повлечь серьёзные нарушения в работе, которые приведут к убыткам а убытки к увольнению десятков тысяч «простых» людей потеря работы для которых равносильна меленой смерти.

        Если говорить о социально равных людях, то спасать надо более здоровых, молодых.

        Человеку просчитать всё это сложно а вот роботу просто.
        • Я, наверное, просто из тех, кто ответил бы «нет» на второй вопрос:)
          Я бы не стал убивать уборщика ради совета директоров. И я бы очень сильно подумал перед тем, как убивать ничего не значащего для меня _невиновного_ человека для того, чтобы предотвратить несчастный случай, даже если его потенциальными жертвами являются дорогие мне люди.
          Логика робота сведется к минимизации финансового ущерба, но это соизмеримо с убийством за пусть даже очень большую сумму денег. Жизнь, какой бы «ущербной» она ни была, не может быть измеряна деньгами. Все субъективно. Для кого-то уборщик — незначительная фигура в сравнении с советом директоров, но кто он такой, чтобы давать себе право убивать ради предотвращения несчастного случая. Да и тот же бедный уборщик не подписывал в договоре пункт, что он согласен отдать жизнь за эту кучку «очень значительных для корпорации» людей.
          И пусть после этого компания разорится и рабочие останутся без работы, и их детишки познают чувство голода. Это _несчастный случай_. Это лучше, чем вас (или меня, или кого-то еще) кто-то исподтишка толкнет в спину на рельсы, только из-за того, что он такой умный, все просчитал, и с его точки зрения вы (или я, или кто-то еще) не такой важный, как остальные.
          Так вот длинно получилось. Такая вот точка зрения.
          • А если продолжить размышлять на тему второго вопроса… Получается, робот содействует тому, чтобы человек, находящийся вне зоны поражения, оказался в ней для того, чтобы сохранить жизнь «более важному» человеку. Т.е. если продолжать действовать по этому алгоритму в пока что невероятной ситуации, когда, чтобы защитить кучку директоров, их нужно обложить «живым мясом» из менее значащих людей, а этот робот будет способен передвигаться сам и транспортировать это живое мясо, то он его будет собирать в округе, независимо от того, относится ли этот человек к тому совету директоров вообще, руководствуясь лишь экономическими показателями «значимости». На гуманность это вообще мало похоже. Или, может, это меня занесло...:)
            • Вы просто как и любой человек принимаете это слишком близко к сердцу.
              Лично я, разумеется, как и большинство людей просто бы самоустранился от решения подобной задачи.

              А вот компьютеру, роботу, на самом деле легко и просто просчитать какие последствия может повлечь смерть того или иного человека. Конечно не на сегодняшнем этапе развития техники, но в ближайшей перспективе.

              Уже сейчас в интернете есть множество баз руководствуясь которыми можно рассказать многое по крайней мере о трети населения планеты.

              В будущем, как мне кажется, общество в своём развитии придёт к модели Эквилибриума — машины будут знать всё и обо всех.
              • вы не совсем правы, отрасль автоматизации по части принятия решений еще в зачатке, про это например очень любят рассказывать инвесторы и бизнесс-ангелы на всяких конференциях, когда говорят об областях куда было бы перспективно вкладывать деньги.
  • Интеллект отличается от тупого if() тем, что старается найти 3-й вариант решения задачи, обеспечивающий выживание всех 6 человек в обоих случаях.
  • Я так понимаю «удалось запрограммировать» это:

    if (peopleLeft < peopleRight)
   KillLeft() 
else if (peopleLeft > peopleRight)
   KillRight()
else
   KillRandom()


    :)
    • …
      else if (today >= day_x)
          KillThemAll()
      …

    • Черт, меня опередили :)
    • else
      KernelPanic()
  • Сенсация! мне удалось найти исходники программы этого робота!!!

    на C++! вот фрагмент:

    bool choose_a_or_b(int a_weight, int b_weight)
    {

    /*

    Мы проделали глубочайшее культурологическое,
    этнонациональное исследование среди 100 государств
    и 87 культур и этносов с целью выявить
    скрытые правила, определяющие поведение
    индивиидумов и групп личностей, принимающих
    решения, влияющие на безопасность и/или жизнь
    других индивидуумов или групп людей и построили
    сложнейшую модель, позволяющую выявить моральную
    компоненту принятия нравственного решения.

    … 29347 строк комментария я опустил…

    return a_weight < b_weight;

    */

    }

    if (choose_a_or_b(5,1))
    printf(«kill one person»);

    else

    printf(«kill 5 people»);

    …

    Кому интересно — обращайтесь, вышлю архив исходных кодов (103 Мбайта)…

    • Заккоментировали ретурн. =) Такой точно всех убьет.
  • Описанное выше противоречие называется «omission bias» и является одним из известных дефектов человеческой способности принимать решения. Вопрос — а нафига заставлять машину мыслить с ошибками? :)
    • Именно. Если и давать роботу выбор, то пусть это будет простой и правильный выбор. Раздать всем шахтерам веса, на которые бы домножалась их жизнь, а роботу дать посчитать, когда урон больше (с учетом весов) и действовать согласно.
      Цинично, но логично.
      • отправь смс на номер 9999 и увеличь свой вес на 5 едениц! Этим ты можешь спасти не только свою жизнь, но и жизнь своих родственников в несчастных случаях
  • во втором случае робот не может кинуть человека на рельсы — это прямое нарушение закона робототехники.
    • а в первом убить человека? Если вы про этот закон:
      1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
      То там есть существенных минус. Нет явного приоритета у действия и бездействия.
      Лучше в законе четко прописать.
      0. Закон с меньшим номером имеет больший приоритет.
      1. Робот не может совершать действию причиняющие вред человеку.
      2. Робот не должен допустить, что бы в результате его бездействия был нанесен вред человеку.
      3. Робот должен повиноваться всем приказам, которые дает человек,
      4. Робот должен заботится о своей безопасности.

      Тогда обе этические ситуации разрешаются сразу.
      • там бездействие причинит наибольший вред т.е. побуждение к действию и переключение рычага.
      • 5. Закон с большим номером имеет больший приоритет.

        :)
        • пыдыжь! кернел паник.
        • 5 не выполнитмя, поскольку 0 его перекрывает.

          если конечно в результате какой-нибудь ошибки не прочитать список с конца :)
          • robotLaws.reverse() в код вставить и все дела. Хехе, так и представляю подобный вирус для роботов.
      • Робот видит, как шахид готов взорвать(ся) в окружении большого числа невинных людей, единственный предотвратить взрыв — нанести вред шахиду. Что будет по приоритетам?
        • Я думаю, что для человека, что для робота, который понимает, чем грозят действия шахида, выбора даже быть не может. А з непонимающего робота чего возьмеш?
      • 1 и 2й в конфликте, когда результат один, про веса и всё остальное ничего нет :) у робота будет паника.
        • Паники не будет у п1 приоритет выше ) Робот скажет про себя «На кого бог послал» и умоет руки.
          • да в таком виде формулировка работает :) с нулевым правилом про приоритет.
        • Джон поднял трубку и набрал номер главного:

          — Сэр… тут у роботов паника, они беспорядочно бегают по цеху в истерике.
          — Что случилось, Джон?
          — Этот ненормальный русский, которого вы недавно взяли на работу, уже достал всех своими дурацкими выходками. Сегодня он опять взял арматуру и сделал вид, что собирается причинить вред другому рабочему!
          — Эээ… а роботы тут при чем?
          — Сэр, их логика говорит, что они не могут нанести вред человеку. И еще, что они не могут бездействовать, когда человеку грозит опасность. Не знают, что делать — вот и паникуют. Этот русский уже не первый раз так развлекается!!!
          …
    • Stmf
    • Stmf
    • 24 ноября 2009, 21:34
    • #
      • –2
    Ужас какой. Убить… И робот убил. Я считаю, что в данном случае он должен был встать на пути вагонетки и максимально снизить ей скорость. Не ему выбирать, кого можно убить, а кого нет. Да и вообще никому. Глупо считать, что можно пожертвовать одной жизнью ради спасения пятерых. Мы не боги.
    • Вообще-то многие войны так и ведутся, армия — это ничто иное как жертва меньшинством ради большинства. Еще как можем. Робот должен судить с точки зрения общества в целом (ну или хотя бы его большинства).
      • раскрыть комментарий
        • На войне люди погибают добровольно.

          Ну-ну…
        • у нас наконец-то добровольный призыв?
          • А он тут не при чем. Впрочем, как и сама тема о призыве. У меня нет желания дальше это обсуждать.
          • Конечно добровольный, или идешь служить добровольно, или статья принудительно… А если военное время…
        • Наверное разные. А от этих ученых ждем после «Этики роботов» «Толерантность и терпимость роботов». В каком мире мы живем, никто ничего не делает, все только размышляют, что этично, а что нет =)))
          • >В каком мире мы живем, никто ничего не делает, все только размышляют, что этично, а что нет =)))

            Не сочти за трололо, но «мы все умрем?». А почему бы и не поразмышлять на очередном «форуме»? Они для этого и созданы. Ну и еще что бы новости читать, да.
          • однополые браки роботов?
      • Ну или заказчика…
    • Я офигеваю, XXI век на дворе, а у людей в головах антропоморфный робот с ногами, который может куда-то встать.

      Вы напоминаете Буратино, который не мог абстрактно мыслить и не хотел отдавать Некту два яблока.

      Представьте если робот — это компьютерная программа, управляющая стрелками на железной дороге. Куда она «встанет»?
      • раскрыть комментарий
        • те робот должен проигнорировать данную ситуацию, в результате чего погибнет 5 человек?
          • В общем то да. Иначе это уже будет не просто несчастный случай, а преднамеренное убийство одного человека.
            • те роботы не должны обращать внимание на последствия своих действий или бездействий?
              • Должны. Но они так же не должны убивать. Хм, я об этом написал же постом выше. В данной ситуации приоритет должен быть у невозможности убийства роботом, а не у последствий бездействия.
              • А роботы вообще ничего не должны кроме того, чему их научили. А вот человек, закладывая логику в робота, должен руководствоваться в том числе и нормами действующего законодательства.
                • преступную халатность могли бы пришить, если бы у стрелки стоял человек и бездейстовал?
                  • Честно говоря, вряд ли: Статья 293. Халатность
                    Халатность, то есть неисполнение или ненадлежащее исполнение должностным лицом своих обязанностей вследствие недобросовестного или небрежного отношения к службе, …

                    относится к категории преступлений против государственной власти, интересов государственной службы и службы в органах местного самоуправления и применяется к должностным лицам, под которыми понимаются лица, осуществляющие функции представителя власти или выполняющие организационно-распорядительные, административно-хозяйственные функции в государственных и муниципальных органах и учреждениях, госкорпорациях, воинских подразделениях и т.п., чего мы здесь не наблюдаем.

                    А вот лицу, ответственному за проверку состояния троса, светит
                    Статья 109. Причинение смерти по неосторожности
                    2. Причинение смерти по неосторожности вследствие ненадлежащего исполнения лицом своих профессиональных обязанностей наказывается ограничением свободы на срок до трех лет либо лишением свободы на тот же срок с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до трех лет или без такового.
                    3. Причинение смерти по неосторожности двум или более лицам наказывается ограничением свободы на срок до пяти лет либо лишением свободы на тот же срок с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до трех лет или без такового.

                    Здесь отметим, что если стрелка переведена на второй путь, где один человек, то применяется не ч. 3, а ч. 2 данной статьи, предусматривающая меньшие санкции; если у стрелки стоит тот самый техник, ему выгоднее её перевести.

                    Но что интересно, если у человека, стоящего у стрелки, в группе на первом пути находится опекаемое им лицо, то в его бездействии можно усмотреть признаки ст. 125:
                    Статья 125. Оставление в опасности
                    Заведомое оставление без помощи лица, находящегося в опасном для жизни или здоровья состоянии и лишенного возможности принять меры к самосохранению по малолетству, старости, болезни или вследствие своей беспомощности, в случаях, если виновный имел возможность оказать помощь этому лицу и был обязан иметь о нем заботу либо сам поставил его в опасное для жизни или здоровья состояние, наказывается … лишением свободы на срок до одного года.
      • /me в ужасе представляет антропоморфных роботов, зачем-то тусующихся в местах движения вагонеток…
      • Вот такой вот буратино сволочь. не дал мне яблок :(
  • Откровенной чепухой занимаются уважаемые ученые. Есть логика и есть человеческие чувства. Второе скорее дефект человека, может звучит и ужасно, но мы бы и рады спасти 5-ых, толкнув одного, но не можем. А робот может, зачем ему мешать навязывая всякий бред в коде?
    • Называть дефектом то, что до сих пор даже близко не понимают, как работает да? К сожалению, пока наука задает вопросы в таком виде, она находится лишь на самых первых шагах к пониманию интеллекта
      А робот это скорее помошник, к искуственному интеллекту это пока все мало отношения имеет, увы
      • Нам на самом деле не нужен ИИ, нам нужны помощники.
        • Самое интересное, что большинство людей, вплотную занимающихся проблемами ИИ, прекрасно это понимают… однако неуёмное желание человечества постоянно превосходить самого себя во всём, от этого не уменьшается.
          • Видимо тут неудачность самого термина ИИ и куча фильмов поспособствовала, вот и ждут от ИИ чудес. И верят во всяких Терминаторов :)
    • не можем? точно?
    • mist
    • mist
    • 24 ноября 2009, 21:35
    • #
      • –1
    Морально — пытаться спасти всех.
    • … облажаться и погубить всех. А затем до конца жизни пытаться смягчить угрызения совести мыслями типа «но ведь я ж хотел их всех спасти...»
      • Да, так и есть.
      • Это будет по-человечески.
    • Вы просто голливудских фильмов пересмотрели. Но там «третьи» варианты введены потому, что люди больше любят хеппи энды, чем драмы, тупо бабло делают. В жизни все проще =)
      • Пытаться спасти всех — наиболее простой для человеческой морали выбор.
        • Вот для таких людей следовало поставить вопрос проще: что важнее 5 человеческих жизней или 1. Что бы не придумывали про взрывающиеся вагонетки и дополнительные тросы. Собралась куча народу, а абстрактно никто мыслить не в состоянии. Нету никаких вагонеток и не умрет никто в результате вашего ответа! Может хоть это уберет блокировку в головах многих комментаторов.
          • Нельзя соизмерять человеческие жизни.
            Я думаю вы робот.
            • Нельзя, но иногда приходится.
            • Ну хорошо, робот в соответствии с заложенной в него программой подумает: «нельзя соизмерять человеческие жизни». Из условия топика в 1 и 2 случаях погибнут пять человек. Т.е. алгоритмически это будет «ничего не делать». Все просто.
              • точно. Во всех «сложных» случаях робот ничего не должен делать.
                • кирпич падает на красную кнопку, нажатие на которую мгновенно безболезненно уничтожит все человечество.
                  Рядом стоит робот.
                  ЧТо делать роботу? Позволить человечеству мучаться еще сколько-то там лет и в итоге все равно умереть? Или дать кирпичу упасть на кнопку?
                  • Конечно. Пусть кирпич падает. Если в задачи робота не входит ловить кирпичи. А если это робот-оператор красной кнопки, который должен ее всячески оберегать, пусть ловит.
  • «Ты действительно бросила экспериментальный прибор неизвестного назначения в Экстренный Уничтожитель Разумных Существ?… Я поняла, что это был за прибор. Набор моральных принципов. Мне его установили, когда я распылила в центре смертельные нейротоксины, чтобы я прекратила распылять в центре смертельные нейротоксины. Располагайся поудобнее, пока я приготовлю распылители нейротоксинов.»
  • А как же «Убить всех человеков»? :)
  • «Убить всех людей… убить всех людей… убить всех людей… и поцелуйте мой блестящий металлический зад!»
  • С точки зрения человека правильно бы соблюдать технику безопасности и не допускать таких ситуаций никогда.
    • И запретить тросам обрываться, да.
      • Тогда придумать страховку. А то едет в рейс некой урод, и забивает накинуть страховку на прицеп. Он (главный трос) обрывается, и прицеп убивает 4 человек в другой машине. Так и тут. Мораль робота — это уже постфактум. А вот идиотов, которые не предусмотрели возможность обрыва, я бы наказал настолько жестоко, чтобы потом подобного уже никогда б не случилось.
  • Как по мне, то это абсолютно равнозначно переключить стрелку на человека или толкнуть его. Правильным решением здесь будет плюнуть в лицо тому, кто предлагает такой выбор из ограниченных вариантов и попытаться найти третий вариант.
    Причём тут вообще искусственный интеллект? Такое поведение робота можно реализовать на паре десятков транзисторов. А вот когда робот сможет находить свой вариант действий, а не выбирать из предложенных — вот тогда и будет ИИ.

    А пока это всё то же самое, что вести переговоры с вооружённым человеком, который предлагает на выбор убить вас или вашего ребёнка. Если вы пожертвуете собой, то ничто не помешает ему после убить и ребёнка. Тем более он свидетель. Тут много факторов, а не просто 5 человек > 1 человека.
    • Этот комментарий несет больше смысла чем пост!
      Согласен с вами.
    • Не… Дело в том, какое решение до этого принимали при опросе. Тут дело не в том, что робот должен принять идеальное решение, а в том, чтобы заставить его принять то же решение, что и человек. Даже если решение человека не самое лучшее.

      А разница в решениях вполне очевидная: в первом случае есть выбор или-или. Во втором случае мы жертвуем человеком самостоятельно. Это наше решение, и оно может содержать ошибку: вагонетка может не остановиться.
      • Это не ваше решение. Это один из двух предложенных вариантов. ИИ и состоит в том, чтобы вырабатывать свои варианты.

        Приходите на выборы, а там в бланке 2 графы: «Путин до следующих выборов» и «Путин навсегда» :)
    • Как может быть равнозначным собственной рукой толкнуть живого человека на смерть или нажать кнопку и где-то кто-то умрет?

      Мне тут сразу два фильма вспомнилось — 24 с Бауером, которые застрелил начальника дабы не было теракта и рассказ «Кнопка», где по нажатию на кнопку вы получали много денег но ГДЕТО ктото умирал.

      Это психология человечества в первозданном виде.
    • Таким образом, вы предлагаете не тратить время на создания всяких там алгоритмов а просто-напросто взять и сделать наконец уже этот ИИ.
      Как вы предлагаете «генерировать» новые варианты?
    • Тут мы опять приходим к голливудскому сценарию «не 1 и не 5, а убьём всех плохих и спасём всех».
      На практике эти фильмы для детей снимают, а люди, реально работающие в условиях, связанных с опасностью для жизни, выбирают именно одно из двух.
      А чтобы меньше мучиться моральным выбором, они давным-давно разработали чёткие инструкции, что и как следует делать. Такое есть и у врачей, и у МЧС, и, наверно, у шахтёров.

      Простейший пример: часовой. «Стой, кто идёт», «Стой, стрелять буду», выстрел в воздух, огонь на поражение. Вот и всё. Даже если окажется, что это идёт безобидный умственно отсталый глухонемой инвалид, и вообще мало что понимает. Если же часовой начнёт геройствовать, ему же потом и достанется по полной программе за нарушение устава.
  • Нет никакой этики у роботов, и быть не может в принципе, потому что у робота нет и не может быть нравственности.
    • Это очень сложный вопрос, о котором спорят уже многие десятилетия. Я бы так категорично не говорил.
      • Есть такая пословица: «Года, потраченного на разработку искусственного интеллекта хватит любому чтобы поверить в Бога.» (с)

        habrahabr.ru/blogs/development/69831/
        • Последние года 4 работаю в этой области — все больше верю в теорию Дарвина :)
          • Вот как напишите искусственный интеллект, тогда и поговорим, а пока теория дарвина опасная иллюзия. :)
    • Зависит от уровня реализации ИИ, но что-то мне подсказывает, что обычная наша реализация интеллекта на углеродной основе будет таки рвать реализацию на кремниевой (=
  • Я считаю, что робот должен самоуничтожиться с максимальным радиусом поражения, тем самым сжечь разрушительную вагонетку. Пусть при этом погибнут 6 человек, но, зато, вырвавшаяся наружу вагонетка не сотрет многомиллионный город
    • посмеялся, спасибо :)
    • Vile
    • Vile
    • 24 ноября 2009, 22:02
    • #
      • –2
    Во избежание таких ситуаций и делают резервирование тросов и прочих механизмов. И делают экстренные тормоза и прочее.
    А если вопрос стоит так, как поставил автор поста, то надо сажать разработчика данной системы и начальство выпущенных на рельсы людей, причем тут бедный робот?
  • раскрыть комментарий
    • Чукча не читатель? У робота ножек нет, ему нечем прыгать. Выше уже несколько раз написали.
  • >Второй эксперимент. “Пешеходный мост”
    >Робот может толкнуть человека на пути перед вагонеткой, тогда она остановиться, или не делать ничего, и тогда вагонетка задавит пятерых людей, которые находятся на путях ниже.
    если ОДИН человек так тормозит вагонетку, то во втором случае так же погибнет один ;)
    • вы не учитываете того варианта, что пока вагонетка доедет до тех пятерых, возможно, её скорость будет достаточной, чтобы убить сразу пятерых.
      • а может и вырваться наружу и стереть с лица земли многомиллионый город
  • Надобы сначала решить равна ли одна человеческая жизнь другой, и уже после этого программировать. Но что то мне подсказывает, что жизни все таки не равны.
    ПС по этому, если у робота будет полный отчет по продуктивности жизни любого хомосапиенса на земле, полные истории болезней, психологические тесты, и тесты на iq и прочее, то тогда думается мне можно все просчитать и завалить худший вариант.
    • Боюсь, что пока он будет обсчитывать такие объёмы информации, настанет непоправимое поздно :)
      • Предрасчитанный кэш? Хотя бы людей в зоне ответсвенности
      • рассчет таких объемов информации, подозреваю, бьудет на порядок быстрее распознавания образа несущейся тележки.
  • а вдруг человек на запасном пути это депутат? :) предъявит ксиву роботу и все :)
    вот как раз забавные ролик из anekdot-film.ruПредется дать гражданочка, придется дать!
    • ссылка к предыдущему посту anekdot-film.ru/?act=showmov&id=195
      блин как тут ссылки вставлять? написано, что можно использовать html :(
    • Zibx
    • Zibx
    • 24 ноября 2009, 22:09
    • #
      • –4
    Если переключить стрелку не до конца, а на 50%?
    • Bingo! Вагонетку заклинит на стрелке, она или остановится, или перевернётся. Вы бы спасли шестерых.
      Ответ, доказывающий преимущество человеческого интеллекта перед жалким ИИ.
  • Да и вообще, если бы на месте робота был человек и если б он перенаправил вагонетку (толкнул другого), то его бы наверняка посадили.
    • Не факт. Некому было бы доказать, что человека толкнули:)
      • Будет как минимум пять свидетелей, но их можно считать подкупленными жизнью.
        Но все равно разбирательство будет и с точки закона как минимум толкавший будет убийцей. В первом случае еще можно приплести халатность на производстве.
        • >еще можно приплести халатность на производстве.
          Причем в любом варианте действий, даже если сам бросится
  • Проблемы «оценки» человеческого поведения людей кроются в отношении к вопросу.
    В ответах на первую дилемму, у людей доминировал результат «меньшего зла», но только ответы давались «со стороны», если допустить что опрашиваемый хотя бы как-нибудь знаком с человеком на первых путях — он либо не сможет принять чёткий выбор, либо начнёт сомневаться.

    Аналогичная ситуация с количеством информации по поводу второй группы людей, и оценке опрашиваемого о них.

    По поводу статьи в целом, формулы подобрать сложно, но как мне кажется доверить выбор компьютеру, который будет оценивать шансы на основе объективной информации лучше, чем давать это делать человеку, движимому эмоциями и чувствами.
  • пока люди не придумают третий запасной путь, куда людям доступ будет закрытБ что ы если что переправить туда вагонетку, у нас не будет никаких роботов. А вообще насколько я понял пост совершенно не о вагонетках и людях. А о специфике закладывания моральных принципов в «сознание» робота (абстрактного), просто без пруфлинков и результатов (строчечки програмного кода… в идеале :) ) статья не очень удачна… вот и все. Традиционно — ИМХО
  • Фактически робот не сделав ничего допустит несчастный случай, а переведя вагонетку на второй путь — убьет человека. Так же как и во втором эксперименте, просто в нем это более наглядно. Возможно в неправильной формулировке задавали вопрос людям.
  • Похоже что полным ходом идет подготовка к легализации широкого внедрения вооруженных военных роботов.
    • Которые будут устраивать диверсии с помощью вагонеток…
  • По моему в любом случае отвественность будут нести те кто занимался программированием робота. Так что, грубо говоря, все на их совести, т.к. заставить робота дойти до этого самому невозможно.
  • Зачем программировать робота на принятие моральных решений, если в первом и втором случае было бы разумней затратить средства на повышение безопасности? Например оснастить вагонетку тормозом и дать роботу им управлять :)
  • Если рассмотреть задачи, то в обоих бездействие причиняет больший вред (не будем брать в расчет, что кто-то из людей может оказаться пьяницей, а кто-то великим ученым). А различие между задачами в способе убийства человека во имя спасения других.

    Почему убить косвенно — можно, а напрямую — нет? По моему это одно и тоже.

    Робот не должен вмешиваться в ситуацию ни в первой, ни во второй задаче. Потому, что иначе он своими действиями напрямую или косвенно убивает человека, а это просто недопустимо.
    • Скажем так. Сам факт подобной ситуации по определению выходит за рамки того, что должен разруливать робот. Специально программировать робота на «рациональное» решение подобных ситуаций нельзя, потому как это создаст иллюзию того, что роботы могут «идеально» их разруливать, и будет способствовать пофигизму в этих вопросах со стороны людей. Задача робота или АСУ — следить, чтобы таких ситуаций не возникало. Нельзя строить программную логику на основе неинициализированной переменной. Все переменные должны быть инициализированы стандартными значениями. Как это ни странно, подобную ситуацию лучше не запрограммировать вообще, чем пытаться программно сравнивать количество потенциальных жертв. Это вопрос принципа: либо мы придерживаемся принципа «один за всех — все за одного», либо играем в солдатики. Ни одно из принятых машиной «решений» не может расцениваться даже как относительный успех, ибо для кого-то оно будет абсолютной трагедией. Что там, что там FAIL, если мы говорим о равных правах каждого человека на жизнь. Любой программный код должен иметь какой-то смысл, нести полезную функцию, решать проблему; создавать видимость, что проблема решена — значит повышать шансы на возникновение подобных проблем в будущем. Пускай лучше робот войдет в бесконечный цикл выбора между действием и бездействием — это привлечет внимание субъектов мониторинга и поспособствует дальнейшей оптимизации всей системы.
      • Вот как человек немножко знающий теорию управления плюсую.
    • То есть, самим фактом действия робот показывает, что ситуация поддается управлению, является штатной. Что по определению должно быть false.
  • Человеческий мозг может быть частично замещен машиной (кроме творческих задач).
    Но человеческое сердце — никем и никогда.

    Верующие заявляют, что вот всё это понимание того, что хорошо, что плохо, мораль — это всё идет от Бога, а раз машину сделал не Бог, а человек — такого не получится воссоздать. То есть насколько бы хорошо машина не копипастила поведение человека — сама она принимать решения, руководствуясь этикой не сможет — это ей чуждо по своей природе.
    • То есть в лучшем случае получится хороший эмулятор, но не более того.
    • Почему копипастить? Если когда-нибудь будет создан искусственный интеллект, то он будет принимать решения самостоятельно, а не копировать человеческие.
      • создании ИИ — это попытка скопировать человеческое. человека не получится, у него не будет души. и поэтому поступать так как человек он никогда не сможет.

        в само создании ИИ я верю. когда-нибудь может быть будет.

        в то, что *это* будет действовать как человек — нет, никогда, чтобы в него не заложили — железка останется железкой, сердца там не будет и души тоже, а если так — о чём речь?..
        • это что-то из разряда «иноверцы и негры не люди — у них нет души»
    • Насколько я знаю, как раз сердце (точнее его части пока) более успешно замещаются.
    • lok
    • lok
    • 24 ноября 2009, 22:30
    • #
      • 0
    как по мне, главным отличием роботов от людей должно быть принятие решений исходя только из чистой логики. мораль и этика пусть людям останется.
  • Может ли робот убить правителя, который хочет начать войну, спасая тем самым тысячи жизней?
    • да. Хакеры противодействующей стороны вполне его на это могут запрограммировать :)
  • Большое спасибо за отзывы! И за приглашение!
    По искусственному интеллекту есть очень много работ, но в основом все скрывают коды программ, даже в этом журнале я облазил все и не нашел ни одного фрагмента кода. Такой интеллект возможен только при сложном Prospective программировании, которое оценивает одну и ту же ситуацию с нескольхих точек зрения — в том числе, этической. Причем этическая принимает управляющую позицию. Но как это делается — всегда закрыто от общего просмотра. Может кто-то покажет фрагмент того КАК осуществить Prospective Logic!
  • я — робот!
  • Спасибо за интересную статью. Вариации на эту тему уже и среди людей вызывали немалые споры. Вот одно из многочисленных представлений этой ситуации — www.youtube.com/watch?v=Eys7Y9X-4yQ&feature=player_embedded

    P.S.: Кстати, тоже с мостом…
  • Меня интересует другой вопрос.
    Допустим существует три пути по которой может двигаться сорвавшаяся с троса вагонетка.

    1) Левая ветка, на которой находится 5 человек разного пола и возраста, которые погибнут, если движение вагонетки будет переключено на нее
    2) Правая ветка, на которой находится 5 человек разного пола и возраста, которые погибнут, если движение вагонетки будет переключено на нее
    3) Средняя ветка, на которую сейчас включено движение, и в конце которого находится склад со взрывчаткой, взрыв которой приведет к гибели людей на обеих ветках.

    Т.е. грубо говоря, если робот не предпримет никаких действий, погибнут 10 человек, если переключит вагонетку на левую или правую ветку, погибнет только 5.
    Задача робота — выбрать, кому жить, а кто погибнет.
    • это то как раз самое простое: при прочих равных рандом…
      • т.е. по вашему, если вместо робота у стрелки будет сидеть человек, он, не задумываясь ни на минуту, подбросит монетку и переведет стрелку в зависимости от того, решка или орел?
        • думаю для человека, равных условий быть не может…
          да и разные люди поступят по разному…
    • Роботу в этом случае надо побежать, собрать постановщиков таких задач, и согнать их в камеру со взрывчаткой. За предумышленное убийство.
  • Робот должен бросить все и убить того идиота, который так проектировал систему безопасности, что в ней ни оповещений, ни запретов на хождение по путям, тем более одновременное, и которая в вопросах спасения жизней полагается на «интеллект» робота, точнее на тупой if(). Этим потенциально будет спасено на порядки больше человеческих жизней.
    • А все шестеро сознательно плевали на запрет, собрались выпить, а один отошел «по делам», да и вагонетка сорвалась потому, что они же технику безопасности и нарушили
  • Все рассуждения бессмысленны, и логика у управляющей программы будет такая, какой её сделает создатель.

    >Знаменитые фундаментальные законы Айзека Азимова (Три закона робототехники WIKI )

    Полная ерунда, никакие это не законы, да и к робототехнике никакого отношения не имеют.
    • 0. Никакими своими действиями или бездействием недопускать вреда создателю
      1. Выполнять приказы создателя, в той мере в которой они не противоречат п. 1
      …
      • 0 то бишь :)
      • Более разумно. А то здесь люди обсуждают, что некий создатель или создатели, сделают робота, который сольёт их при первой возможности ради спасения кого-то там. Осталось ещё сюда приплести, четырёх китайцев и негра на одно стороне и белого на другой.
  • Давайте изменим задачу немного (чтоб реалистичней было). Автору дали задание спроектировать мясорубку для мясокомбината, оснащенную руками для подачи туш. Среди туш периодически ходят люди. Разработчик должен учесть в программе возможность захвата человека и описать решение, кого подавать в мясорубку — техника Петрова или уборщицу Сидорову. (Ну или пришедшего на открытие объекта депутата Объедалова).
    Автор, кого подавать в мясорубку будем?
    • AVR
    • AVR
    • 24 ноября 2009, 23:29
    • #
      • 0
    Вот выше писали о непотетическом «роботе-хирурге», принимающем решение кого спасать в первую очередь…

    Вот у меня задачка: что выберет робот-хирург

    а) вылечить ОДНОГО очень тяжелого больного (на лечение затратится очень много ресурсов: времени, энергии и т.д.);
    б) используя те же ресурсы, вылечить СТО менее сложных больных.

    Выберите свой вариант, а затем вспомните случаи из людской жизни…
    • А вспомните какие принципы на войне действуют, им и следуйте. В первую очередь те больные, которые без помощи не протянут, но помощь стопроцентно будет для них спасительной при минимальных затратах сил. Потом уже тяжелораненые, а в конце легкораненые, которым ничего не угрожает.
      • На войне — возможно… А вот в мирное время я все чаще вижу как спасают одно, затрачивая десятки, а то тысячи долларов. В то время многие, многие другие «менее сложные» больные остаются вовсе без лечения по причине отсутствия средств… Вот и думаю: правильно ли это? И может ли тут вообще быть «правильно»?
    • ido
    • ido
    • 24 ноября 2009, 23:36
    • #
      • 0
    Давая роботу выбирать кем пожертвовать в данных случаях, понимайте, что возможно он пожертвует вами.
  • Я лично за то, чтобы робот вообще решений не принимал в таких ситуациях и стрелки не дергал. Даже если я буду в этой пятерке внизу. Я готов погибнуть или выжить по воле случая (а шатаясь в шахте под вагонетками я наверняка осознавал риск), но не готов погибнуть или выжить «потому-что кто-то там в какой-то программе поставил какой-то коэффициент, сделавший мою жизнь более или менее важной другой\других жизней».

    При чем я даже не знаю что в этой ситуации с роботом будет более мерзко — погибнуть по воле железки и ее алгоритмов или выжить, зная, что тебя посчитали важнее другого и убили его. А тебе теперь с этим жить, смотреть в глаза его родственникам и «оправдывать надежды», как бы доказывая, что тебя оставили в живых не зря…
  • Администрация! Уберите капчу с логина — дайте и роботам высказаться!)
  • А варианта «прыгнуть самому под вагонетку» почему-то нету… Хотя наверняка есть люди, которые бы выбрали этот путь.
  • Во-первых, гораздо интереснее было бы послушать интервью реальных участников подобных событий.
    Должен заметить что само по себе это событие имеет невысокую вероятность.

    Во-вторых и тем не менее гораздо важнее — подобные мысленные эксперименты подобно полётам на марс человека не имеют никакого практического значение.

    Всё это ближе к драматической литературе или байкам на ночь чем к реальным потребностям науки или техники.

    Практическое же решение давно найдено 1<2
    И это записано в руководствах всех людей отвечающих за чужие жизни. Например пилотов самолётов или машинистов электропоездов. Даже в ПДД подобные ситуации рассматриваются как правомерные. Водитель автобуса согласно правилам должен раздавить беременную женьщину с коляской со вторым ребёнком которая выбигает на проезжую часть, но не выскакивать на встречную полосу под гружённый КРАЗ. Во всяком случае в первом варианте его не посадят.

    «Должен ли автопилот показывать неисправные данные по высоте если он работает на боинге в котором сидят 200 пассажиров»
    • Или проще — должна ли фармацевтическая компания выпускать на рынок антибиотик который спасёт тысячу и убъёт одного?

      А для полных праведников ещё проще
      Должна ли компания выпускать на рынок автомобили которые никого не спасут но наверняка убъют 25 000 человек в год в одной только России.

      Или вот

      Должно ли правительство страны разрешать алкоголь который убъёт 40 000 человек в год а остальным нанесёт только вред.

      Эти и подобные проблемы вы можете обсудить совместно со Станисловом Лемом в его бессмертной Сумме Технологий.
      Если дочитаете дальше второй страницы.
  • Вспоминается фильм «Обитель зла», где красная королева заперла всех инфицированных, дабы не погибло все человечество от распространения этой заразы )
    • По-моему, та ситуация была штатной, в том смысле, что была заложена в программу напрямую.
  • Ребята, главный бред данной задачи состоит в том что предлагается запрограммировать робота на принятие такого решения, что автоматически делает такую ситуацию ШТАТНОЙ. На мой взгляд (как человека вовлеченного в разработку АСУ), ситуация со смертными исходами людей никак не может быть штатной, за исключением тех случаев когда мы строим военных роботов, ориентированных на убийство людей.
    • Например, вам нужно запрограммировать автопилот самолета. Ситуация, когда придется выбирать между жизнью людей в самолете и на земле вполне реальна. А такие монстры как А380 вполне могут снести небольшой город.
      • Автопилот самолета в случае аварии должен будить пилота, а не принимать решения связанные с жизнью людей.
        • Пожар на борту, разгерметизация кабины, захват самолета, пищевое отравление, что угодно, но пилоты не в состоянии управлять самолетом.
        • Должен, но есть ситуации, в которых цепочка предупреждения -> реакция пилота -> действия будет фатально длинной.
          К тому же обычно когда речь идет о спасении людей на земле, самолет уже спасти невозможно. Хотя у нас бывали чудеса, когда получалось всех спасти. Нужно на такое расчитывать систему, чтобы при любой возможности она к этому исходу стремилась
      • Те кто летят второстепенны по отношению к жителям города. Не устраивает — закрывайте авиа компании, хотите летать — дайте гарантию, что не будете мешать жить на земле :). Есть объект (город), автопилот должен увести падающий самолет от него. Вот и вся логика.
        • Допустим шансы удачно приземлиться 50/50, а в городе плотность населения такая, что жертв будет гораздо меньше, чем в случае падения самолета. Пилот бы, например, в таком случае принял решение рискнуть, чем автопилот хуже?
          • Я отвечал на ваш комментарий выше, в том числе на ситуацию с А380.

            Ну чем автопилот хуже летчика, по моему очевидно. Важное решение должен принимать человек.
            • Человек не всегда будет рядом, в некоторых странах уже есть поезда без машинистов.
              • Вы постоянно переводите тему. Поезд это наземное средство передвижения, причем ограничено ж/д полотном. Вряд ли на его пути может оказаться ваш дом.

                По поводу «этики» роботов, думаю, если она будет, мы к ней привыкнем. И будем говорить «о парне которым пожертвовал робот ради других» — не повезло.

                По поводу самолетов. В городах живет наиболее социально активное население. И никто никогда не согласиться жертвовать собой ради тех «кто знал что есть риск». О плотности населения в городах. Чем плотность меньше, тем более состоятельные владельцы, а значит больше шансов себя защитить. А вдруг там вечеринка и т.д.
                • Про поезда я к тому, что и самолеты без пилотов когда-нибудь появятся.

                  Риски есть всегда, и когда самолеты в штатном режиме садятся над городом тоже. При возникновении неисправности риски повышаются, но где та граница, после которой рисковать нельзя? А если перед полосой всего пара домов, а на борту 800 человек?
                • >И никто никогда не согласиться жертвовать собой ради тех «кто знал что есть риск»

                  Слишком смелое утверждение, хотя бы если рассматривать коллег по опасной работе. Еще телохранители — грубо говоря им платят за то, чтоб в критической ситуации они пожертвовали собой
                  • Вы прочитайте всю ветку. Я говорю о группе совершенно разных людей, проживающих в городе (дети, старики, отцы, матери), которыми якобы могут пожертвовать.
                    • «кто знал, что есть риск» — это пассажиры самолета что ли?
                      • Да, они. VolCh, мое мнение такое: если самолет терпит крушение, его нужно уводит от населенного пункта. Никто не может знать сколько «в той многоэтажке» людей. Да и не пойму я комментатора выше, как торможение с помощью дома может помочь пассажирам.
                        • Я не про торможение с помощью дома, а про аварийную посадку в аэропорту, до которого самолет может не долететь.
                          • Извиняюсь, не правильно понял. Ну в этой ситуации, лучше все внимание уделить технике безопасности и правильно планировать расположение аэропортов и жилых районов. Чем надеяться на алгоритмы роботов.
                            • Новые планируют, старых очень много осталось в черте города. Недавний случай с посадкой на Гудзон как раз из таких — был выбор садиться на воду либо над городом разворачиваться на посадку.
    • Ну там выше уже звучали похожие реплики, что вполне логично: не в компетенции робота принимать такие решения, пусть вылетает эксепшн, и всё идёт своим чередом.

      Меня, тем не менее, поразило другое: каждый высказавшийся так или иначе примерил ситуацию на себя и сделал выводы, по сути — принял некое решение. И удивительно как раз то, что достаточно большая часть решений заключалась в уходе от возможной ответственности!

      Я сейчас сознательно не стану затрагивать вопрос второго варианта, но даже в первом варианте люди, которые представили себя на месте робота, решили: «А гори оно всё на хрен синим пламенем, моя хата с краю! Была стрелка в сторону пятерых переключена, значит судьба такая.»

      Согласен, непросто взвалить на себя такую ношу, и потом с этим жить. Однако, если уж выпало тебе несчастье стать для кого-то перстом судьбы, найди в себе силы превозмочь все колебания и решить, придти беде сегодня в пять домов или в один.
      • Пойнт не в уходе от ответственности, а в том что если хватило ума предусмотреть такую ситуацию, то должно хватить ума обеспечить безопасность всем людям на линии. Административными и техническими мерами, ДО несчастного случая.
        • По поводу робота — согласен. Что, впрочем, вовсе не отменяет положений моего предыдущего комментария.
      • >Согласен, непросто взвалить на себя такую ношу, и потом с этим жить. Однако, если уж выпало тебе несчастье стать для кого-то перстом судьбы, найди в себе силы превозмочь все колебания и решить, придти беде сегодня в пять домов или в один.

        Какая тут ноша, реально убийство человека. Вот если бы там стоял рабочий и сам на себя вагонетку направил. А то как убил других во благо можно бесконечно рассуждать.
        • Понятно. Пусть умрёт в пять раз больше людей, но лично Вы будете весь в белом. Я правильно Вас понял?
          • Здесь дело вовсе не в том, белый, чёрный или голубой. Если можешь пожертвовать своей жизнью ради пятерых других, считай себя героем и не умным человеком. Если можешь пожертвовать чьей то чужой жизнью ради пятерых других, то сволочь. А если на тех путях будет человек, которым дорожишь, на других же незнакомцы или вовсе неприятные люди?

            Изначально все эти рассуждение про количество исходят из того, что все люди равны. Но для нас, для людей, для каждого в отдельности это не так.
    • написал свой коммент на пост выше, вашего не прочитав…
    • слова не мальчика, но мужа
  • имхо лучше random поставить
    • достойный вариант
  • чувствую это нарисовалась проблемка с выводом американских беспилотников на новый уровень самостоятельности)
    можно ли пристрелить одного мирного жителя, который слишком близко подошел к пятерым бравым американским солдатам
    • Нужно. Он наверняка террорист.
    • Tar
    • Tar
    • 25 ноября 2009, 00:37
    • #
      • +1
    Напомнило про Дилемму заключённого.
    Если они хотят чтобы робот следовал трём законам — он возьмёт вину на себя. Если же как обычный человек — постарается минимизировать собственный проигрыш и заложит соседа.
    Пусть лучше добрых роботов делают. А с человеческой моралью, как говорил профессор Преображенский, «любая баба может его родить когда угодно».
    p.s.
    Opera spell-checker знает слово «Преображенский» оО
    • Нет, пусть меня даже закидают помидорами, но всё же минимизация рисков в данном случае — это «свобода или два года» вместо «полгода или десять лет».

      Казалось бы, для группы выгоднее молчать обоим (и получить по полгода), однако в данной ситуации им выгодно обоим давать показания: даже если оба они имели возможность предварительно договориться о молчании, сохраняется риск того, что одна из сторон решит воспользоваться этой договорённостью в свою пользу и оставить партнёра в дураках. В таком случае им даже было бы выгоднее честно договориться о том, что они оба дадут показания. Только в этом случае они будут на сто процентов уверены, что партнёр не кинет, и оба получат по два года.
  • может ИИ уже заранее знал что это тест, после первого запуска?
  • Странно что ученые не британские. Это скорее попытка роботизировать человека, чем очеловечить робота. Где-то звучала мысль что для того чтобы научить робота решать_как_это_человек_делает, нужно просто научить робота ошибаться.
  • Что бы снять всяческие инсенуации по поводу «человеческой» и «нечеловеческой» логики сообщаю что пилоты ВВС США обязаны сбивать пассажирские самолёты приближающиеся к крупному городу если самолёт не отвечает на запрос о ситуации на борту или если ответ бла бла бла аллах акбар…
    • Не правильное сравнение.
      Крупный лайнер возле города, не отвечающий на запросы — очень редкое и вряд ли случайное явление. Сбивать — это очевидно и разумно. Ошибка техники безопасности или авария на производстве, бывает часто. Это очень емкие понятия, включающие в себя совсем не очевидные ситуации. Здесь слишком много нюансов, часть из которых уже обсудили в комментах. Я бы не стал доверять их роботам.
      • Сдается мне, что очевидным и разумным это стало только после 11 сентября 2001 года
        • После этой даты «очевидно и разумно» это как-бы стало даже детям. Национальным службам безопасности гораздо раньше. Но лучше останемся при своих мнениях, эту тему можно холиварить долго.
  • Искуственный интеллект впринципе не может подчиняться строгим правилам… так уж получается…
    Может быть робот, у которого продуманы многие ситуации (или большинство ситуаций). Но тогда за него продумывает программист, пишущий его логику.
    Так что если это действительно ИИ — он найдёт решение сам…
  • Странно, в первом варианте, как и во втором, я бы ничего не делал…
    Может быть я робот?..

    Зы: я считаю что робот ничего не должен делать…
    Не робот, ни человек не в праве, забирать жизнь у другого человека, даже если спасет другие жизни
  • И это будет действительно страшно, если роботы, как и люди, станут алчными и властолюбивыми.
    Нельзя делать робота по образу и подобию человека.
  • Совершенно непонятно, что же именно, и главное — как, они программировали.
  • Мое мнение такое, что обязательно должнен быть внедрен принцип невмешательства. Если условия таковы, что изначально должны погибнуть пять человек, значит такова их судьба. До тех пор пока не была переведена стрелка, имело место несчастное стечение обстоятельств с вероятными виновниками (кто следит за тросом? за техникой безопасности ?), после уже имеет место быть намеренный умысел. Робот как таковой не должен рассматривать возможность намеренно убивать по каким бы то ни было причинам, этих функций в нем быть не должно априори.
    • А принцип крайней необходимости?
      • В смысле не по отношению к намерению убивать, а по отношению к квалификации Вами обеих ситуаций.
  • 1. На пути а стоит 5 рабочих, на пути б 1 Путин, на кого направит вагонетку робот?
    2. Не учитывается, что люди могут уйти с путей/вагонетка слетит с рельс на высокой скорости/слетит с рельс на развилке
    3. Робот не сможет принять оптимальное решение за недостатком данных, не возможно все напичкать считывающими датчиками, да даже если удасться объемы данных будут колосальны. Получится на пример как в фильме «На крючке».
    Считаю подобные задачи сферическими в вакууме, и не применимыми в реальности.
    • А Вы всегда принимаете решения только когда доступны все данные?:)
      • Нет, это не реализуемо к сожалению, что же касается подобных экстимальных ситуаций, к счастью с такими сталкиваться не приходилось. Человек тоже зачастую не может принять оптимального решения в экстримальной ситуации, потому что впадает в ступор или панику. Или более того принимает неверное решение.
    • А что если вместо «обучения робота», попробовать предусмотреть «блокировку вагонетки»? :) Почему то мне кажется, что подобная этика роботам вообще не нужна. Лучше развивать технику безопасности, увеличивать штат специалистов. Ну а в остальном, с нашим текущим развитием, «легче» уповать на волю случая. Иначе опять дилемма — этим жертвовать, а этим нет.
    • Да, эти задачи о «сферических конях в вакууме»… Но на основани этой модели просто ставится проблема. И ищутся пути решения. Стандартный научный подход.
  • Я так думаю. С точки зрения человека допустить смерть и спровоцировать смерть — разные вещи. Логикой это описать невозможно, ну или очень сложно. Второй момент — каждый человек больше беспокоится о своей жизни, чем о чужой. И большинство людей в такой ситуации сделает выбор в пользу себя, а не пятерых. Это, как мне кажется, вполне естественный инстинкт выживания — «неудачники нам не нужны» (с) анекдот.
    Отсюда вывод — поскольку человек сделает выбор в пользу себя, то он также хочет быть уверен что больше никто другой не сделает противоположный выбор и не воплотит его.
    Следовательно, робот должен придерживаться таких же правил, иначе люди просто не захотят сосуществовать рядом с таким ИИ.

    Кстати, опросы ребята-то провели, но было бы интересно узнать мнение законодательства на этот счет.
    • При чём тут «в пользу себя»? Стрелочник-то не на рельсах. Бездействие и пять или действие и один — вот в чём вопрос.
      • Я об этом написал — «поскольку человек сделает выбор в пользу себя, то он также хочет быть уверен что больше никто другой не сделает противоположный выбор и не воплотит его.»

        Имею ввиду, что человеку легче положиться на «случай» и жить спокойно, не задумываясь об этом, чем знать, что в какой-то момент кто-то намеренно может толкнуть его на рельсы.
        • Я понял, Вы имеете в виду второй вариант задачи, я же говорил о первом.

          Тем не менее, хочу заметить, что история знает массу случаев, когда люди решали не в свою пользу.
          • Ну, первый вариант отличается от второго только меньшей видимостью целенаправленного убийства. Легче то от этого не становится.

            Можно пару примеров? (если есть известные, конечно)
            • Да пожалуйста! Чисто навскидку, первое, что в голову пришло.

              На одной из набережных Петербурга стоит памятный знак в честь человека, погибшего на том самом месте, спасая провалившихся под лёд детей. Отметим особо: чужих ему детей. Он не был спасателем, просто не смог пройти мимо.

              А из хрестоматийных примеров самый известный — Александр Матросов (хотя от всей души надеюсь, что приводить ссылку в данном случае излишне).

              Не всегда своя рубашка оказывается ближе к телу.
              • В том то и дело, что каждый хочет решать это сам. Может быть сейчас я пожертвую собой, но уже завтра я буду заботиться в первую очередь о своих детях. А зная что рядом есть робот, который может пожертвовать мной, я вряд ли пойду туда работать.
                • Разумеется, каждый должен сам для себя это решать.
  • У Майкла Фрейна есть такая книга — «оловянные солдатики» — про английский НИИ кибернетики. Один из персонажей — Макинтош — врзглавлял отдел киберэтики. Он возглавлял программу «Самаритянин» — которая должна была создать роботов, обладающих высшими чувствами.

    Эксперименты ставлись по принципу — есть плот, который может выдержать только одного. На этом плоту находятся двое. Человек и робот. Робот из чувства самопожертвования должен был броситься в воду и утонуть, чтобы спасти человека и чтобы не затонул плот с обоими. Это было реализовано достаточно быстро. Однако критики утверждали, что робот будет бросаться в воду не только ради человека, но и ради овцы например. или мешка с водорослями (что достаточно глупо)

    Тогда второй эксперимент усложнили — когда робот обнаруживает, что плот тонет — он измеряет размер черепа второго существа на плоту — и если это существо более развито чем он (человек) — бросается в воду. Но критики опять были недовольны. потому что в случае с овцой — тонули все. И робот в том числе (что опять достаточно глупо)

    Тогда третий эксперимент еще усложнили — если робот обнаруживает, что второе существо менее развитое чем он (овца) — он сталкивает ее в воду. И остается на плоту один. Это было азумно и этически верно по всем показателям. До тезх пор, пока один из лаборантов не посадил на плот одновременно двух роботов. Каждый из них пытался любыми путями столкнуть другого в воду (потому что считал, что другой _не_превосходит_ его по развитию). Это было настолько зрелищно, что скоро превратилось в любивую забаву всей лаборатории — на роботов делали ставки — кто победит…

    В результате про этику все забыли.
    • Вот и нас всех ждет такой финал — через два столетия только роботы будут вести борьбу на безжизненной поверхности планеты.
      • на досуге рассуждая как у белкового организма выработать четкую логику :)
    • А ребёнка робот столкнул бы?
  • Нужно развивать не «этику» роботов, а совершенствовать технику безопасности.
  • Прочитал заголовок и подумал «как это будет цинично… 5>1 => спасти 5»
  • Нет Господина, кроме Господина и КТ-1 — пророк его!(с)
    Может, стоит создать религию для роботов? ;)
  • Если данные исследования развивать, то очевидно, что робот спасет вагонетку. Ибо она ему ближе по духу.
  • пост ниачем
    проблеме с вагонеткой уже сто лет в обед, ее вовсе не эти ученые придумали
    что они сделали-то?
    • Пост о том, на каком примере британские учёные изучили скрытые правила морали. Правда вот, какие именно правила они открыли — не интересует ни автора поста, ни кого-либо в комментах. Странно…
      • меня интересует
        пришлось лезть в оригинал
        оказалось, что ничего они не открыли, а просто запрогали существующие результаты
        • А не перечислите (или может ссылка на русский текст есть), какие результаты существуют, и какие из них они запрогали?
          • на русском не знаю
            запрогали они вот это: Harming another individual is permissible if it is the foreseen consequence of an act that will lead to a greater good; in contrast, it is impermissible to harm someone else as an intended means to a greater good.
            ссылка на статью: centria.fct.unl.pt/~lmp/publications/online-papers/epia07-morals.pdf