Это ответ на пост http://habrahabr.ru/blog/artificial_intelligence/46316.html, почему-то не поместившийся в комментарии.
Логика «рассуждений» автора мало чем отличается от «логики», которая заставляла древних верить, что Солнце вращается вокруг Земли. Апелляцией к субъективным эмоциям («ну как железо может чувствовать?») невозможно строго доказать объективные явления, что уж говорить о попытках доказать или опровергнуть чужую субъективность. С такими рассуждениями можно дойти и до выяснений типа «есть ли душа у протестантов и можно ли их жечь на костре?». Вдобавок, эксперимент с тетрадкой или «китайской комнатой» предполагает наличие агента, соответственно и разумом в данном случае («знанием китайского») обладает не тупой агент, и не тетрадка сама по себе, а система из них обоих. Система — это всегда больше, чем сумма ее составляющих!
Существует такое понятие, как инвариантность информации относительно носителя. Если имеется система, состоящая из чего угодно — из нейронов, проводов или тетрадок в клеточку — которая ведет себя как человеческий мозг, обучается, общается и т. д., демонстрирует реакции, аналогичные наблюдаемым у человека, то это фактически означает, что на уровне этой структуры объект осознает себя подобно разумному существу, и желательно признать его таковым чисто из морально-этических соображений, для перестраховки.
В вышеприведенном примере эмулируется поведение мозга на самом низком уровне, начиная с нейронов. Высокоуровневые структуры (чувства, мысли) закодированы в низкоуровневых подобно протоколам TCP в IP, HTTP в TCP и так далее. С точки зрения пригодности к передаче информации тетрадки с клеточками ничем не отличаются от волокон с фотонами, кроме потенциальных скоростей. Равно как и от нейронов. Чтобы построить такой эмулятор мозга, необходимо «залезть» в человеческий мозг и воспроизвести его низкоуровневое устройство.
С другой стороны, теоретически можно построить ИИ методом «черного ящика», не забираясь внутрь низкоуровневой структуры, а имитируя ее внешнее поведение. Предположим, разработчик не знает, как именно работает низкоуровневая структура, но в попытках воспроизвести ее поведение он разрабатывает структуру, в чем-то схожую с исходной. Так вот возникает интересный вопрос: реализован ли данный разум на базе чувств и ощущений, подобных нашим — или каких-то других?
И можно ли однозначно определить, достойны ли эти ксеночувства уважения или же с ними можно обращаться как угодно?
Продемонстрированный автором подход — субъективная оценка — использовался в истории давно и привел к вопросам типа «есть ли душа у протестантов и можно ли их жечь на костре?». Современное общество в целом уже созрело для того, чтобы признать права любого родившегося человека, а также некоторые права животных (в основном пока это дань эмоциям их защитников, а не понимание реальных потребностей). Сегодня уже ни один цивилизованный человек не будет задаваться вопросом, есть ли душа у господина или госпожи А. Поле битвы сегодня — это права человеческого существа до рождения, высших приматов, потенциальных визитеров из космоса и потенциальных наших детищ — интеллектуальных роботов и так называемых Е-существ — для начала на достойную жизнь.
Вообще, сама идея независимости информационного процесса («души») от конкретного заданного носителя («тела») высказана еще в первой фразе Библии: «В начале было СЛОВО» (по-гречески «логос»). СЛОВО может быть выражено как угодно и на чем угодно, хоть и клеточками в тетрадке, от этого оно не перестает быть таковым. Предлагаемый автором критерий — это своего рода шовинизм (предпочтение одного вида носителей перед остальными), а ошибка рассуждений автора — в попытке выдать относительное за абсолютное, например «реальное время» — относительно чего реальное? Процессор — это такая же тетрадка с очень быстро заполняемым и стираемым множеством клеточек. И мозг — несколько гигатетрадок. Важно не ЧТО, а КАК.
Если взглянуть на историю человеческой цивилизации, то вопрос об отношении субъекта к другой сущности (человеку, животному, инопланетянину, роботу, Е-существу) в самом начале решался инстинктами («интересами» организма), затем интересами личности, группы, общества и всего человечества, следующий шаг — Космос, в котором могут быть и Солярисы, и что угодно. Любые частные решения с жестким разделением на черное («тварь дрожащая») и белое «право имею») могут оказаться неадекватными. Спорные случаи следует очень внимательно изучать (по сути, а не по форме) и только тогда можно выносить какие-то однозначные выводы на счет допустимости или недопустимости тех или иных операций с конкретным экземпляром ИИ. Таких экземпляров ИИ на данный момент еще не существует, но уже была сэмулирована часть мозга крысы с замедленной в 10 раз скоростью, воссоздание работающих структур высшего уровня — вопрос времени, и лучше подготовиться к этому заранее, чтобы не получить сюрприз в виде недружественного ИИ или скрытого геноцида, со всеми вытекающими последствиями.
Вопросом, на который попытался ответить автор, занимаются целые направления философии (гуманизм, экогуманизм, трансгуманизм и т. д.) и науки (ИИ, биоинформатика, нейробиология, когнитивные науки, синергетика...); даже когда механизмы, определяющие человеческое в человеке, будут изучены и определены с запасом надежности, встанет множество пограничных вопросов, ибо даже если урегулирование отношений внутри одного биологического вида только недавно удалось как-то решить на верхнем уровне (ООН, ДПЧ), а на более низких уровнях эти вопросы кое-где до сих пор сверхактуальны, что уж говорить об иных формах существования разума. Главное — не пытаться решить этот вопрос безапелляционно «раз и навсегда» («протестантов жечь, католиков не жечь»), а направить процесс разрешения в безопасное русло.
Что же касается теста Тьюринга, то он скорее оставляет запас надежности, хоть и имеет ограниченную область применения (только к человекоподобному высокоуровневому интеллекту; к высшим животным, младенцам или даунам традиционный тест Тьюринга неприменим), но в целом идея понятна. Как говорят американцы, если что-то ведет себя как утка, крякает как утка, плавает как утка, чистит перья как утка, то скорее всего это и есть утка.
Логика «рассуждений» автора мало чем отличается от «логики», которая заставляла древних верить, что Солнце вращается вокруг Земли. Апелляцией к субъективным эмоциям («ну как железо может чувствовать?») невозможно строго доказать объективные явления, что уж говорить о попытках доказать или опровергнуть чужую субъективность. С такими рассуждениями можно дойти и до выяснений типа «есть ли душа у протестантов и можно ли их жечь на костре?». Вдобавок, эксперимент с тетрадкой или «китайской комнатой» предполагает наличие агента, соответственно и разумом в данном случае («знанием китайского») обладает не тупой агент, и не тетрадка сама по себе, а система из них обоих. Система — это всегда больше, чем сумма ее составляющих!
Существует такое понятие, как инвариантность информации относительно носителя. Если имеется система, состоящая из чего угодно — из нейронов, проводов или тетрадок в клеточку — которая ведет себя как человеческий мозг, обучается, общается и т. д., демонстрирует реакции, аналогичные наблюдаемым у человека, то это фактически означает, что на уровне этой структуры объект осознает себя подобно разумному существу, и желательно признать его таковым чисто из морально-этических соображений, для перестраховки.
В вышеприведенном примере эмулируется поведение мозга на самом низком уровне, начиная с нейронов. Высокоуровневые структуры (чувства, мысли) закодированы в низкоуровневых подобно протоколам TCP в IP, HTTP в TCP и так далее. С точки зрения пригодности к передаче информации тетрадки с клеточками ничем не отличаются от волокон с фотонами, кроме потенциальных скоростей. Равно как и от нейронов. Чтобы построить такой эмулятор мозга, необходимо «залезть» в человеческий мозг и воспроизвести его низкоуровневое устройство.
С другой стороны, теоретически можно построить ИИ методом «черного ящика», не забираясь внутрь низкоуровневой структуры, а имитируя ее внешнее поведение. Предположим, разработчик не знает, как именно работает низкоуровневая структура, но в попытках воспроизвести ее поведение он разрабатывает структуру, в чем-то схожую с исходной. Так вот возникает интересный вопрос: реализован ли данный разум на базе чувств и ощущений, подобных нашим — или каких-то других?
И можно ли однозначно определить, достойны ли эти ксеночувства уважения или же с ними можно обращаться как угодно?
Продемонстрированный автором подход — субъективная оценка — использовался в истории давно и привел к вопросам типа «есть ли душа у протестантов и можно ли их жечь на костре?». Современное общество в целом уже созрело для того, чтобы признать права любого родившегося человека, а также некоторые права животных (в основном пока это дань эмоциям их защитников, а не понимание реальных потребностей). Сегодня уже ни один цивилизованный человек не будет задаваться вопросом, есть ли душа у господина или госпожи А. Поле битвы сегодня — это права человеческого существа до рождения, высших приматов, потенциальных визитеров из космоса и потенциальных наших детищ — интеллектуальных роботов и так называемых Е-существ — для начала на достойную жизнь.
Вообще, сама идея независимости информационного процесса («души») от конкретного заданного носителя («тела») высказана еще в первой фразе Библии: «В начале было СЛОВО» (по-гречески «логос»). СЛОВО может быть выражено как угодно и на чем угодно, хоть и клеточками в тетрадке, от этого оно не перестает быть таковым. Предлагаемый автором критерий — это своего рода шовинизм (предпочтение одного вида носителей перед остальными), а ошибка рассуждений автора — в попытке выдать относительное за абсолютное, например «реальное время» — относительно чего реальное? Процессор — это такая же тетрадка с очень быстро заполняемым и стираемым множеством клеточек. И мозг — несколько гигатетрадок. Важно не ЧТО, а КАК.
Если взглянуть на историю человеческой цивилизации, то вопрос об отношении субъекта к другой сущности (человеку, животному, инопланетянину, роботу, Е-существу) в самом начале решался инстинктами («интересами» организма), затем интересами личности, группы, общества и всего человечества, следующий шаг — Космос, в котором могут быть и Солярисы, и что угодно. Любые частные решения с жестким разделением на черное («тварь дрожащая») и белое «право имею») могут оказаться неадекватными. Спорные случаи следует очень внимательно изучать (по сути, а не по форме) и только тогда можно выносить какие-то однозначные выводы на счет допустимости или недопустимости тех или иных операций с конкретным экземпляром ИИ. Таких экземпляров ИИ на данный момент еще не существует, но уже была сэмулирована часть мозга крысы с замедленной в 10 раз скоростью, воссоздание работающих структур высшего уровня — вопрос времени, и лучше подготовиться к этому заранее, чтобы не получить сюрприз в виде недружественного ИИ или скрытого геноцида, со всеми вытекающими последствиями.
Вопросом, на который попытался ответить автор, занимаются целые направления философии (гуманизм, экогуманизм, трансгуманизм и т. д.) и науки (ИИ, биоинформатика, нейробиология, когнитивные науки, синергетика...); даже когда механизмы, определяющие человеческое в человеке, будут изучены и определены с запасом надежности, встанет множество пограничных вопросов, ибо даже если урегулирование отношений внутри одного биологического вида только недавно удалось как-то решить на верхнем уровне (ООН, ДПЧ), а на более низких уровнях эти вопросы кое-где до сих пор сверхактуальны, что уж говорить об иных формах существования разума. Главное — не пытаться решить этот вопрос безапелляционно «раз и навсегда» («протестантов жечь, католиков не жечь»), а направить процесс разрешения в безопасное русло.
Что же касается теста Тьюринга, то он скорее оставляет запас надежности, хоть и имеет ограниченную область применения (только к человекоподобному высокоуровневому интеллекту; к высшим животным, младенцам или даунам традиционный тест Тьюринга неприменим), но в целом идея понятна. Как говорят американцы, если что-то ведет себя как утка, крякает как утка, плавает как утка, чистит перья как утка, то скорее всего это и есть утка.