Comments 51
Традиционное замечание: инструменты не опасны, опасны люди которые их применяют со злыми намерениями.
Да, это понятно. Но в реальности их используют именно что люди, какие попало
Традиционное замечание: инструменты не опасны, опасны люди которые их применяют со злыми намерениями.
Стандартный ответ от Юдковского. В случае с ИИ опасен инструмент сам по себе. Для того, чтобы он принёс вред, злых намерений не нужно. Как с атомной электростанцией - достаточно не соблюдать технику безопасности и всё кончится плохо. И если с АЭС технику безопасности хотя бы стараются соблюдать, то с ИИ этот вопрос не волнует вообще никого.
Для того, чтобы он принёс вред, злых намерений не нужно
Если не соблюдать технику безопасности при работе с садовыми граблями, может потребоваться хирургическое вмешательство.
ИИ отличается от других инструментов тем, что без непосредственного участия человека он не может причинить ни вреда, ни пользы. А вред может причинить только в результате целенаправленных действий самого человека. Может быть потом ситуация изменится.
Вы верно понимаете проблему, но у вас плохой аргумент. Несоблюдение правил - это детерминированная ситуация, когда известно, что если чего-то не делать или далать иначе, будет нежелательный эффект. В случае ML-инструментов (но не только их) существует проблема того, что мы не знаем, что именно случится, если их использовать.
Вы верно понимаете проблему, но у вас плохой аргумент.
Про АЭС это был не аргумент, это была аналогия. Аналогии врут, но мне постоянно советуют использовать их для объяснения. В очередной раз я продемонстрировал, что их лучше не использовать.
В случае ML-инструментов (но не только их) существует проблема того, что мы не знаем, что именно случится, если их использовать.
Хорошее уточнение, да. Если развить аналогию с АЭС, то можно сказать, что когда ты не в курсе какие правила нужно соблюдать, чтобы АЭС была безопасной - лучше её вообще не включать. Но аналогии врут, конечно. То, что написали вы, мне кажется более понятным.
Аналогии для объяснения вредны, потому что создают больше проблем, чем решают, особенно когда оппонент с вами не согласен (тогда вы просто приглашаете или аргумент о том что аналогия - некорректная, или создаёте почву для ухода от темы). Полезны они только для иллюстрации, когда вы кого-то чему-то учите, а не спорите с кем-то.
Аналогии для объяснения вредны, потому что создают больше проблем, чем решают
Полезны они только для иллюстрации, когда вы кого-то чему-то учите, а не спорите с кем-то.
Я бы даже сказал, что не для иллюстрации, а для того, чтобы человек мог что-то делать, на самом деле не понимая что он делает.
Нет, это как раз предельно некорректный способ использования аналогий.
Ну как. Процессы называют аналогичными, если они описываются одинаковыми уравнениями. Ну или похожими, если аналогия не точная. Это нужно как раз, для того, чтобы не понимать, как происходит процесс, но иметь возможность его контролировать, за счёт того, что ты понимаешь, как происходит аналогичный процесс
- Требования техники безопасности при работе с ИИ можно сформировать только на основе практики применения. Поэтому "мы не знаем, что именно случится" - это плохой аргумент
- Чем активней ИИ будет применяться сейчас, когда он еще не стал опасен, тем быстрее будут сформулированы требования ТБ
- ИИ может причинять вред или пользу только через человека т.к. не имеет возможности влиять на окружающую среду в обход человека. Поэтому ответственность лежит на тех людях, которые работают с ИИ. Но у них еще есть время поэкспериментировать
существует проблема того, что мы не знаем, что именно случится, если их использовать.
Насколько я знаю, именно это случилось в Чернобыле.
Нет, авария в Чернобыле - детерминированная проблема, которая случилась, потому что цепь обстоятельств и решений сдвинула её в сторону неопределенности развития событий.
Проиллюстрирую аналогией. Для взрослого человека, знакомого с управлением автомобилем, очевидно, что если снять с ручного тормоза автомобиль с неисправной основной тормозной системой, строящий на склоне, он поедет и может во что-то врезаться. Но если хозяин автомобиля случайно забыл его запереть, а кто-то ещё привёл кучу детей поиграть рядом с ним, ситуация становится непредсказуемой, потому что появляется возможность, что малолетний идиот сделает нечто, что для него не является очевидно опасным.
Однако термин "Источник повышенной опасности" относится именно к предметам, а не к людям.
Есть масса предметов которые могут убить вас без вашего ведома. ИИ без ведома человека может разве что нагружать вычислительные ресурсы.
Убить непосредственно - пока нет. Испортить карьеру - уже много лет как да. А от карьерных трудностей на фоне депрессии и до самоубийства недалеко.
И да, живой HR или менеджер обладает ровно теми же способностями. Вопрос в том, что это частный единичный и случайный фактор. А один и тот же инструмент на базе ML может использоваться в сотнях компаний одновременно.
опасны люди которые их применяют со злыми намерениями
Неверно. Это одна из форм фундаментальной ошибки атрибуции.
Опасность может представлять применение с самыми добрыми, но непродуманными намерениями. И здесь рассуждающих на эту тему подводят ложные аналогии с инструментами, эффект от которых можно легко предсказать.
Ошибочная оценка эффектов может быть не менее, а иногда даже более опасна, так как недостаток знаний о вопросе может мешать не только верно предсказать эффект но и распознать негативный эффект.
Собственно, исторических примеров подобного (типа использования биологических методов борьбы с вредителями) - более чем достаточно, чтобы даже человек, склонный к конкретному мышлению, мог понять, что целенаправленное злое намерение абсолютно не является необходимым условием для вреда.
Недавно задал bing-у вопрос - найти нобелевского лауриата в одном из сибирских университетов. Вот что он мне выдал:
The closest Irkutsk State University has come to producing a Nobel laureate is with Nikolai Basov. Basov was born in Ust-Kamenogorsk, which is now in Kazakhstan, but he studied physics at Irkutsk State University from 1943 to 1948. After graduating, Basov went on to work at the Lebedev Physical Institute in Moscow, where he made significant contributions to the field of quantum electronics. In 1964, Basov was awarded the Nobel Prize in Physics, along with Charles Townes and Alexander Prokhorov, for their work on the development of the maser and laser.
However, Basov did not actually graduate from Irkutsk State University. He was expelled from the university in 1947 for participating in anti-Soviet activities. He was later reinstated, but he did not graduate until 1950.
So, while Irkutsk State University has not produced a Nobel laureate, it has certainly produced some talented individuals who have made significant contributions to their fields.
Думаю, Николай Басов очень удивился-бы таким неизвестным фактам своей биографии. То-есть продвинутая нейронка соврала буквально все важные факты (выделено жирным), и умело попыталась спаять это с известными фактами, чтобы ее ложь было сложно отличить от правды...
Жаль, что очень немногие понимают, почему это и должно работать именно так. Генеративная нейронка всегда пытается заполнить недостающее чем-то, умело сгенерированным, и поэтому никогда не стоит доверять никаким ее результатам, они в принципе получаются не фактическими, а лишь похожими на фактические, просто по способу их построения. Просто вследствие алгоритма обучения сети и способа ее работы. Поэтому нынешний хайп генеративных нейронок одновременно и смешон, и весьма опасен.
Это лишь новая реальность, к которой нам предстоит привыкнуть, хоть и тяжело представить куда всё это приведёт.
Поддержу автора. Все предыдущие иструменты которые создавало человечество не были "черным ящиком", в отличие от ИИ. Так что есть о чем задуматься.
Очень многие опасные инструменты были "черным ящиком". Люди сначала не догадывались о вреде радиации, затем провели множество испытаний чтобы оценить летальность ядерного оружия. Наркотики (в т.ч. героин) продавались в аптеках. Ядохимикаты применялись без исследования токсичности. И т.д.
Имеющийся в Интернете контент сгенерирован людьми по их личному разумению. И если факты ещё можно считать относительно достоверными, то в области интерпретации фактов всегда была экологическая катастрофа. Например в учебниках истории достоверными можно считать только даты, а интерпретации фактов всегда зависели от политической установки. Возможно, риски фальсификации фактов напротив заставят более бережно обращаться с информацией.
Озабоченность "фальсификацией информации" принимает уже форму настоящей обсессии. Тем временем, в том, что кто-то правдоподобно врёт в интернете, нет абсолютно ничего нового.
Пока это происходит довольно локально.Обычному человеку не хватит мотивации и изобретательности чтобы сфальсифицировать что-то крупнее записи в блоге.
С нейросетью генерирующей правдоподобную информацию в промышленных количествах будет совсем иначе. Можно не просто придумать фейк, можно окружить его таким количеством информации, что он станет неотличим от фактов. Вплетён в существующие факты. Представьте себе город-стотысячник, жители активны в соцсетях, есть какие-то местные паблики, подслушано, новости, группы по местным ЖК, местные проблемы, можно пообщаться с жителями, кто-то из его жителей есть в друзьях у ваших друзей. Фотографии города, панорамы, памятник основателю, статистика по преступности, доходам, всякие ИП, филиалы красного и белого. Пара тревел-блоггеров бывают что-то постят про этот город, буквально пару общих фраз. Можно отправить жителю открытку и получить ответ. Можно связаться с кем-нибудь по телефону, телефонный префикс есть. И даже по видеосвязи. Вот, например, Всеволожск, есть он или нет? Вроде есть всё перечисленное. А я могу вам сказать что проезжал там недавно, и ничего кроме лесов и полей не видел.
Город? Страну? Религию? Историю? Альтернативный политический строй, которых всем покажется привлекательнее текущего?
Очень многие опасные инструменты были "черным ящиком".
Согласен. Очень многое сначала было черным ящиком. Только вот если с ЯО, антибиотиками, наркотиками и т.п. ситуация со временем становится более понятной, то в случае ИИ ситуация во временем становится все менее понятной и контролируемой. До такой степени, что в перспективе люди вообще перестанут понимать суть происходящего.
Вот вы меня минусуете, а между прочим следующий Совбез ООН будет посвящен теме безопасности ИИ. И это несмотря на то, что сейчас напряженнейшая военно-политическая обстановка.
AI Lives Matter!
Зачем вы нападаете на инструмент? Инструмент хороший, им много хороших штук можно сделать.
Нападайте на плохое использование инструмента. Недавно на Хабре хорошо написали чем черевато плохое использование генеративных нейросетей в современном интернете. Вот это реальная проблема.
Ядерная энергия это хорошо. Реально хорошие штуки с помощью нее сделали. Ядерная война это плохо. Чтобы ее не было построено много всяких заборов. Заборы работают. Вот нужно что-то такое вероятнее всего.
Предложите эффективный способ априорной оценки побочных результатов применения недетерминированного инструмента.
Иначе, "нейтральность" инструмента оказывается ложной, так как её оценка происходит только в рамках предопределенной задачи. А всё за её пределами просто игнорируется, никак не проверяется и т.п.
Полезен любой инструмент с помошью которого можно создать что-то априори полезное. Как делать так чтобы всякие гадости большого масштаба с помощью этого же инструмента не делались человечество умеет.
Тут есть некоторая проблема как сделать так чтобы интернет оставался ну более-менее нормальным. Как сейчас пойдет. Но эта проблема выглядит решаемой. Тот же спам с которым все умеют бороться только на порядки больше и качественнее.
А при чём здесь вообще интернет? Уж не сводите ли вы проблему к пресловутой генерации бредового контента?
Именно в этом я и вижу главную проблему. Возможно есть и другие проблемы, которые пока не видны. А эта четко видна и может стрельнуть с высокой вероятностью.
Это близорукое восприятие. Вероятно, под влиянием сенсационалистских новостей. Тем временем, ML давно применяется в повседневных задачах, а вы это полностью игнорируете в пользу возможной фантазии.
Ну применяется и что? Это как раз хорошо. Полезный инструмент - приносит пользу. Я именно про то где он может глобально навредить.
Так в том то и дело, что утверждение о том, что приносит пользу - это ерунда. Потому что, например, когда такой инструмент помогает безответственным и ленивым hr просеивать резюме, кто оценивает, делает ли он это вообще сколько-нибудь объективно и близко к реальности?
Ещё раз, специально для вас, упрямо игнорирующего проблему, о которой говорю я: методы машинного обучения используются в принятии решений, конкретные критерии принятия этих решений никому не известны, качество решений - также неизвестно (верят на слово вендору). Но для вас это "хорошо, приносит пользу".
А вы беспокоитесь о том, что кто-то, например, правдоподобное фальшивое фото в интернете опубликует.
Если он конкретным hr будет приносить вред их эффективность понизится и их уволят. Они сидят на премиях за найм, зарплата там на еду обычно. Или даже их компании разорятся. Что тоже хорошо в конечном итоге. Все самом себя отрегулирует.
Я не понимаю зачем переживать о нормальных событиях? Они глобально даже полезны, а не вредны. Плохие подходы тоже надо проверить чтобы убедиться что они плохие. Вдруг это не так на практике окажется?
Люди принимают решения тоже по разному. Очень по разному. Введение еще одной переменной никак не повредит.
Я беспокоюсь о чем-то реальном. Что может принести много бед всем людям уже в этом-следующем году. А не про какие-то частные штуки которые экономика сама отрегулирует.
Если взглянуть на историю человечества, люди всегда изобретали и создавали инструменты упрощающие жизнь. Поэтому сценарий создания сверх интеллекта это лишь вопрос времени, возможно мы уже на пороге. Сможет ли человек контролировать свою безопасность при этом? Я думаю это маловероятно, так как не логично более совершенному существу, быть рабом человечества.
Про монетку на ребре - это хорошо. Мы все умрём, рано или поздно. И человечество тоже умрёт. Всё. Когда-то. Как минимум, согласно действующим научным представлениям об окружающем - либо Солнце выгорит, либо Вселенная схлопнется или остынет в ноль. В общем, в дальней перспективе шансов на выживание никаких. Конец детерминирован. "Самурай - это не цель, самурай - это путь" (с) Дебаг на проде - это, как минимум, волнующе.
Дебаг на проде
А что делать? Тестового стенда нет, backup некуда делать и нечем разворачивать. Так и живем последний крайний миллион лет.
Проблема не в том, что дебаг на проде, а что это просто ужасно работающий прод без особых попыток дебага.
это просто ужасно работающий прод
А вот это уже точка зрения и она зависит от того, кто вы - оптимист или пессемист.
анекдот в тему
Жили-были два брата близнеца. Похожие, конечно, но один оптимист, а другой пессимист. Соответственно один всем доволен и счастлив, а другой всегда недоволен, все ему не так.
И вот наступает Новый год, родители ломают голову, какой бы подарок сделать братьям, чтобы радости у них было поровну, ведь детей они своих любят одинаково... И вот под елочку пессимисту кладут лошадку, а оптимисту - кучку говна.
Утром пессимист в слезах: Сплошное огорчение...Не белая, а коричневая, грива куцая, хвост не той длины, да и вообще лошадь игрушечная, а он-то живую хотел.
А оптимист забегает в комнату радостный, глаза светятся: "А у меня лошадка ЖИВАЯ!!! Только она убежала..."
Спасибо за статью и что поднимаете эту тему! В маге был курс «Этика ИИ», вели философы. Проблем и вопросов разного толка встает очень много и единственный вариант поиска путей их разрешения и развития правового и этического регулирования, насколько я поняла, это постоянная дискуссия в обществе.
так и не понял о чём статья, что пытался проанализировать автор, за что ратовал, на что сетовал. Конкретно?
вероятность опасного развития событий больше нуля
Знаете - есть вероятность того, что вакуум космоса не является истинным вакуумом с минимальной энергией - и он в любой момент может скатиться в истинный вакуум - с полным коллапсом всей вселенной - вероятно так когда-то и произошёл большой взрыв! И что же после этого - бояться что всё вот вот может закончиться? Вероятность то больше нуля, и реальное это никак наперёд не проверить. То же и с искусственным интеллектом.
человечество обязательно погибнет
И это тоже ненулевая вероятность. Более того - она явно близка к 100% (если не 100% - но это уже философия) Цивилизациям свойственно зарождаться, развиваться и прекращать своё существование! Человечество с вероятностью близкой к 100% не первая и не последняя разумная цивилизация, пытающаяся выйти в космос, в нашей вселенной (а то и галактике, а то и на Земле). Но когда-нибудь и её срок придёт - человечество обязательно погибнет, так или иначе!
Вот только ИИ технологии могут как ускорить этот процесс, так и существенно его замедлить!
А вообще - если статистически провести оценку опасности для человечества потенциала ИИ и потенциала самих людей (без ИИ) - то люди пока будут выглядеть куда опаснее для своего выживания, чем гипотетический ИИ, которого и вовсе нет ещё и в помине!
А ИИ в руках людей будет ещё опаснее - вот этим не буду спорить - и это реально может быть проблемой, но как раз об этом автор как-то уж очень косвенно говорит!
Что да людей в "руках" (в микросхема и щупальцах) ИИ - то вот тут всё сложнее! Это вариант развития, когда люди специально будут взяты под контроль ИИ (добровольно или принудительно - это тоже большой вопрос). Лично мне симпатизирует идея быть под управлением ИИ (но не под тотальным контролем, а лишь при общем управлении) - ИИ не берёт взятки, его расчёты более точны и дальновидны, а сам более беспристрастен (хотя верю, что и гуманизм таким системам искусственного разума тоже будет свойственен на определённом этапе развития) - да и вообще ИИ это программа, а она может работать по разным сценариям, выбираемым под разные жизненные ситуации и динамически переключающаяся по необходимости.
Но люди должны оставаться свободными (в рамках своей природы, разумеется, пока они не научатся и её менять) - поэтому все несогласные всегда должны иметь возможность покинуть такое общество (вместе с планетой, или даже галактикой) и жить/развиваться где-то в изолированном месте (космос велик) - а уже принципы эволюции покажут кто был прав.
Возможно кому-то покажется что человек, ведомый ИИ, может потерять свою индивидуальность, своё личное самосознание - да - это риск, большой риск, но при развитии ИИ можно было бы заранее сделать на это акцент - как на наиболее неблагоприятное развитие.
Вот, только, как правильно оценивать наиболее неблагоприятные прогнозы развития человечества (вообще, а не столько как под контролем ИИ) - когда в будущем вероятными становятся лишь негативные прогнозы - один "хуже" другого - это большая человеческая дилемма - выбор из двух зол - и для ИИ этот выбор тоже будет не простым (не думайте, что качественны ИИ строго будет вести свою деятельность в сторону максимизации некой функции благосостояния человечества - эволюционные принципы уже строго доказывают несостоятельность такой стратегии - тут всё куда сложнее, и компьютерный интеллект должен научиться строить планы развития с учётом таких нюансов - кстати, люди, в таких ситуациях, традиционно бросают кости (в том или ином виде), всё остальное - лишь статистика опыта - и вполне является часть математического аппарата максимизации функции благосостояния). Так какой сценарий вбирать когда на одной чаще весов неизбежное более быстро вымирание человечества, а на другой переход на формально запрещённый коллективный разум, за-то на долю процентов менее вероятное и более медленное уничтожение? А что если в все сценарии предрекают муки, но в одном случае они будут просто более растянутыми (но менее жёстким) во времени?
Скажете такое решается голосованием? Большинство, как правило, делает не правильный выбор!
Конечно, как одна из возможных стратегий, могла бы быть стратегия диверсификации - разделения человечества на условно изолированные кластеры развития, с применением разных стратегий в каждой - какой-нибудь да повезёт больше - это в духе эволюционного развития, но не в духе гуманизма! Кто должен принимать такие решения? Разрозненная администрация в противовес с глуповатым в своей массе общество? Так пока они будут спорить они все загнуться по наихудшему сценарию - хуже, чем более неприятные по восприятию для всех сценарии, но дающие больше шансов на выживание (Или длительность жизни, при меньших муках). Лично моё мнение, высокоорганизованный ИИ и мог бы принимать такие решения куда более эффективно - в первую очередь для всего общества! Как Бог! Но может нас, как раз и сотворил такой бог - Высший разум - кремниевой цифровой природы! Эдакий вселенский ИИ (а может и чисто локальный - только для нашего сектора галактики). Никто это не знает. И это всё эфемерно сейчас оценивать!
Что до возможной деградации человечества под натиском сервисов от ИИ, виртуальной реальности, общей доступности пропитания, и потерей смысла в работе, развитии и жизни - опускание до уровня голодных зомби.... только голодными они как раз не будут - а будут очень даже упитанными! То да - такой сценарий пугает не на много меньше! Но.... опять же - если сразу в ИИ закладывать критерии недопущения такого развития событий - то он должен так развивать общество, чтобы смысл его развития и жизни у него не терялся! И это тоже очень сложная задача! И на вряд ли порочное, по своей природе ,человечество с ней справится лучше более беспристрастных цифровых систем.
И последнее. Это черезмерное размножение. Замечу - что сейчас это как раз свойственно той части цивилизаций планета Земля, которые как раз очень далеки от высоких технологий и автоматизированной жизни. В развитых же частях земного шара - всё как раз наоборот - стагнация рождаемости. Уже даже, так бурно плодящийся последние столетие, Китай пошёл на спад. А наблюдаемый бурный рост в развивающейся Индии скорее всего так же со временем (с ростом развития и благосостояния) - пойдёт на убыль! Возможно, это какие-то заложенные природой механизмы. В целом у меня такой прогноз - с развитием цифровых сервисов у людей попросту будет теряться само стремление к физиологической близости к друг другу и, как следствие, к размножению! То же самое и при увеличении продолжительности жизни - сейчас короткая жизнь как бы из биологического нутра подстёгивает поскорее оставить потомство и уйти в небытие - но если длительность жизни перестанет быть такой явной преградой - то и исчезнет сам стимул - к дальнейшей передаче своего генофонда. Тем более современные технологии уже даже не требуют, чтобы такая передача происходила в натуралистической форме и при жизни - генетический материал можно просто сдавать с банк на хранение - и в будущем, при необходимости использовать - причём поводя его смешение под контролем и в нужных для более эффективного (и разнообразного - я это подчёркиваю) развития всего человечества. Вот и закончится эра бурного роста численности населения - а там где нужно будет - скажем при экспансии на другие планеты - куда проще будет выращивать людей искусственно (в т.ч. через клонирование) с быстрым ростом и программированием сознания! Ох... какой ужас я прогнозирую (замечу - и без всякого акцента на ИИ)! Может всё будет и куда более радужно и разнообразно!
А, и теперь уж точно последнее. Нехватка еды и прочих ресурсов на этапе пока ещё бурно растущего человечества - вот тут ИИ как раз может прийти очень даже на помощь - просто заполонив планету дополнительными рабочими мощностями - превратив 90% неиспользуемой внешней территории в цветущий оазис, заодно и углубившись в недра и океаны - где заполучив на порядки больше возможностей к добычи ресурсов и еды, и, кстати, и мест для проживания. А виртуальная реальность ещё и поможет сделать сами необходимые территории для проживания, работы, и отдыха; и прочие потребности в ресурсах куда более скромными! Ну а далее - это колонизация бездонного космоса - с практически безграничными ресурсами! И терраформированием , и освоением других планет ИИ так же очень даже поможет человечеству!
Так что, мой итог такой - Искусственный Интеллект - это не губитель человечества - а его спаситель!
Упаси только Боже от ИИ в руках корыстях, злых и властных людишек - вот чего стоит бояться, а не чистого развития искусственного разума!
Опасен ли AI? Человечество дебажит свои идеи прямо на «проде»