Однажды искусственный интеллект станет умнее человека. В каких случаях это может быть опасным? Для изучения ситуации следует более точно определить понятие ИИ, например, на основе сравнения его с естественным интеллектом.
Может ли интеллектуал быть не умным? Может ли умный человек быть не интеллектуалом?
Приближение эры искусственного и интеллекта заставляет задумываться над этими вопросами, поскольку остается еще один вопрос – «Как его узнать?» — как узнать, что он уже близко или уже пришел – опасный для человечества искусственный интеллект? Так ведь можно и опоздать. Наверное, первым элементом опасности ИИ станет его самостоятельность, неконтролируемость в принятии решений.
Известно, что изучение проблемы опасности искусственного интеллекта для человечества уже финансируется [1]. Институт OpenAI изучает перспективы развития искусственного интеллекта. Что можно сказать о сегодняшнем развитии систем ИИ?
На сегодня видится два вида опасности применения ИИ:
— ошибки программного обеспечения;
— самостоятельная активность искусственного интеллекта во вред человеку.
Опасность первого рода характерна для всякого программного обеспечения, поэтому здесь о ней говорить не будем.
Искусственный интеллект может стать опасным, когда компьютер станет умным. Далее, попытаюсь обосновать это утверждение.
Давайте уточним эти понятия и подумаем об измерении. Неплохо бы определить, какая степень ума может быть допустимой для компьютера, а какая уже будет уже опасной для людей. Неизбежное сближение интеллектуальных возможностей компьютера и человека вынуждает нас научиться точно измерять эти свойства.
Что измеряют всем известные тесты IQ[2]? Можно ли применить их к компьютеру? Соревнования эрудитов что измеряют – знания или ум?
Ум и интеллект, – эти понятия связаны с умением решать задачи. Чем более трудную задачу может человек решить, тем он умнее. Вроде бы так. Значит надо измерить трудность задачи.
Интеллектуал (не путать с интеллигентом!) – тот человек, профессия которого состоит в решении задач всякого рода, как в естественных науках, так и в гуманитарных. Наверное, можно такими считать ученых, инженеров, писателей. Продукт труда интеллектуала – некоторая новая теория (ученый) или применение существующих теорий (инженер), результат их работы чаще всего документируется. Писатель также создает новые идеи или применяет существующие, но излагает их в такой форме, которая не требует специальных усилий для усвоения, поскольку книги хорошего писателя интересно читать.
Интеллектуал обладает специальными знаниями в области своей профессии и навыками, которые позволяют ему решать специальные задачи и создавать новые знания и новые теории.
Очевидно, что умных людей гораздо больше, чем интеллектуалов, поскольку большинство людей не заняты умственным трудом.
Может ли интеллектуал быть неумным? Правильнее, наверное, было бы сказать – насколько умным должен быть интеллектуал или насколько интеллектуальным должен быть умный человек, чтобы его считать таковым? Как измерить ум? Как измерить интеллект?
Возьмем для примера профессию программиста. Можно считать их интеллектуалами, поскольку они создают информационный продукт. Можно ли сказать, что все программисты умные? Этот вопрос требует дополнительного анализа.
Может быть, ум надо измерять длиной цепочки рассуждений, которую может построить человек для решения задачи, или правильнее будет измерить степень близости конкретного решения к оптимальному решению?
А требуемое количество знаний? А сложность этих знаний? Как это измерить?
Например, если ум можно измерять длиной цепочки утверждений, то интеллект можно измерять количеством знаний, которые необходимо применить для решений задачи.
Видимо, для полного сравнения разных умов (или интеллектов) людей или компьютеров понадобится несколько различных мер, например, скорость решения задачи, способность решать «в уме» или на бумаге. А как измерить остроумность решения? Кто интеллектуальнее — «умный» или «остроумный»?
Еще надо различать психические и логические способности к решению задач. Если человек обладает способностью в уме решать сложные задачи, значит ли, что он умнее человека, которые решает такие задачи с бумагой и ручкой? Как правило, люди, решающие задачи в уме производят впечатление более умных, поскольку быстро выдают решение. Даже можно предположить, что самые умные среди людей, такие как Ньютон, Эйнштейн, Ломоносов и многие другие великие люди обладали этой способностью -решать сложные задачи в уме, но все же это чисто физиологическая способность, как объем оперативной памяти компьютера.
Считается, например, что способностью «в уме» решить логическую задачу Эйнштейна о пяти домах и их обитателях обладают лишь два процента людей. А вот, сколько людей могут решить ее с бумагой и ручкой – 10%, 50%?
Можно подумать, что компьютер имеет интеллект не ниже 2% самых умных людей, поскольку есть программы, которые решают задачу Эйнштейна. Однако нельзя с этим согласиться, поскольку в данном случае компьютер выступает как человеко-машинная система, в которой самую интеллектуальную часть работы — концептуализацию и формализацию задачи выполняет человек.
Предлагаю такие определения.
Интеллект – способность решать задачи на основе приобретенных знаний соответствующих предметной области задачи. Включает еще и способность обучаться – приобретать знания, специальным образом приготовленные для усвоения студентом.
Ум – способность решать задачи при отсутствии соответствующих предметной области знаний. Включает способность самостоятельно создавать знания.
Можно сказать еще проще – интеллектуал применяет знания, умный – создает знания.
Конечно, надо понимать, что такое деление условно, поскольку каждый человек, какие-то знания применяет в готовом виде, и какие-то создает самостоятельно. В этом плане люди различаются лишь степенью ума и интеллекта.
Когда мы сможем сказать, что компьютер стал интеллектуальным? Если сделать программу, которая решит все возможные тесты по измерению IQ, можно ли будет сказать, что этот компьютер (программа) умнее человека?
Тесты IQ рассчитаны на то, что человек не имеет готовых знаний для их решения. Значит можно считать, что эти тесты предназначены для измерения (сравнения) ума, а не интеллекта.
Однако компьютер, решающий такие тесты, не станет от этого полезнее. Надо чтобы он решал любую задачу, сформулированную на естественном языке.
Если делать полноценные экспертные системы (первое требование к ним – понимание задач, сформулированных на естественном языке) для всех предметных областей, вместо применяемых ныне традиционных прикладных систем, то это будет первый шаг к построению безопасного искусственного интеллекта.
Существующие информационные системы являются человеко-машинными, поскольку без интеллекта пользователя и/или компьютерного эксперта они бесполезны.
Сегодняшние прикладные системы требуют от пользователя обучения — приобретения специальных знаний. Например, бухгалтеру, чтобы пользоваться системой 1С нужно пройти обучение, но и этого будет недостаточно, поскольку, в процессе работы бухгалтера с этой системой (как и с любой другой прикладной системой), постоянно возникает необходимость обращаться за консультацией к эксперту.
Прикладная система может называться экспертной, если специалисту (например, бухгалтеру) не будет требоваться специальное обучение для работы с компьютерной прикладной системой, и не будет требоваться обращение к консультанту для разрешения нестандартных ситуаций. Для таких видов компьютерных систем можно будет уверенно применять термин «безопасный (ограниченный) искусственный интеллект».
Даже если экспертная система полностью заменит бухгалтера–человека, она еще останется безопасной (если не считать опасностью безработицу среди бухгалтеров). Средства верификации принятых решений в бухгалтерии давно разработаны, поэтому ошибки в бухгалтерском программном обеспечении будут вовремя обнаружены.
Ели поднять уровень интеллекта компьютера еще выше, – например, наделить его способностью самостоятельно создавать прикладные системы, – это еще не будет опасным, хотя и будет существенным приближением к опасному уровню.
В каком случае интеллектуальная бухгалтерская система может стать опасной для человека – например, выдавать неверную информацию?
Опасность появится при наличии у системы искусственного интеллекта элементов личности, появление, например, собственного интереса, отдельного от человеческого. Чтобы исключить такое развитие событий, может быть, придется запретить создание интеллектуальных систем, способных к эволюции.
Есть еще другая опасность – ИИ может содержать логические ошибки. Поскольку решаемые им задачи могут быть очень сложными, а список задач заранее не известен, необходимо предусматривать специальные меры для верификации полученного решения. Например, для ЭС, стандартный элемент технологии – подсистема объяснения и/или обоснования полученного решения.
Возможна ли ситуация при которой способ решения задачи, построенный искусственным интеллектом, будет настолько сложным, что человек не сможет его понять? Сегодняшние интеллектуальные системы основаны на «человеческих» знаниях. Когда же ИИ станет «добывать» знания самостоятельно, мы не будем знать «о чем он думает». Это уже реальная опасность. Может быть, такие программные средства, когда возможность их создания станет реальной, придется запретить.
У С. Лема есть такой рассказ о будущем интернета – всемирная сеть, на основе объединения всего множества поступающей информации стала предсказывать события. Можно предположить, что следующим шагом развития такой сети стало бы управление мировыми событиями.
Видимо, придется разрабатывать всевозможные способы контроля систем искусственного интеллекта, из которых самые очевидные – это специальные программные средства для проверки правильности решения автоматически, без участия человека.
Это будет уже доверие искусственному интеллекту (или вера?) – «я не понимаю, как он это делает, но вот есть программа, которая его проверила». В технике это давно уже происходит – мы не можем проверить все механизмы и приборы на основе собственных органов чувств, доверяя специальным техническим средствам диагностики.
Ссылки
1. www.openai.com
2. www.en.wikipedia.org/wiki/Hans_Eysenck
Может ли интеллектуал быть не умным? Может ли умный человек быть не интеллектуалом?
Приближение эры искусственного и интеллекта заставляет задумываться над этими вопросами, поскольку остается еще один вопрос – «Как его узнать?» — как узнать, что он уже близко или уже пришел – опасный для человечества искусственный интеллект? Так ведь можно и опоздать. Наверное, первым элементом опасности ИИ станет его самостоятельность, неконтролируемость в принятии решений.
Известно, что изучение проблемы опасности искусственного интеллекта для человечества уже финансируется [1]. Институт OpenAI изучает перспективы развития искусственного интеллекта. Что можно сказать о сегодняшнем развитии систем ИИ?
На сегодня видится два вида опасности применения ИИ:
— ошибки программного обеспечения;
— самостоятельная активность искусственного интеллекта во вред человеку.
Опасность первого рода характерна для всякого программного обеспечения, поэтому здесь о ней говорить не будем.
Искусственный интеллект может стать опасным, когда компьютер станет умным. Далее, попытаюсь обосновать это утверждение.
Давайте уточним эти понятия и подумаем об измерении. Неплохо бы определить, какая степень ума может быть допустимой для компьютера, а какая уже будет уже опасной для людей. Неизбежное сближение интеллектуальных возможностей компьютера и человека вынуждает нас научиться точно измерять эти свойства.
Что измеряют всем известные тесты IQ[2]? Можно ли применить их к компьютеру? Соревнования эрудитов что измеряют – знания или ум?
Ум и интеллект, – эти понятия связаны с умением решать задачи. Чем более трудную задачу может человек решить, тем он умнее. Вроде бы так. Значит надо измерить трудность задачи.
Интеллектуал (не путать с интеллигентом!) – тот человек, профессия которого состоит в решении задач всякого рода, как в естественных науках, так и в гуманитарных. Наверное, можно такими считать ученых, инженеров, писателей. Продукт труда интеллектуала – некоторая новая теория (ученый) или применение существующих теорий (инженер), результат их работы чаще всего документируется. Писатель также создает новые идеи или применяет существующие, но излагает их в такой форме, которая не требует специальных усилий для усвоения, поскольку книги хорошего писателя интересно читать.
Интеллектуал обладает специальными знаниями в области своей профессии и навыками, которые позволяют ему решать специальные задачи и создавать новые знания и новые теории.
Очевидно, что умных людей гораздо больше, чем интеллектуалов, поскольку большинство людей не заняты умственным трудом.
Может ли интеллектуал быть неумным? Правильнее, наверное, было бы сказать – насколько умным должен быть интеллектуал или насколько интеллектуальным должен быть умный человек, чтобы его считать таковым? Как измерить ум? Как измерить интеллект?
Возьмем для примера профессию программиста. Можно считать их интеллектуалами, поскольку они создают информационный продукт. Можно ли сказать, что все программисты умные? Этот вопрос требует дополнительного анализа.
Может быть, ум надо измерять длиной цепочки рассуждений, которую может построить человек для решения задачи, или правильнее будет измерить степень близости конкретного решения к оптимальному решению?
А требуемое количество знаний? А сложность этих знаний? Как это измерить?
Например, если ум можно измерять длиной цепочки утверждений, то интеллект можно измерять количеством знаний, которые необходимо применить для решений задачи.
Видимо, для полного сравнения разных умов (или интеллектов) людей или компьютеров понадобится несколько различных мер, например, скорость решения задачи, способность решать «в уме» или на бумаге. А как измерить остроумность решения? Кто интеллектуальнее — «умный» или «остроумный»?
Еще надо различать психические и логические способности к решению задач. Если человек обладает способностью в уме решать сложные задачи, значит ли, что он умнее человека, которые решает такие задачи с бумагой и ручкой? Как правило, люди, решающие задачи в уме производят впечатление более умных, поскольку быстро выдают решение. Даже можно предположить, что самые умные среди людей, такие как Ньютон, Эйнштейн, Ломоносов и многие другие великие люди обладали этой способностью -решать сложные задачи в уме, но все же это чисто физиологическая способность, как объем оперативной памяти компьютера.
Считается, например, что способностью «в уме» решить логическую задачу Эйнштейна о пяти домах и их обитателях обладают лишь два процента людей. А вот, сколько людей могут решить ее с бумагой и ручкой – 10%, 50%?
Можно подумать, что компьютер имеет интеллект не ниже 2% самых умных людей, поскольку есть программы, которые решают задачу Эйнштейна. Однако нельзя с этим согласиться, поскольку в данном случае компьютер выступает как человеко-машинная система, в которой самую интеллектуальную часть работы — концептуализацию и формализацию задачи выполняет человек.
Предлагаю такие определения.
Интеллект – способность решать задачи на основе приобретенных знаний соответствующих предметной области задачи. Включает еще и способность обучаться – приобретать знания, специальным образом приготовленные для усвоения студентом.
Ум – способность решать задачи при отсутствии соответствующих предметной области знаний. Включает способность самостоятельно создавать знания.
Можно сказать еще проще – интеллектуал применяет знания, умный – создает знания.
Конечно, надо понимать, что такое деление условно, поскольку каждый человек, какие-то знания применяет в готовом виде, и какие-то создает самостоятельно. В этом плане люди различаются лишь степенью ума и интеллекта.
Когда мы сможем сказать, что компьютер стал интеллектуальным? Если сделать программу, которая решит все возможные тесты по измерению IQ, можно ли будет сказать, что этот компьютер (программа) умнее человека?
Тесты IQ рассчитаны на то, что человек не имеет готовых знаний для их решения. Значит можно считать, что эти тесты предназначены для измерения (сравнения) ума, а не интеллекта.
Однако компьютер, решающий такие тесты, не станет от этого полезнее. Надо чтобы он решал любую задачу, сформулированную на естественном языке.
Если делать полноценные экспертные системы (первое требование к ним – понимание задач, сформулированных на естественном языке) для всех предметных областей, вместо применяемых ныне традиционных прикладных систем, то это будет первый шаг к построению безопасного искусственного интеллекта.
Существующие информационные системы являются человеко-машинными, поскольку без интеллекта пользователя и/или компьютерного эксперта они бесполезны.
Сегодняшние прикладные системы требуют от пользователя обучения — приобретения специальных знаний. Например, бухгалтеру, чтобы пользоваться системой 1С нужно пройти обучение, но и этого будет недостаточно, поскольку, в процессе работы бухгалтера с этой системой (как и с любой другой прикладной системой), постоянно возникает необходимость обращаться за консультацией к эксперту.
Прикладная система может называться экспертной, если специалисту (например, бухгалтеру) не будет требоваться специальное обучение для работы с компьютерной прикладной системой, и не будет требоваться обращение к консультанту для разрешения нестандартных ситуаций. Для таких видов компьютерных систем можно будет уверенно применять термин «безопасный (ограниченный) искусственный интеллект».
Даже если экспертная система полностью заменит бухгалтера–человека, она еще останется безопасной (если не считать опасностью безработицу среди бухгалтеров). Средства верификации принятых решений в бухгалтерии давно разработаны, поэтому ошибки в бухгалтерском программном обеспечении будут вовремя обнаружены.
Ели поднять уровень интеллекта компьютера еще выше, – например, наделить его способностью самостоятельно создавать прикладные системы, – это еще не будет опасным, хотя и будет существенным приближением к опасному уровню.
В каком случае интеллектуальная бухгалтерская система может стать опасной для человека – например, выдавать неверную информацию?
Опасность появится при наличии у системы искусственного интеллекта элементов личности, появление, например, собственного интереса, отдельного от человеческого. Чтобы исключить такое развитие событий, может быть, придется запретить создание интеллектуальных систем, способных к эволюции.
Есть еще другая опасность – ИИ может содержать логические ошибки. Поскольку решаемые им задачи могут быть очень сложными, а список задач заранее не известен, необходимо предусматривать специальные меры для верификации полученного решения. Например, для ЭС, стандартный элемент технологии – подсистема объяснения и/или обоснования полученного решения.
Возможна ли ситуация при которой способ решения задачи, построенный искусственным интеллектом, будет настолько сложным, что человек не сможет его понять? Сегодняшние интеллектуальные системы основаны на «человеческих» знаниях. Когда же ИИ станет «добывать» знания самостоятельно, мы не будем знать «о чем он думает». Это уже реальная опасность. Может быть, такие программные средства, когда возможность их создания станет реальной, придется запретить.
У С. Лема есть такой рассказ о будущем интернета – всемирная сеть, на основе объединения всего множества поступающей информации стала предсказывать события. Можно предположить, что следующим шагом развития такой сети стало бы управление мировыми событиями.
Видимо, придется разрабатывать всевозможные способы контроля систем искусственного интеллекта, из которых самые очевидные – это специальные программные средства для проверки правильности решения автоматически, без участия человека.
Это будет уже доверие искусственному интеллекту (или вера?) – «я не понимаю, как он это делает, но вот есть программа, которая его проверила». В технике это давно уже происходит – мы не можем проверить все механизмы и приборы на основе собственных органов чувств, доверяя специальным техническим средствам диагностики.
Ссылки
1. www.openai.com
2. www.en.wikipedia.org/wiki/Hans_Eysenck