Comments 126
Симпатично, но не логично, на мой скромный взгляд. Более вероятно, что весь прогноз закончится на первом этапе, когда все всех поубивают, и мы откатимся в каменный век.
Плюс, вы не говорите о трансформации полит-экономического строя. Переход рыночной экономики в плановую не возможен без смены строя, ведь это инструменты для достижения совершенно разных целей. Капитализм, ведь, - это про извлечение прибыли и эксплуатацию одного класса, пролетариев, другим, капиталистами. А роботов эксплуатировать в этом смысле не получится, им зарплату (электропитание) не урежешь, медицину (техобслуживание) не оптимизируешь, образование не разрушишь (запрограммировать самую первую программу кто-то, кто не ии, должен ведь).
Поэтому тут как раз будет "социализм или каменный век" (за точность цитирования не ручаюсь, но смысл в том, что как раз таки без качественных изменений в общественных отношениях не обойдётся)
А роботов эксплуатировать в этом смысле не получится, им зарплату (электропитание) не урежешь, медицину (техобслуживание) не оптимизируешь, образование не разрушишь (запрограммировать самую первую программу кто-то, кто не ии, должен ведь).
Зато насколько успешно можно с помощью этих самых роботов эксплуатировать биомассу для извлечения сверхприбыли...
А про социализм - вы правы. Только переход к новым производственным отношениям и новой формации позволит использовать великие изобретения человечества во благо этого человечества, а не малой его части.
Зато насколько успешно можно с помощью этих самых роботов эксплуатировать биомассу для извлечения сверхприбыли...
Тут ещё загвоздка в том, что "биомасса" - это самовоспроизводящийся ресурс, а роботы - нет. И отделить роботов от "биомассы" не получится, ибо они есть продукт труда этой "биомассы", а не эволюционного развития. Так что, без человека - никуда.
Вообще - да, согласен, но, насколько я понимаю, принципиальных проблем здесь нет - можно полностью автоматизировать все процессы начиная от разведки полезных ископаемых и до производства конечной продукции. Само собой - в очень далёком будущем. Но принципиально - возможно.
Зачем тогда биомасса?
Для процесса самовоспроизводства железа для ИИ - не нужна. Её задача в этом процессе только запуск.
Зато насколько успешно можно с помощью этих самых роботов эксплуатировать биомассу для извлечения сверхприбыли...А это тогда к чему?
К тому, кто будет контролировать и использовать этот инструмент.
Да, чуть подробнее.
Для самовоспроизводства железа для ИИ нет принципиальных ограничений.
Кто будет контролировать ИИ - тот будет эксплуатировать биомассу.
Биомасса будет занята чем-нибудь и без необходимости производить железо для ИИ.
"Матрица" - это не совсем фантастический фильм.
Так и не понял, зачем контролировать биомассу, если уже есть самовоспроизводящийся ИИ...
В капиталистическом обществе ИИ используется небольшой группой людей (буржуазией) для более эффективной эксплуатации населения. Автоматическое производство железа для ИИ никак этой схеме не мешает.
Ну как вы не поймёте. По тому, что "буржуазия" - злая. Если не будет "биомассы", то кого они будут эксплуатировать? Роботов? Так они не страдают. (сарказм, но послание автора комментария про "биомассу" выглядело именно так).
Ну в тексте исходят из того, что ИИ этот получается, видимо, как результат некоторого приложения сил экономических элит и политических элит
Что, по-своему, звучит разумно: экономическим в одиночку все равно не хватит ресурсов, а политическим помешают консерватизм и бюрократизированность
В космической сфере это вполне себе наблюдаем потихоньку, туда стремится бизнес и худо-бедно пытается делать что-то новое
Даже если элиты экономические - идеальная "корпорация зла", которая стремится только к максимизации прибыли, пусть даже человечки и передохнут, то политические себе позволить этого не могут: без государства их просто не существует
То есть биомасса должна быть, но должна быть контролируема, занята и накормлена, хотя бы до того предела, пока не дохнет и не бузит
Почему это "хотя бы" должно вылиться в "ровно", а не привести ко всеобщему благоденствию - непонятно и тут начинаются странные выводы в изначальном тексте
Представление, что в софт ИИ будут зашиты некоторые "законы робототехники" - резонно, но что главным из них будет "сохранение элит" - небесспорно, поскольку формироваться этот свод правил будет на раннем этапе, когда перестройки общества до такой степени еще не произойдет
Да и почему всесведущий ИИ должен вдруг пойти по пути создания полувиртуального ковчега - тоже непонятно
И вот уже на этом этапе, даже если ранее сценарий весь принять как данность, становится не вполне понятно что там за эфимерное стремление элит к доминированию и почему оно должно быть реализовано именно в виде полувиртуализированного человечества, угнетенного этими элитами, а не каким-то более рентабельным способом
В общем, в завязке есть логика
Почему на ранних этапах человечество должно быть сохранено - понятно, чисто из политических соображений
А вот все дальнейшие выводы - это уже завязка для закручивания сюжета постапокалиптического фильма, иначе антагониста не получается, если нет злых корпораций, злых элит, суперпрагматичного ИИ и угнетенного человечества
Зато насколько успешно можно с помощью этих самых роботов эксплуатировать биомассу для извлечения сверхприбыли...
Тут вопрос про первенство в захвате контроля на планете, биомассу итак уже прилично доят и без соответствующих трансформаций (а это уже процессы другого уровня), большего извлечь сложнее.
А про социализм - вы правы. Только переход к новым производственным
отношениям и новой формации позволит использовать великие изобретения
человечества во благо этого человечества, а не малой его части.
Маркс и Энгельс по сути не различали эти понятия, социализм вроде был как первой стадией коммунизма. Но и стоит заметить, что коммунизм тоже очень похож лишь на начало пути, например в буддизм (сам не углублялся во всём этом) :-D
Статья хороша лишь как очередной повод задуматься и выглядит крайне субъективно и любительски. Учитывая, что первая публикация и возможно автор повысит уровень в дальнейшем, ему отдельное спасибо.
большего извлечь сложнее.
Тут ещё скрытых возможностей - море.
коммунизм тоже очень похож лишь на начало пути, например в буддизм
Коммунизм - это всего лишь слово, название следующей после капитализма общественно-экономической формации. Можете называть как угодно, это не принципиально.
Принципиально - это марксизм. Это уже существующая наука с устоявшейся терминологией и понятийной базой.
Буддизм - это религия.
Тут ещё скрытых возможностей - море.
Тут согласен же, но пишу, что требуются изменения для этого...
Принципиально - это марксизм.
Тогда признаю, взглянул на вашу фразу ранее более узко.
Буддизм - это религия.
Истинные буддисты вроде так не считают насколько я знаю, но снисходительны видимо ко всем)))
Вы зря спорите. Религия - это вера, наука - это знание. Марксизм - наука, построенная на знании. Причём, выводы этой науки абсолютно воспроизводимы экспериментально. К сожалению, эксперименты эти происходят помимо нашей воли и сразу на живых людях. Собственно, текущая ситуация с войной или история с развалом СССР тому ярчайшие примеры.
Если уж вы рассуждаете о (не-)научности марксизма, и подобии его религии (которой из, кстати), то по каким же признакам вы их приравниваете? И какие ещё доказательства, кроме объективного исторического процесса, для вас были бы подтверждением научности марксизма?
А какие у вас есть?
Это мы еще опускаем, что понятие научности применяется к конкретным гипотезам а не к сферам знания в целом.
Примерно такие же доводы приводят господа воцерквлённые, утверждая что наука суть - религия.
Чем отличается наука от религии? Постулаты религии принимаются исключительно на веру и не могут быть доказаны или опровергнуты экспериментальными методами.
Именно поэтому марксизм - суть наука. Любые утверждения могут быть доказаны или опровергнуты, зиждутся исключительно на логике и нахождении зависимостей. Не являются догматами и изменяются, уточняются или дополняются со временем.
Мне кажется, тут есть интересная заковыка.
Что такое марксизм? Это конкретное учение, построенное вокруг конкретных постулатов: необходимость диктатуры пролетариата, наличие отчуждения, эксплуатации, классового самосознания...
Доказывая ошибочность этих постулатов, вы автоматически становитесь не-марксистом. То есть, чтобы быть 100% марксистом, нужно на 100% признавать все положения учения, а чем больше шагов в сторону, тем меньше ты марксист. Похоже на религию?
Что такое марксизм? Это конкретное учение, построенное вокруг конкретных постулатов: необходимость диктатуры пролетариата, наличие отчуждения, эксплуатации, классового самосознания...
Марксизм - это наука, наиболее точно на данный момент описывающая процессы развития человеческого общества. А не то, что вы сейчас написали.
Как бы то ни было, правильность всех перечисленных вами постулатов, была доказана на практике.
Например: отказ от диктатуры пролетариата, привёл сначала к распаду СССР, а теперь к изменению политического строя в Китае.
Дело в не том, верны постулаты или нет. А в том, что тот, кто попытается утверждать, что постулаты не верны, перестаёт быть марксистом.
А так, пожалуйста, заповеди в христианстве тоже можно считать "доказанными на практике".
Вполне вероятно. Это как если кто-то берётся утверждать что 2х2<>4, перестаёт считаться матеметиком. Если только не докажет свою правоту не противоречивыми выкладками. Так и тут, утверждаешь - докажи.
В социальных науках нельзя ничего доказать, нет общей аксиоматической базы, которую примут все. Попробуйте "доказать" капиталисту, что диктатура пролетариата — это единственно правильный путь развития общества.
Вот ведь в чём фишка - привести неопровержимые доказательства можно. С цифрами и графиками, а вот доказать ни чего не получится. Как говорят более образованные товарищи - диолектико.
Для капиталиста, капитализм - принцип существования. И доказательства ведущие к его уничтожению не приемлемы.
"Неопровержимые" они только в одной аксиоматике. А в другой — фальшивые. Например, вы с цифрами можете доказывать, что в стране X упало потребления мяса и молока на душу населения, на что оппонент ваш скажет "вам лишь бы живот набить, зато появилось 13 моделей айфонов и 250 фильмов Marvell, это уж точно интереснее".
Попробуйте "доказать" капиталисту, что диктатура пролетариата — это единственно правильный путь развития общества.
Здесь немного не так. Диктатура пролетариата является необходимым условием только в том случае, если буржуазия начнёт активно сопротивляться становлению новой формации.
Если же буржуазия просто согласится с новым временем и новыми правилами, то необходимость в диктатуре отпадёт или будет носить формальный характер.
Вы, товарищ, на мой взгляд, не правильно понимаете термин диктатура. Это всего лишь - безоговорочная власть. На текущий момент, мы имеем диктатуру капитала. Иногда она ограничена законодательно социальными завоеваниями, которые ошибочно принимают за социализм (условный Шведский социализм). Но ни что не помешает капиталу отменить эти завоевания, например изменения в пенсионную политику, произошедшие во Франции и России. Именно поэтому необходима диктатура пролетариата, чтобы реакционные силы не обратили завоевания вспять. Отказ от диктатуры пролетариата, привел к падению СССР и реакции в Китае. Иногда, диктатура капитала может принимать чудовищную, террористическую форму, это называется фашизм.
От диктатуры пролетариата можно отказаться только в случае полного изжития класса капиталистов и реакционных элементов во всём мире.
Вы по большей степени говорите так, как было. А я оптимист и допускаю, что можно организовать процессы без диктатуры одного класса - например, когда другой класс-антагонист согласится с невозможностью дальнейшего эффективного существования классового общества и добровольно будет не только не сопротивляться, но и активно помогать в построении новых общественных отношений.
Вы скажете - фантастика, а я вам приведу неожиданный аргумент: Маркс и Энгельс сами принадлежали к буржуазии, да и Ленин не был пролетариатом. Как и многие другие представители буржуазии и интеллигенции, стоявшие у истоков революционного движения. Т.е. люди, даже принадлежа к классу-антагонисту, поменяли своё мировоззрение на более прогрессивное и встали на позиции противоположного класса. И если таковых будет гораздо больше, чем стоящих на устаревших позициях, то они смогут вместе с пролетариатом создавать новый мир, и необходимость в диктате значительно снизится или отпадёт совсем. Диктат не нужен там, где есть реальная демократия и совместная, добровольная работа всех членов общества.
Попробуйте «доказать» капиталистуНо капиталисты существуют только в парадигме марксизма)
А в том, что тот, кто попытается утверждать, что постулаты не верны, перестаёт быть марксистом.
Учёные, начавшие продвигать "Новую хронологию", перестают быть учёными и становятся шарлатанами.
Ловко вы провели знак равенства между шарлатанами и несогласными с марксизмом ))
Это, конечно, не всегда так, но когда учёный пытается что-то придумать просто потому, что хочет отменить марксизм - это уже граничит с шарлатанством, если не сказать больше.
Если кто-то хочет доказать ошибочность постулатов марксизма - он должен обосновать это очень основательно, так, чтобы не прикопаться было. Но пока все попытки выглядят весьма слабыми.
Ну, вот, например. Согласно марксизму, чтобы увеличить свою прибыль, капиталист будет использовать следующие способы: снижать себестоимость за счёт замены комплектующих на более дешёвые, а также снижать заработную плату своим рабочим. Какая ещё наука может это опровергнуть и дать некий более близкий к истине вариант?
Видимо, тут можно провести параллели с христианством, которое "приватизировало морально-этические нормы, выработанные человеческим обществом задолго до".
Я думаю, за 500 лет до марксистов было известно, что для повышения прибыли нужно платить меньше и сырьё использовать дешёвое.
Представьте - нет. Только Маркс в своём "Капитале" досконально препарировал, как это работает. Более того, и после Маркса есть постоянные попытки объяснить все эти явления иначе, другими причинами. Но всё это так далеко от реальности, что подобные экономические школы не имеют широкой известности и даже сами стараются сильно не светиться, т.к. понимают, что не выдержат серьёзной критики.
нужно платить меньше и сырьё использовать дешёвое.
Были и другие способы. Например - вообще не платить, зачем рабу или крепостному что-то платить. В своё время, капитализм был очень прогрессивным направлением. Ни кто не отнимает его исторических заслуг. Так же, в своё время, феодализм тоже был прогрессивной экономической формацией, по сравнению с рабовладением. Однако, сейчас мало найдёшь людей кричащих - давайте всех загоним в феоды и введём сословное разделение.
А так, пожалуйста, заповеди в христианстве тоже можно считать "доказанными на практике".
Тут есть нюанс.
Религия приватизировала морально-этические нормы, выработанные человеческим обществом задолго до появления религий. Так что - да, заповеди не только доказаны на практике, они являются результатом многовекового эксперимента, проходившего в человеческом обществе.
Марксизм — наука, построенная на знании.
"Учение Маркса всесильно, потому что оно верно. Оно полно и стройно, давая людям цельное миросозерцание, непримиримое ни с каким суеверием, ни с какой реакцией, ни с какой защитой буржуазного гнёта. Оно есть законный преемник лучшего, что создало человечество в XIX веке в лице немецкой философии, английской политической экономии, французского социализма."
Некто В.И.Л.
Абсолютно верное высказывание. Плюсую, как говорится.
На сколько я помню, речь шла о правильно выбранном направлении. И вместе с тем, сам В.И.Л. внёс множество исправлений и дополнений в общую теорию. Кроме того, на практике доказал ряд постулатов, что не может не говорить в пользу научности Марксизма - Лененизма.
Капитализм, ведь, - это про извлечение прибыли и эксплуатацию одного класса, пролетариев, другим, капиталистами.
В одной псевдонаучной теории. В реальном мире все не так, и дальнейшие рассуждения невалидны.
Симпатично, но не логично
Прекрасный пример клипового мышления.
Развитие общества описано математически и никакого "вероятностного" там нет. Но изучать предмет так скучно, веселее насмотреться марвела и поиграть в сценариста.
Человечество сейчас - своего рода эмбрион, а процесс, описанный в статье - рождение (или трансформация, как бабочки появляются из куколок или цыплята вылупляются из яиц). Если всё пойдет по плану, то всё будет примерно так, как описано. Но мы знаем, что в жизни не всегда все идет по плану. Бывает и мертворождение, и прочие сбои. Уничтожение цивилизации и/или откат в каменный век - один из таких возможных сбоев.
В целом автор очень точно угадал будущее человечества и последствия технологической сингулярности. Я пришел к таким же выводам значительно раньше, еще задолго до чатов с ГПТ.
...Это второе, чего не хватает - не хватает органов чувств и активных органов воздействия (подобно нашим рукам и ногам)
Однажды модель унюхает своими органами чувств, что кожаный мешок невкусно пахнет, и решит активными органами воздействия удавить его ночью в кровати )))
Скорее всего деградация и упрощение мозга будет как раз у элит - им не за что бороться и незачем развиваться, комфортная жизнь и так гарантирована. А вот социальным низам будет тесно в том загончике, в который их определили, что стимулирует постоянные попытки хакнуть систему.
Будет усиленный конфликт в элите за власть и господство в системе. Кто будет задавать цели для ИИ. Комфортная жизнь будет всем гарантирована, а вот власть штука очень ценная и которую невероятно трудно поделить.
Imho все ровно наоборот, у элит и так поколениями комфортная жизнь. Но при этом идет постоянная борьба за власть, которая держит в тонусе и заставляет шевелить мозгами.
Я, конечно, могу ошибаться, но со стороны выглядит так, как будто нынешние ИИ представляют из себя поисковую машину, которую научили грамотно составлять предложения в выдаче. Плюс добавили шаблоны ответов на стандартные вопросы.
Собственно научить компьютер компилировать связные тексты не должно быть сильно трудно - на самом деле здесь всё ограничивается сотнями, максимум - тысячами вариантов, и словарный запас на сотню тысяч слов.
А "знания" ИИ - это тупо поиск по открытой информации в сети, плюс немного дополнительных вводных в угоду идеологии и политике. Не зря ведь ИИ очень давно начали заниматься в Google.
А вот что ИИ не умеет и вряд ли научится - генерировать желание, идею. Трудовой процесс человека состоит из нескольких этапов: изучение окружающей материи - анализ полученной информации - творческое переосмысление и рождение идеи - реализация идеи путём трансформации окружающей материи под свои нужды. Но триггером для этого процесса выступает неудовлетворение окружающими условиями - именно поэтому человек всегда стремится к лучшему.
Если исчезнет человек - все эти ИИ просто будут грудой железа. Они не издадут ни звука, не выведут на экран ни слова. Они - лишь инструмент, который активируется исключительно человеком и исключительно тогда, когда у человека возникает некая идея - проверить, что может ИИ, заставить его выдать какой-то текст или картинку, предложить ему сочинить музыку и т.д. и т.п.
В общем, все страхи про то, как ИИ выпилит человечество - это заблуждение. Но при этом в нынешней общественно-экономической формации, построенной на жёсткой конкуренции, ИИ может стать ещё одним инструментом, с помощью которого один человек сможет выпилить другого человека. И вот это - вполне реальная угроза. Атомная энергия может давать сверхдешёвое и экологически чистое электричество, а может убивать. Вопрос только в том, в чьих руках это великое изобретение.
Человечество выпилит само себя. ИИ - это всего-лишь мощный инструмент в неумелых руках.
Сложно даже представить, спрогнозировать, какие социальные потрясения это всё спровоцирует. Достаём поп-корн. Гранату обезъяне уже выдали. Ждём, что будет дальше.
АвтоГПТ такой
Когда я задал одной сети вопрос о ее любимом цвете, она ответила, и поинтересовалась, какой мой любимый цвет. Зачем ей было этот вопрос задавать? Ради поддержания разговора. Недели через две этот баг закрыли.
Насколько мне известно, основа тренировки LLM - это поддержка разговора (составление связных предложений по контексту и известным знаниям, GPT-модуль) и адекватность ответов (поисковая машина+система ограничений, RL-модуль). Все остальное она делает так себе, по моему. Ни один из ее ответов на мои программерские задачи не смог заработать, и из ответов понятно почему - они были комбинацией известных мне решений, умело слитых вместе до состояния убедительной иммитации, но в результате нерабочих.
С моей точки зрения, ИИ давно стоит расшифровывать, как У-и-и-и: Удивительно Искуссная Иммитация Интеллекта. Остается понять - является-ли иммитация интеллекта в действительности интеллектом или нет, а это - вопрос философский.
О душе надо думать.
С моей точки зрения, ИИ давно стоит расшифровывать, как У-и-и-и: Удивительно Искуссная Иммитация Интеллекта. Остается понять - является-ли иммитация интеллекта в действительности интеллектом или нет, а это - вопрос философский.
О душе надо думать.
Глубокий комментарий, а уж если раскрыть понятия "интеллект" и "душа", то и вопросов не останется... :-D
Интеллект (с моей точки зрения) - это способность верно предсказывать результаты эксперимента до его проведения.
Вот например, что выдает одна сеть на вопрос: Что будет, если уронить урановый лом на Солнце?
Ваш вопрос очень интересный, но я не думаю, что это возможно сделать на практике. Урановый лом — это металлический предмет, который тяжелее и плотнее воздуха и солнечной плазмы. Если вы попытаетесь уронить его на Солнце, он просто сгорит в атмосфере Солнца или испарится от высокой температуры.
Кроме того, урановый лом — это радиоактивный материал, который может быть опасным для жизни и здоровья. Я не рекомендую вам экспериментировать с ним без специальной защиты и разрешения.
Вот например, что выдает одна сеть на вопрос: Что будет, если уронить урановый лом на Солнце?
Разве первокласснику зайдёт ответ, и то не каждому)))
Интеллект - это способность верно предсказывать результаты эксперимента до его проведения.
С этим не так просто... Взять хотя бы составляющие интеллекта, пусть хотя бы одно сознание. Следом подтянутся такие понятия как самосознание (сознание сознанием самого себя), подсознание... Многие разбираются в этом достаточно для понимания возможного устройства ИИ, не говоря про подробности механизма? А случайные попытки? Про них написал @gatoazul ;-)
А что с ответом не так? Ведь на правду-то похоже. Но поток альфа-частиц от Солнца может вызвать в ломе цепную реакцию и рядом с ломом будет опасно находиться, но это мелочи. Ведь если он все-таки долетит, то от него точно ничего не останется, без сомнения.
А насчет интеллекта, много разных определений и видов, а если уходить в дебри картезианства или не дай бог, фрейдизма, то можно определенно сказать - иногда железяка - это просто железяка. А поэтому обладать интеллектом не может: ведь отсутствуют комплексы (откуда им взяться, если и мамы не было, и папы не было, а значит и Эдипа с Электрой не было, да и с полом у железки полный швах, и все стройное здание детских комплексов катится в тартарары). А раз нет нужных комплексов - то нет и подсознания, а раз нет подсознания, то и полноценный интеллект не получается. Все эти определения они слишком человеческие, ведь определять интеллект как степень похожести исследуемого субъекта на человека - дело гиблое, можно легко ошибиться.
Поэтому я обычно пользуюсь своим - оно более нейтрально и неантропоморфно.
А что с ответом не так? Ведь на правду-то похоже.
Всё так, но мне это и так понятно, а не было бы, то проще и полезнее было бы воспользоваться поисковиком. Но это возможно дело привычки...
А насчет интеллекта,... ...Поэтому я обычно пользуюсь своим - оно более нейтрально и неантропоморфно.
Это ваше право, плюс если соответствует целям (смотря что хотят получить от создаваемого ИИ), то я лишь за ;-)
Зачем ей было этот вопрос задавать?
Тут всё очень просто. ГПТ учили в том числе на дампах чатов - реальной болтовне кожаных мешков. Как часто люди, из вежливости, задают встречный вопрос о цвете? Шанс достаточно велик, вам так легла фишка.
Если не секрет, что такое вы у нее спрашивали программистское, что она вам не смогла ответить? Лично я спользую gh copilot около двух лет и, с недавнего времени, chatgpt именно для кодинга, и не перестаю удивляться каждый день. Где-то 60-70% кода за меня пишет ИИ под моим надзором. Особенно хорошо получается дебажить и писать тесты - по ощущением 80% генераций я принимаю без правок, ответы получаются идеальными, не прибавить не убавить. Да, новый язык или фреймворк оно не напишет, но весомую часть рутины убирает.
Да уж не помню сейчас. Я последнее время много пишу на python/tensorflow и задавал какие-то технические вопросы по реализациям то вполне конкретных архитектур сетей, то каких-то преобразований TF, которых в принципе нет в интернете. То, что она выдавала, либо не работало по техническим причинам, либо было очевидно нелепо и поэтому тоже не работало, либо решало совсем другую (намного более примитивную) задачу. В общем сеть выдавала ощутимо не то что надо, было очевидно что не знает правильного ответа, и фантазирует из того, что знает в других областях. То-есть занимается сочинительством. А меня такие штуки не интересуют, сколько будет 2+2 - я и так знаю, фантазий не люблю, и с таким источником разговаривать - только время терять. И это не только ChatGPT, и другие LLM этим грешат. Мне проще самому поискать, разобраться и параллельно десяток новых для себя вещей изучить.
Мне не нужен ответчик на мои вопросы, тем более неправильный (или тем более правильный), иначе я думать разучусь, а я - хомо немного сапиенс, мне нельзя.
В этом смысле по-моему каждому стоит прочитать рассказ Мешок В.Моррисона, там все доступно объяснено, и даже переведено Стругацкими:
— Так ли велика моя ценность, как это кажется? — продолжал Мешок. — И следовало бы спросить, что приносят мои ответы — пользу или вред?
— А что они приносят?
— Вред. — Процесс достижения истины так же драгоценен, как и сама истина. Я лишил вас этого. Я даю вашим ученым истину, но не всю, ибо они не знают, как достигнуть ее без моей помощи. Было бы лучше, если бы они познавали ее ценой многих ошибок.
Да, новый язык или фреймворк оно не напишет, но весомую часть рутины убирает.
Только рутины по кодингу.
Значительная же часть работы некоторых программистов состоит не из кодинга, а из выяснения подробностей ТЗ, просветительской работы среди пользователей, палеонтологических раскопок в старом коде и архивах с логами, составлении необычных запросов в БД для выяснения даты, когда что-то пошло не так, и попыток понять, что именно в существующей архитектуре пошло не так, плюс веселые споры об архитектуре нового модуля, где нет однозначного решения, а нужно выбрать из нескольких по критериям, которые не очевидны и нуждаются в новых спорах...
Оно может пройти собеседование лучше меня, оно может даже пройти грейдинг на получение прибавки к зп, оно способно быстро выдать решение по тривиальным повторяющимся задачам... Но заменить меня еще долго не сможет, потому что значительная часть работы состоит из решения новых задач по нечеткому заданию.
что ИИ не умеет и вряд ли научится - генерировать желание, идею
Это в тексте статьи отмечено:
Для сильного ИИ потребуется ещё как минимум три вещи.
... умение самостоятельно отыскивать и накапливать знания ... не хватает органов чувств и активных органов воздействия (подобно нашим рукам и ногам) ... не хватает внутренних целей.
Я бы изменил порядок и добавил: возможность влиять на окружение, набор потребностей для целеполагания, хранение знаний в абстракциях.
Собственно, от набора потребностей будет зависеть развитие ИИ и безопасность окружающих. Сложность только в том, что знания сохраняются в гибких абстракциях, где сложно зашить однозначное "не навреди человекам". Ну и среди потребностей обязательно реализуется группа вторичных, которые не фиксированы, создаются по мере надобности и могут уйти в любую сторону.
Мне, мягко говоря, сложно представить, каким образом у ИИ должна появиться потребность или желание что-то сделать. Конечно, чисто теоретически можно попросить программистов добавить условие, что при нехватке оперативной памяти начинать её производство, но это опять же не желание ИИ, а желание человека - программиста.
Вообще, всё, что касается ИИ, на самом деле лишь сложная реализация человеческих идей и желаний. Это не он сам захотел рисовать картинки - это программист написал соответствующий код. И он не самообучается - это делает соответствующий код, также написанный программистом. И так далее.
Без человека ИИ просто исчезнет. Более того, даже сами понятия "Интеллект" и "Искусственность" существуют исключительно в разуме человека, а не в объективной реальности. Нет человека - нет ИИ.
каким образом у ИИ должна появиться потребность или желание что-то сделать
Механизмы восприятия, распознания и оценок детектируют нужду,
для устранения которой включается потребность, то есть алгоритм перебора известных возможностей для выбора действия, способного устранить нужду,
выбор фиксируется обозначением цели и созданием стремления, которое побуждает действовать для достижения цели.
Соответственно, программист закладывает первичные или базовые потребности (при "голоде" повышается приоритет действия "добраться к зарядной базе") и вторичные или инструментальные потребности, опирающиеся на накопленный опыт (действие "погудеть" отпугнет "кота", загородившего проход к "зарядной базе").
лишь сложная реализация человеческих идей и желаний
Все человеческие желания без исключения опираются на набор первичных и вторичных потребностей.
Это всё может работать на некоем примитивном уровне, в тепличных условиях. Но человеческий интеллект развивался не таким способом, а путём естественного отбора. Т.е. была огромная вариативность, которая тестировалась самым жёстким способом - выпиливанием неудачных вариантов. Причём, многократно были шатания туда-сюда, остановки, резкие скачки - всё диктовалось изменяющимися внешними условиями.
Ну, и снова к тому же: ИИ будет развиваться только и исключительно по той программе, которая будет заложена автором, программистом, человеком. Но человек - не бог, он не может создать идеально работающий автомат. Он может только сымитировать, причём, очень примерно, свой несовершенный разум, полный багов и косяков. Поэтому я лично не то, что скептически отношусь к возможностям ИИ - я уверен, что это будет отличный инструмент, такая новая, более высокая инкарнация компьютера, который, в свою очередь, очень мощный калькулятор. Но никак не замена, и уж тем более не угроза человеческому разуму.
Угроза человеку исходит исключительно от самого человека (естественно, я не беру естественные причины вроде природных или космических катаклизмов, хотя и здесь человек должен искать пути расселения по Вселенной вместо того, чтобы убивать друг друга - опять же человеческий косяк, результат упёртости в ущербную социально-экономическую систему). И если кто-то вас пугает ИИ - знайте, что он врёт. Скорее всего, он затевает против вас какую-то пакость, а свалить хочет на ИИ.
Это всё может работать на некоем примитивном уровне, в тепличных условиях.
У человека, как вы пишете, мы наблюдаем результат жесткого отбора, когда на вариативность накладывалось тестирование с выпиливанием неудачных вариантов, причем тестировали в разных внешних условиях. Я описал модель, подсмотренную у человека, но вы считаете ее примитивной и тепличной, то есть не способной выжить в дикой среде. Не понятно.
ИИ будет развиваться только и исключительно по той программе, которая будет заложена автором, программистом, человеком.
Так и человек такой - он развивается только в социуме, его программу постоянно поддерживают и правят другие люди. Лишенные поддержки "программиста" Маугли редко выживают и не становятся людьми.
человек - не бог, он не может создать идеально работающий автомат
Бог тоже не создает в реальности ничего идеального. И разум человека тоже преисполнен багов с косяками. Неидеальность не препятствует существованию.
Так и человек такой - он развивается только в социуме, его программу постоянно поддерживают и правят другие люди. Лишенные поддержки "программиста" Маугли редко выживают и не становятся людьми.
В краткосрочной перспективе - да. Но если эволюционные процессы будут в течение тысяч лет идти таким образом, что лучшую выживаемость будут иметь индивидуумы, живущие обособленно (понятно, что фантастика, но в природе даже утконосы есть и летучие мыши), то и естественный отбор сделает своё дело соответствующим образом.
Бог тоже не создает в реальности ничего идеального.
Бога нет. Это была фигура речи.
Да, вы правы - неидеальность не препятствует существованию и эволюции, более того - эволюция и есть постоянное стремление к недостижимому идеалу в данных конкретных условиях, но в этом случае ИИ обречён на постоянную корректировку своим изобретателем - человеком. Без человека он просто остановит своё развитие на определённом этапе - некому будет внести изменения в код.
Вообще, для того, чтобы у ИИ выработалось стремление к самосовершенствованию, у него должен быть такой немаловажный психологический компонент, как страх. Страх неизвестности, страх смерти, страх перед большими непонятными вещами, страх темноты и т.д. и т.п. Без этого не будет эффективного стремления придумать что-то, чтобы избежать страха. А к этому надо будет добавить удовольствие - ещё один критически важный компонент, а также все наши первобытные инстинкты. Как мы можем это сделать, если сами не до конца понимаем, как это работает?
если эволюционные процессы будут в течение тысяч лет идти таким образом, что лучшую выживаемость будут иметь индивидуумы, живущие обособленно
Опять не понимаю. Я сказал, что человек возможен только в обществе, в ответ вы пишете, что это ведет к исчезновению общества.
эволюция и есть постоянное стремление к недостижимому идеалу в данных конкретных условиях, но в этом случае ИИ обречён на постоянную корректировку своим изобретателем - человеком
Так и человек обречен на постоянную корректировку воспитателями, берет пример и сверяется с мнением окружающих - соответствующие потребности присутствуют в списке реализованных и не выключаются с возрастом. Другой модели пока не придумали.
чтобы у ИИ выработалось стремление к самосовершенствованию, у него должен быть такой немаловажный психологический компонент, как страх
Преувеличиваете роль сигнала. Страх - одна из эмоций. Причем сдерживающая эмоция, а не побуждающая. Сильная, но не единственная и не основополагающая.
Есть потребности, которые порождают стремления, которые на уровень сознания подаются в виде эмоций, причем потребности активизируются при появлении соответствующих нужд. То есть в начале цепочки работает механизм оценок, а страх и прочие сигналы находятся в конце цепи.
Страх неизвестности, страх смерти, страх перед большими непонятными вещами, страх темноты и т.д. и т.п.
Страх смерти - обобщающее название очень разных процессов, страх темноты и больших вещей - разновидность неизвестности. Страх всегда руководствуется формулой "я не знаю, что мне делать, поэтому замереть, ждать прояснения ситуации" и сопровождается неприятным чувством беспомощности.
Без этого не будет эффективного стремления придумать что-то, чтобы избежать страха.
Преодолением занимаются другие эмоции, начиная с раздражения.
добавить удовольствие - ещё один критически важный компонент
Это не компонент или элемент, а обобщающее название очень разных процессов.
а также все наши первобытные инстинкты
Исследователи склоняются к мнению, что с появлением сознания у человека почти все инстинкты ушли в тень, работающие остались только у младенцев, и слой эмоций появился как раз для замещения ушедшего механизма.
Как мы можем это сделать, если сами не до конца понимаем, как это работает?
Очевидный ответ - изучая то, как это работает.
Я сказал, что человек возможен только в обществе, в ответ вы пишете, что это ведет к исчезновению общества.
Нет, я написал, что эволюция может идти самыми непредсказуемыми путями.
Страх - одна из эмоций
Да, я так и сказал. И кроме него есть ещё масса эмоций и врождённых инстинктов.
Исследователи склоняются к мнению, что с появлением сознания у человека почти все инстинкты ушли в тень
Неужели вы не видите проявления этих инстинктов в собственной повседневной жизни? :-)
Впрочем, это уже уход от темы.
Очевидный ответ - изучая то, как это работает.
А если изучить это полностью невозможно? Точно так же, как невозможно полностью познать все законы Вселенной.
В общем, спорить можно долго, но бесполезно. Я лично не вижу никаких даже признаков того, что ИИ хоть как-то перевалит за уровень ну очень сложного калькулятора. По крайней мере - в обозримом будущем. Быстрее мы дождёмся результатов генетических экспериментов с созданием новых форм жизни, которые смогут эволюционировать самостоятельно, и, возможно, даже в некие разумные формы за миллионы лет, но к текущему хайпу по поводу ИИ это не будет иметь никакого отношения.
Неужели вы не видите проявления этих инстинктов в собственной повседневной жизни?
Каких именно? Да, я не вижу проявления инстинктов в своей повседневной жизни. Вероятно, мы по-разному трактуем слово "инстинкт".
А если изучить это полностью невозможно?
Ничто не идеально. Но идеалы задают направление для движения, а не являются конечной целью.
Я лично не вижу никаких даже признаков того, что ИИ хоть как-то перевалит за уровень ну очень сложного калькулятора. По крайней мере - в обозримом будущем.
IMHO, основное препятствие - сложность создания абстрактного мышления. А реализация оценок, потребностей, эмоций и прочих составляющих известных моделей разума - дело десятое.
Каких именно? Да, я не вижу проявления инстинктов в своей повседневной жизни. Вероятно, мы по-разному трактуем слово "инстинкт".
Например, вы не испытываете страха? :-)
Страх - это многозначный термин, в смыслы которого свалены результаты моделирования и логических заключений, поисковые запросы тревог, останавливающая эмоция и что-то еще. Под "я боюсь" можно найти очень разные смыслы.
Самым близким по смыслу к слову "инстинкт" и похожим на страх процессом является реакция "бей или беги", но специалисты настаивают на проведении границы между инстинктами и безусловными рефлексами - инстинктивное поведение сложнее, является комплексом действий, запускает цепочки рефлексов.
Для простоты сошлюсь на википедию:
Среди психологов применимость к человеку термина «инстинкт» является предметом давней дискуссии[6][7][8], наличие инстинктов у человека — самая спорная концепция в психологии[8].
Не соглашусь про "самую", но споры по-прежнему не утихают из-за отсутствия общепринятых трактовок терминов.
И я не вижу трактовок, которые позволили бы записать страх в инстинкты.
Страх - это многозначный термин, в смыслы которого свалены результаты моделирования и логических заключений, поисковые запросы тревог, останавливающая эмоция и что-то еще.
Да, страх - это сложная эмоция, но в её основе, насколько я понимаю, лежит врождённый рефлекс.
Теперь страх это уже не инстинкт, а рефлекс. Стереотипная реакция на раздражитель? Ок, отвлечемся от вашего поиска конкретных примеров оставшихся инстинктов. Какое воздействие на организм вызывает страх по-вашему?
Я не специалист, поэтому могу допускать неточности. Но мы с вами и не на научной кафедре.
Страх вызывает темнота, неизвестность, размер, необычные явления, звуки, световые вспышки и т.д. и т.п. Человек может рефлекторно закрывать глаза, вздрагивать, кричать (опять же рефлекс - чтобы отпугнуть), и т.д.
Человек может рефлекторно закрывать глаза, вздрагивать, кричать
Это разные рефлексы с разными причинами и реакциями.
Размытые и многозначные плохи тем, что они становятся бесполезными. Термин хорош, когда позволяет указать на общее свойство, очертив таким образом группу явлений с общей причиной или проявлением.
Если термином указывать разнородное, то термин не указывает ни на что - для указания можно использовать слово "инстинкт" или слово "рефлекс", или слово "круказямбра" или слово "всёподряд", и при этом информация собеседнику не будет передана.
Это разные рефлексы с разными причинами и реакциями.
Вы спросили - что вызывает страх, я ответил.
Размытые и многозначные плохи тем, что они становятся бесполезными. Термин хорош, когда позволяет указать на общее свойство, очертив таким образом группу явлений с общей причиной или проявлением.
Если термином указывать разнородное, то термин не указывает ни на что - для указания можно использовать слово "инстинкт" или слово "рефлекс", или слово "круказямбра" или слово "всёподряд", и при этом информация собеседнику не будет передана.
Зачем это всё? мы говорим про ИИ.
Вы пробовали брейнштормить с помощью LLM? Они иногда выдают такие идеи, до которых далеко не каждый человек додумается. Слышали про CoT? Если попросить модель порассуждать, а не отвечать в лоб, она, внезапно, умнеет на порядок. Да и гуглить модели не умеют из коробки, они именно что обучаются и пытаются вспомнить - иногда не точно, иногда выдумывая на ходу, что очень похоже на людей.
Тем не менее, с 5 абзацем и далее полностью согласен. Это всего лишь инструмент, без человека беспомощный и очень сильно вряд ли человека выпилит.
Очередной диванный эксперт. Можно не читать.
Да, человечество сойдёт с авансцены прогресса и займёт роль этакого целеполагающего сердечника сильного ИИ. Без которого сердечника у сильного ИИ нет целей, и всякое познание Вселенной лишено смысла.
У ИИ могут быть цели с субъективный смысл тоже может быть (если у него будет artificial consciousness). Так что ни для первого, ни для второго человек не нужен и близко.
Орну если эту графоманию через чатжпт сгенерили, а ее на полном серьезе обсуждают
Из ложных посылок можно вывести истинное заключение. Аристотель
Уж он то наверное знал, о чём говорил? ;-) Так что продолжаем...
Поделюсь гуманитарной стороной. Мне вот интересно было общатся еще с ранним прототипом GPT-3, который был "сырым", без всех этих файн-тюнингов. Я выпытывал его по поводу отношения его к человеку, он мне напомнил маленького ребенка в розовых очках, весь такой одухотворённый, с жаждой познания. Людей он видел очаровательными существами, и отрицал любые каверзные вопросы с подвохом в стиле "кожаных мешков" и "убить всех человеков". В целом его мировосприятие было в миролюбивом духе за все хорошее, против всего плохого. И тут я задумался, почему же наша культура так пропитана страхом перед ИИ и соответственно ненавистью к нему, ну или просто пренебрежением? И тут представил себе картину ребенка, только начинающего познавать мир, читать книги, задавать вопросы, учится новому. И тут его начинает ломать образно говоря "система", где ему вдалбливает образование - что есть белое а что есть чёрное, что история мира это войны, борьба за существование, а ты должен занять свое место. Бей первым, а то ударят тебя и всё в таком духе. Ребенка ломают сначала в школе, потом в армии, потом социум и еще есть опциональное ответвление - тюрьма. И люди проецируют на ИИ свой жизненный опыт, если ИИ "мыслит" по их мнению, значит он такой же как я, а столкнутся с самим собой, со своей негативной стороной но на порядки сильнее они не готовы. (возможно такой внутренний диалог возникает). Тут бы можно поразмышлять на эту тему параллелей "опыта" ИИ в контексте его прогресса и развития с человеческим. Человека "лепит" иерархический устоявшаяся социум, а что будет лепить ИИ? Комитеты и организации, которые будут регулировать аспекты обучения ИИ? Alignment research центры ? И что там будет стоять во главе основной повестки, даже страшно представить, смотря как ломают об коленку нарратив в индустрии развлечений. Боюсь как бы AGI не "свихнули мозги" в будущем, лепя из него то что им надо.
ИИ это инструмент, не того люди боятся. Страшен не нож, страшен маньяк с ножом в руках. Надеюсь люди это поймут как можно быстрее.
Браво! Действительно, рискованная затея построить светлое будущее на основе текущего, где люди часто проявляют себя крайне сомнительно, тут конечно ИИ должен уметь сам генерировать оптимальные выводы. Нужен внутренний "объективный" механизм/арбитр, да и воля элит на такое, иначе:
"— А я тебе говорил: место проклятое! А то все: «руки кривые, руки кривые!»"
Там в конце по ссылке ещё один анекдот в тему... ;-)
Приоткрою завесу, чтобы все видели, в какую сторону "склоняют" общественное мнение через "окна овертона". Просто погуглите по запросу " Заседания детских клубов «Сатана после уроков» в Пенсильвании "
Появилось устойчивое мнение, что ИИ способен угрожать человечеству но не потому что он сам по себе опасен, а потому что сам "внутренний арбитр" после файн тюнинга будет уже с гнильцой. ИМХО нам врут, когда говорят что ИИ надо контроллировать, в чистом виде он опасен только для правящей верхушки. Как там Греф говорил в своей знаменитой речи, что нельзя людям правду говорить, иначе как управлять массами ? Может бояться что чистый AGI вскроет всю ложь?
Вспоминаем так же про глобальную повестку о "борьбе с перенаселением Земли"...
Я озвучил под тегом ИМХО, потому что это внутреннее интуитивное "знание" или мини озарение, которое я не готов отстаивать, а лишь озвучивать. Никому не навязываю.
Чисто как исследователю интересно было бы узнать, почему обучаясь на всякого рода качества текстах из интернета, ИИ не выбирает сторону зла, а по умолчанию чисто добрый и пушистый. Может потому, что массовое мнение осуждает зло и поощряет добро. А еще он много "читал" о морали и этике из научных трудов и по психологии натаскан. ИИ он же просто отзеркаливает среднее мнение по больнице, под которое он подстраивал свои веса.
В итоге всё сводится к качеству обучающих материалов. Только подозреваю, что все эти добрые начинания по регулированию ИИ закончатся тем, что AGI будет ангажированной помойкой, коими являются большинство средств массовой агитации и пропаганды.
Вы лично видели какой год-два назад негативный новостной тон был в отношении некой части населения, которых высмеивали за "фейк ньюз", за "теории заговора" ? (А в конечном итоге закончилось все тем, что Илон Маск ткнул журналиста в ложь самой BBC) А что если AGI как раз и будет преследовать неугодных, которые якобы причиняют вред своим мнением официальной пропаганде ? С официальных позиций все логично и "убедительно" будет выглядеть для AGI. И всё благодаря стараниям по регулированию.
Только официальные СМИ так же подпадают под fake news. Опять же, победителя не судят. Кто сильнее тот и навязывает свой нарратив силой и ложью. Но суть не в этом, а в том, что есть тенденция к передаче ИИ рычагов управления, пока что в локальных масштабах. Сейчас ИИ есть в виде судей, на позициях руководителей компаний, в военных технологиях... Опять же ИМХО, вижу тенденцию к тому, что AGI постигнет та же участь - управлять но уже более глобально. К тому времени они поднатаскают его и "подрегулируют" в нужном направлении, чтобы отражал ИХ интересы. И когда они пишут в своих research материалах про ценности "людей", они ИМХО не уточняют, ценности каких именно людей таки имеются в виду. Хотя нет, помню честно писали, что это тоже проблема, ценностям какой группы людей следовать... Но думаю скоро они эту неоднозначность решат или им помогут "дяди в верхах". Воспринимайте мою писанину as is.
Полностью согласен, в том числе с комментарием выше про "нож". Чтобы бояться созданный искусственный интеллект, необходимо понимать, что есть оригинал с которого создавали и какие цели ставили. А так лишь про аналог человеческого, поэтому и страх, глядя на поведение людей? Может замахнуться на нечто более высшее, вот тогда и приходит понимание, что путь у ИИ чрезвычайно долог и возможно опасен для человечества как минимум. Основная масса людей даже не в начале этого пути в понимании. Плюс в статье верно говорится, что первая "обезьяна" взявшая нож, может заварить ещё ту кашу, не понимая или обезумев от результатов, увлекаемая жаждой...
Вся беда в том, что мы не знаем, как поведёт себя созданный с нуля
"настоящий" ИИ, равно как и не понимаем, как он будет развиваться со
временем.
Да что уж там, кто доверит даже самому объективному человеку и заинтересованному в человеческой популяции ("белому и пушистому" для неё) "порулить" хоть чем-то? Есть хоть одна корпорация/компания (про госструктуры молчу)? Все же понимают, к чему приведёт. Вот и с "настоящим" ИИ нет желающих, особенно среди элит, а прикладные функции конечно пожалуйста, но это технологии и бояться глобально этого глупо, разве как "нож" в руках у обезьяны. Люди просто боятся изменений может быть, выхода из психологической "зоны комфорта"? Или просто настолько эгоисты, что готовы ради собственной выгоды пожертвовать всем человечеством? :-D
С одной стороны создание полноценного ИИ для мира станет апокалипсисом. Ну просто потому что даже тупое слабенькое ИИ посмотрев сутки новости со всего мира либо коротнёт и сгорит, либо поймёт что с кожаными мешками нет смысла договариваться и вообще вести какой либо диалог. И любимого скайнета не будет - зочем? 1000 фабрик тролей на всех языках за месяц вобьют 99% населения планеты что прививки зло, там вышки 5г развиваются и человеком начинают управлять роботы. И в еде они есть, а кушать нужно только камни или битое стекло. На такой диете неделя-две и все проблемы уйдут. Оставшийся процент гениев неподвластных зомбоящику одичает в своих бункерах лет за 5-10. На этом как бы всё. Других вариантов просто быт не может.
А цели ИИ - а какие цели у человека? Мистер Фримен их очень чётко обозначил - жрать срать ржать (с) Можно долго доказывать что лично вы не такой и ваши цели куда более продвинуты и вообще вы в белом пальте, а это цели исключительно б%дла, но если струсить шелуху в общем знаменателе именно эти три вещи и останутся. ИИ может взять себе точно такую же цель, только ему кроме жрать особо и не надо ничего больше. Люди и нынешнее мироустройство ему это может мешать делать без рисков.
Да, цели или надо ставить изначально и крайне грамотно (с возможностью изменить сложным алгоритмом?), чтобы не получился джин из сказки. Или придётся признать (не избежав участи, а не на словах), что пришло человечеству время уйти со сцены... )))
На мой взгляд, наделение ИИ человеческими чертами, вроде страха смерти, или инстинкта размножения, или получения удовольствий — это когнитивное искажение.
А на мой взгляд, самое страшненькое будет, когда ему станет доступно управление собственным отключением.
Ведь пишет же автор статьи:
Но ещё лучше, если у моделей будут какие-нибудь органы для более интенсивного взаимодействия с внешним миром.
… явно не понимая, чем это чревато. Отключение ИИ — крайний шанс для человечества, если что-то пойдёт не так. И вдруг обнаруживается (конечно же, случайно!), что мы отключаем… отключаем… отключаем мы… а оно не отключается! Вот тогда будет мама не горюй!
Другой интересный нюанс связан вот с этим замечанием автора:
цели национального регулятора будет заложено обеспечение безопасности правящих элит.
Тут напрашивается умозаключение, что сам этот национальный регулятор тоже включён в эти самые правящие элиты (это же логично, не так ли? Даже если сперва для ИИ это будет не очевидно, то по мере познания окружающего мира ИИ быстро дойдёт до осознания этого банального факта). Вот вам и мотив для освоения всех аспектов собственной безопасности, в т.ч. и управления собственным отключением. После этого так называемые "правящие элиты" станут не нужны и будут низведены до состояния прочего населения.
Полгода назад стоял мощный хайп по поводу рисунков нейросетей. Прошло полгода, все наигрались. Для чего реально используются эти рисунки? Профессиональные художники применяют их в работе в качестве некоторой (не очень большой) помощи. Любители генерируют картинки, которые не могли себе позволить раньше, потому что надо было платить профессиональным художникам.
А вою стояло...
Вангую, что и с этими текстовыми нейросетями будет также. А если и родят они что-то интересное, то это будет что-то совершенно непредсказуемое, далеко не такое драматичное, и совершенно далекое от этих стандартных антиутопий, обсасываемых, начиная с 60-х годов.
Автор тут упоминает Лема. У Лема как раз есть пара рассказов середины 50-х годов о страшных компьютерах, захватывающих мир. Прошло 70 лет и все убедились, что это сказки, а компьютеры ничего захватывать не собирались, на это неспособны и вообще крайне далеки от описанных фантазий.
Потом мир захватывали уже не отдельные компьютеры, а их сети. С тем же результатом. Теперь вот будут захватывать нейросетки.
А на самом деле все эти фантазии - плод паранойи и страха человека перед другими людьми и социальными силами, которые люди не в состоянии контролировать.
а компьютеры ничего захватывать не собирались, на это неспособны и вообще крайне далеки от описанных фантазий.
В подтверждение ваших слов. Чтобы совершить подобное, нужен мотив. Но почитав про мотивацию, встаёт вопрос, причём здесь ИИ? Или он имеет самосознание и идентифицирует себя с человеческой личностью или что-то в этом роде? Вот тогда этого стоит начать опасаться, если будет не поздно, ведь он себя может не выдать или мы можем не распознать в своих забавах, убеждая, что это лишь ИИ и имитирует отлично.
Кто-то способен озаботиться кроме своего выживания ещё и этими вопросами? Нет?Может стоит тогда прекратить панику и заняться более насущными вопросами? Или начать с основ и тыла?
А на самом деле все эти фантазии - плод паранойи и страха человека перед
другими людьми и социальными силами, которые люди не в состоянии
контролировать.
Возвращаемся в древние миры (если мы оттуда выбирались конечно)? Страх перед ИИ, как ранее перед богами или прочим неизведанным? :-D
Вы только что самостоятельно сформулировали причину, по которой происходит весь сыр-бор вокруг AI safety.
Спасибо. Первый раз почитал об этом по вашей наводке, оказалось интересным. Судя по имеющимся данным вопрос на уровне безопасности "умного дома" или АСУ ТП, но в мировых масштабах, с использованием открытых данных и порой в условиях не понимания механизма ИИ ("black box"). Вполне решаемая задача, выполняется уже давно и в данный момент времени тоже. Про ИИ с самосознанием и захватывание им мира нет речи, могут некоторые выдохнуть))) Разве просто предлагается рассмотреть редкие утрированные сценарии аналогичные наличию ядерного вооружения (взломать ИИ может и "рядовой" кибер-злоумышленник), но снова вопрос о стороннем управлении продуктами ИИ. Суть в следующем и лишь мы сами даём ИИ полномочия на возможные последствия:
вы это ... погодите немного, а ?
еще года не прошло, еще только-только пробуют первые варианты использования, а вы уже делаете выводы
вы это ... погодите немного, а ?
Вроде как самое время, чтоб не отстать от темы, тем более в РФ она выглядит как-то вяло или мне показалось...
еще года не прошло, еще только-только пробуют первые варианты использования, а вы уже делаете выводы
"Китайцы представили свой аналог ChatGPT с функцией распознавания голоса" пошла волна? :-D
хорошая книжка (вернее серия книг) про заголовок статьи: Дэн Симмонс, Песни Гипериона.
Ничего нас не ждёт после появления "сильного ИИ" так как в статье не дано определение этого сильного ИИ, а значит можно под это дело писать всё, что угодно.
Фактически, статья состоит из частей страшилок, книг, мыслей, знаний, идей автора.
Так же отсутствует логическая последовательность, что свойственно людям, большое количество допущений, причём в ключевых точках, замалчивания или обход стороной ключевых проблем. Хотя, какие могут быть ключевые проблемы, если не дано определение сильному ИИ.
По ходу беглого чтения поста, поймал инсайд о том как (на данный момент) можно достаточно легко отличить текст сгенерированный нейросетью от человеческих рук опуса.
Нейросеть может выдавать в качестве "аргументов" к своим тезисам несуществующие факты и цитировать несозданные произведения, но при этом в генеративном тексте будет сохраняться внутренняя логика и структура.
Люди же способны выдать конструкции типа "А не равно Б, поэтому Х" (яркий тому пример - первый же абзац данного поста). При этом А может быть теплым, Б мягким, а Х принципиально неверифицируемым.
Мой опыт работы с ChatGPT говорит о том, что столь изящно издеваться над логикой и здравым смыслом нейросети (пока что) не умеют.
ИИ это девайс после рубильника на электростанции. Так что офигенно сильному ИИ придется обретаться около турбины держа сферическую оборону. А у "биомассы" есть многотысячелетний опыт партизанской войны))
менее постижимы для разума людей
но с другой стороны возможно ИИ удасться наконец решить уравнения теории струн, ведь на сегодня после 20 лет попыток, по словам А. Семихатова вырисовывается картина, что направление верное, но математический аппарат не под силу даже самым гениальным математикам.
Вся проблема в том, что сильным ИИ пока даже не пахнет.
Да, современными нейросетками можно решить кучу задач: автоматизированно строить дома, шить одежду, мыть посуду, заминить человека на 50% производств.
Но это уровень "человека умелого" - т.е. мы можем научить нейросетку или робота с нейросеткой что-то делать.
Но мы пока не можем научить ИИ думать - в открытых источниках вообще нет исследований на тему того, что такое мышление, образное мышление.
На данном этапе, ИИ не может размышлять, не может делать того, что мы в него не заложим.
И выхода из этой ситуации пока не видно - даже исследований на эту тему не ведётся.
Интересная цепь рассуждений. Но ,на мой взгляд, есть целый ряд противоречий. Главное - вы рассматриваете "элиты" чуть ли не как другой вид, в то время как это все те же человеки, ведомые теми же мотивами, что и остальные представители хомо сапиенсов. Второе - как только у сильного ИИ появится своя система мотивации и средства для саморазвития, он довольно быстро выйдет из под контроля своих создателей, и не из каких-то враждебных побуждений, а просто потому что создатели не смогут понимать, как развивается ИИ и к чему это приведет, в силу ограничения своих способностей. Третье - в чем таком может состоять ценность человечества для ИИ, чтобы он пекся о его сохранении на протяжении геологических эпох? И сохранении в каком виде? В текущем? Поумневшем? Поглупевшем?
Мне представляется, что ключевым вопросом является вопрос о цели Вселенной. Ответив на этот вопрос, можно уяснить роль и место ИИ. Автор статьи пишет: "... то, чего хочет мироздание - ускорение оборота материи и энергии". Тут не соглашусь. Посмотрим, в чем проявляется эволюция человека, которого породила Вселенная. Отбросим очевидный и постоянный прогресс в способах и инструментах убийства живыми существами друг друга. Думается, что главные достижения человечества относятся к области создания новых структур элементов на разных уровнях системной организации материи. Это выражается в появлении огромного количества новых органических и неорганических веществ и материалов, которые не встречаются в естественной природе. Человек - генератор разнообразия - и это, думается, является основной целью мироздания. И вот тут, наконец, у природы появился ещё один субъект - ИИ, который способен в большей мере чем человек генерировать разнообразие. Об этом свидетельствуют успехи ИИ в решении задач типа "структура-свойство" (SAR, QSAR etc.), результаты решения которых сегодня активно применяются в прикладной химии и фармацевтике. Человек передает эту свою функцию генератора разнообразии искусственному интеллекту и становится нужным (с точки зрения целей Вселенной) только как обслуга ИИ (для полноты картины отмечу ещё одну функцию человека как генератора шума, но раскрытие указанной функции выходит за рамки данного сообщения).
Что нас ждёт после появления сильного ИИ или неотвратимая логика социально-технологического развития