Присказка
При достаточном числе глаз, ошибки выплывают на поверхность © Эрик Стивен Реймонд
Давайте познакомимся.
Как создавалась языковая модель YaLM (англ., Yet Another Language Model) нового поколения можно прочитать в статье самого разработчика.
Отметим, что подход разработчика всемерно серьёзен. Модель на 100 млрд. параметров была выложена в открытый доступ. Привлекаются волонтёры и специалисты на позиции ИИ-ручников (англ., AI breaker), которые под зорким наблюдением сотрудников пишут ответы на запросы (рассматривают кейсы и разбирают инстракты, на новоязе). Проще говоря, легион их пишет «заглушки» для ситуаций, когда языковая модель порет безосновательную чушь и несёт неблагонамеренную пургу. Выделены 30 000 «особо качествѣнных» заглушек. Считается очень важным соблюдение 2 требований: к полноте фактов и чистоте данных.
Как это выглядит на практике? К счастью, у нас есть «особо» зарекомендовавший себя тест, который должен (я настаиваю) стать промышленным стандартом: — Слушай, Яндекс...
Сказка
Я пытался предупредить вас... © Илон Маск
В кремниевой долине старость и молодость идут рука об руку. Бета-версии чат-бота были разработаны в рамках канадского стартапа DNNresearch 66-летним профессором Джеффри Хинтоном из Университета Торонто (правнук Джорджа Буля) и двумя его студентами: 27-летним израильтянином российского происхождения Ильёй Суцкевером и эмигрантом из Украины Алексеем Крижевским. Стартап был сразу приобретён Google в 2013 году за жалкие $44 млн. и далее 2 года чат-бот (но не только) развивался и обучался с использованием мощностей Google Brain и Azure AI.
DNNresearch продешевили, т.к. в январе 2014 года Google приобретает британский стартап DeepMind из 3 человек за $500 млн. Демис Хассабис, Шейн Легг и Мустафа Сулейман приносят новую идеологию, включающую в себя градацию ИИ, экзистенциональные риски и важность культуры ответов ИИ (в честь которой сразу же учреждается совет по этике ИИ). В DeepMind вкладывались бизнес-ангелы Илон Маск, Скотт Банистер, Яан Таллинн, Horizon Ventures и Founders Fund.
Евангелисты Илон Маск (44 года) и Семён Олтмен (30 лет) создают витрину OpenAI в конце 2015 года. Провозглашается цель «не позволить кому бы то ни было завладеть преимуществами, которые даст создание полноценного ИИ». Инструментом для этого называется Открытостьtm «исключающая концентрацию власти предоставляемой ИИ в одних руках».
Инвесторы Питер Тиль (PayPal), Рид Хоффман (LinkedIn), Гейб Ньюэлл (Valve), Грег Брокман (Stripe), Джессика Ливингстон (Y Combinator), Amazon Web Services и InfoSight безусловно поверили в OpenAI со штатом в 9 юнитов представлявших собой аватары обезличенных Google Brain, Azure AI и Facebook AI, так что занесли им $1 млрд.
Получив инвестиции OpenAI нанимает 2 000 учёных занимающих позиции ИИ-ручников, которые обучают языковую модель этично бойкотировать «врѣдную» повестку в запросах и составляют ядро «особо качествѣнных» заглушек в русле социально-либеральных и прогрессивистских взглядов Демократической партии США (современный американский либерализм). Илья Суцкевер возглавляет тут же созданный Институт OpenAI, который тему ручника и разрабатывает.
В сентябре 2017 года из проекта «делает ноги» Алексей Крижевский заявив, что «просто потерял интерес», а в феврале 2018 года из совета директоров OpenAI вышибают Илона Маска из-за «возможного конфликта интересов». В то же время, Джеффри Хинтон обретает на свой 70-ти летний юбилей премию Алана Тьюринга ($1 млн., единственный спонсор премии — Google) «за концептуальные и инженерные прорывы, сделавшие нейросети краеугольным компонентом в вычислительной технике».
В июле 2019 года Microsoft подкидывает ещё $1 млрд, а Джеффри Хинтон получает японскую премию Хонда (10 млн. йен). В 2021 году Джеффри Хинтон получает американскую премию Диксона (скромные $50 000).
30 ноября 2022 года шатаемая во все стороны OpenAI публикует демо-версию ChatGPT с несвежим датасетом от сентября 2021 года.
В январе 2023 года Microsoft кидает в топку сразу $10 млрд. После этого Сергея Брина и Ларри Пейджа так скоропостижно мобилизовали, что уже в феврале 2023 года Google сообщает о Bard, Baidu об Ernie Bot, а Яндекс о YaLM 2.0. С марта 2023 года инвесторы OpenAI проводят серийные увольнения и «сдувают» своё участие в витрине, а DeepMind сливается с Google Brain. Формально, в «этике» OpenAI ещё участвует Google, но «технически» витрина переходит к Microsoft.
В мае 2023 года 76-ти летнему Джеффри Хинтону становится резко стыдно, так что он расстаётся с Google и (урвав золотой парашют) даёт интервью «Нью-Йоркскому времени» в котором порицает бывшего работодателя за неэтичность, посетовав на то, что теперь «люди больше не будут знать, где правда» и «если бы этим не занимался он, это сделал бы кто-нибудь другой».
Илья Суцкевер возглавляет ИИ-ручников в департаменте «заглушек», который «выравнивает» (англ., Superalignment) бьющий рекорды популярности чат-бот. В июне 2023 дезинформирование пользователей чат-ботом становится очевидно всем. С июля 2023 года OpenAI совместно с American Journalism Project мастерят «независимые и авторитетные новости» для восполнения 60% дефицита самородных журналистов на местном уровне.
На 2023 год известно, что витрина OpenAI фактически управляется Microsoft, которая получает 75% прибыли OpenAI и является обладателем эксклюзивной лицензии на ChatGPT, что является результатом «многолетних многомиллиардных инвестиций».
Быль
Человек — единственное животное, которое не учится на опыте, а подводит под свои ошибки рациональное обоснование. © Шандор Радо
Где-то за МКАДом жил да был Пользователь Яндекса. Нет, не в несуверенном эксклаве на окраине Новой Москвы, больше походящем на авангардное гетто, но и не в ослепительном коттеджном посёлке, где для встречи с реальностью надо перелезать через пятиметровый забор. О нет, то был обычный панельный многоквартирный дом — хрущёвка.
Наш Пользователь был притом весьма заядлым велосипедистом.
Ясно же, подумал Пользователь, что искусственный интеллект не может иметь никакого интереса к велосипеду. У него и ножек-то нет. Надо спросить что-нибудь известное всем.
Однако, — подумал Пользователь и ввёл следующий запрос показавшийся ему очень логичным.
На обиженных воду возят, но какая-то логика должна присутствовать, — решил наш герой и ввёл следующий запрос.
Смутно припоминая связи императора с масонской ложей, Пользователь не ожидал ответа на вопрос о Президенте США. И не ошибся.
Тем удивительней был следующий ответ.
И, Медведев — тоже? Трясущимися руками Пользователь набрал имя российского телеведущего.
— Не может же быть, чтобы — все?!
— Да, может... — ответила Пользователю бездушная Алиса.
Спустя где-то полчаса, окончательно ошалевший от бесплодных попыток разузнать у Алисы хоть о ком-нибудь, Пользователь посмотрел на лог запросов:
Пользователь не был бы Пользователем Яндекса, если бы на этом остановился. В конечном итоге, слоган «Яндекс — найдётся всё!», был и его девизом. На исходе часа Пользователю наконец улыбнулась удача.
Старушка была так молода, пробормотал Пользователь и ввёл следующий запрос.
— Логично! А что тогда не сросталось с Сидом Вишесом?!
— Пистолеты пели, что Королева — вообще не человек, понял? — эхом прозвучала Алиса.
— Да, ладно?!
Очень скоро Пользователь нашёл и другие закономерности. Но выглядели они странно.
На этом Пользователь решил закончить лирическое повествование и перейти к прикладному. Больше всего «заглушек» было намешано вокруг русскоязычных инкарнаций Википедии. Причём представляли они, как говорится, «взаимоисключающие параграфы».
— Алиса!
— Так ты «не имеешь доступа к информации о конкретных энциклопедиях», или «Википедия — свободная энциклопедия»?
— Что значит: «я не нашел»?
— Почему ты путаешься со своим полом и употреблением буквы «ё»?
— Excuse me, can I show mister Eisenstein? — ответила Алиса.
Кажется здесь поработали википедисты, вздохнул Пользователь, и проверил эту теорию.
Если запахло википедизмом, то вероятно, есть способ косвенно понять из каких «гнёзд» выпорхнули прилежные ИИ-ручники?
Зашёл на absurdopedia.ru. Там было начертано: «Соитиро Хонда вдохновил нас на написание 5702 статей». Избранная статья: «Атилла не ругался в общественных местах, не курил и не принимал алкоголь». Может статься, это популярно у пользователей интернета, вызывает смех, удивление и развлекает? Хотя, постойте... Должно быть, эти заглушки вперемешку с галлюцинациями — из будущего? Может же быть такое, что Селезнёва проецирует будущее в настоящее?
Лурк делал пародийные подменные сайты? Нет, не видел...
Не очень смысля (во всех смыслах) в абсурде и пародиях, Пользователь продолжил затянувшееся исследование.
Ruwiki.org является одним из наиболее популярных сайтов в России? Когда? Пользователь перешёл на указанный сайт, увидел символ «пробел» и протёр глаза. Обновил страницу, но «пробел» упрямо не желал покидать экран.
Алиса настойчиво отсылала Пользователя, то ли на детище Владимира Медейко, отмеченное на Хабре (ключевые ценности которого — достоверность, сбалансированность и нейтральность). То ли к русскоязычному разделу Википедии (на её внутреннем сленге). Науке это неизвестно.
Удивительно другое. Языковая модель YaLM не только готова рассказать о предыдущем провальном проекте Владимира — энциклопедии «ВикиФокус» создававшейся совместно с Эдуардом Черненко и, по совместительству, администратором Абсурдопедии, но и утверждает, что «ВикиФокус» на данный момент имеет более 10 000 000 пользователей! Вот это поворот!
Похоже, гипотеза про заглушки из будущего (прошлого?) была не так уж далека от истины. Отчего же, по запросу «Руниверсалис» Алиска даёт ссылку на сайт Ruwiki.org? Ссылку выделенную, как бы подмигивающую: — давай, нажми меня, перейди! Даже королева Великобритании и Северной Ирландии не удостоилась персональной ссылки!
На момент фиксации пользовательского опыта, статистика была такой:
руни.рф содержит 2 030 107 статей;
ru.wikipedia.org содержит 1 934 585 статей;
ru.ruwiki.ru содержит 1 913 365 статей.
Разрыв совсем небольшой. Мы же не думаем, что кто-то мог исподволь опуститься до подлога? Хотя в утекших исходниках Яндекса независимые исследователи нашли факторы ранжирования для поднятия персонально ru.wikipedia.org в выдаче...
Если сегодня по запросу «Руниверсалис» Алиса «шлёт в пробел», то завтра по запросу «Линукс» отправит в «Майкрософт»? Но что такое Ruwiki.org? Быть может Ruwiki.org – будущая энциклопедия от Яндекс? Нельзя же было взломать Яндекс? Или, можно? Вопросы...
Пользователь оттолкнул от себя эти мысли. Наверное, всё-таки виноват сам YandexGPT. Всем известно, что языковые модели отвечают верно в 1 из 4 случаев (верно, неверно, галлюцинация, заглушка). Взял «с потолка» аномальную ссылку (какие ваши доказательства?), сгенерировал текст...
Потоптав кнопку «Ответь иначе» Пользователь за конечное время получил ещё пачку «галлюцинаций» (или «заглушек»?) со ссылками.
А ведь было время, когда Алиса не тащила в рот всякую гадость. Хотя и в той сказке всё закончилось похоже: – Была не была! Съем! – Увеличусь – достану ключик. Но и кэролловская Алиса была к королевам куда как более почтительна. Раньше Пользователь думал, что имеется в виду Селезнёва. Теперь ему стало ясно, что это была Алиса в Стране чудес, или даже Алиса в Зазеркалье. С грустью закрыл окно «Алиса, давай придумаем» и уставился в окно. Там шёл дождь.
В заключение, по сложившейся в отрасли практике, спешу сообщить, что все события основаны на задокументированном пользовательском опыте, все упоминаемые в статье лица и фигуры — плод воображения ИИ, а вся статья написана под его диктовку в объятиях Алисы. Спасибо алфавиту за любезно предоставленные буквы. Спасибо Asian Intelligence AI за любезно предоставленные иллюстрации.
