Pull to refresh

Comments 32

Возможно кого тут разозлю, но я вот в Stack Overflow не заходил уже пол года. ChatGPT давал буквально на всё ответ, возможно не сразу, но сделать пару регенераций ответов, давало рабочий вариант или правильное направление. А вот от Stack Overflow, если ты не правильно оформишь вопрос, или того хуже он довольно специфичен, ты будешь ждать ответа несколько дней, если вообще его получишь.

Наверно я смело могу сказать, что эпоха Stack Overflow прошла и ChatGPT успешно его заменил. Возможно останутся какие-то очень специфические проблемы, например с новыми фреймворками или новыми багами, вот только на них на Stack Overflow всё равно придётся ждать ответы днями, если оно не массовый характер имеет, и в итоге всё равно сам её потом как то решишь методом проб и ошибок.

Минус только в том, что раньше человек не получив ответа и найдя решение сам - часто делился им в ответах на свой же вопрос, что пополняло базу.

Интересно мы увидим в диалоге с ChatGPT что-то вроде "Шеф, вы такой вопрос хитрый задавали позавчера, решение случаем не нашли? Поделитесь?"

Так пользователи гораздо чаще дают фидбек чатботам, работает ли решение или нет

т.е. раньше ответ видели все, а теперь только компания-разработчик бота

ChatGPT кстати искренне от души микросхемы благодарит, когда ему показываешь правильный код, после N его неправильных ответов. В будущих версиях когда он доберется до тостера, за это будет готовить тебе тосты твоей любимой прожарки.

GPT обучалась на SO - 100%

Печально будет, если люди перестанут задавать вопросы на SO и, соответственно, отвечать, тогда свежей информации для обучения моделей станет меньше, а галлюцинаций больше. В итоге поплохеет и SO и LLM.

Ну с этим никто не спорит, но вот ChatGPT может самообучаться на своих же данных, если конечно пользователи специально не вредят данным, ставя "лайк" откровенно плохим ответам. Так уж тут трудно сказать, станут ли ответы с течением времени хуже, или качество никак не упадёт или даже наоборот возрастёт. Хотя зная людей, которые любят "засирать" данные, можно ожидать всего :)

Не думаю, что лайки напрямую участвуют в обучении. Скорее, давайте возьмём 100500 дизлайков и разметим их ассессорами. Или кластеризуем их и посмотрим на каких темах модель лажает и исправим это.

Я на SO вопросы и ответы перестал писать из-за безумной модерации от фанатиков, которым за их работу даже не платят. Ещё за долго до появления ChatGPT.
Одно дело просто некомпетентные дураки, а дураки идейные совсем мрак.

В итоге поплохеет и SO и LLM.

SO, как и любым открытым источникам информации поплохеет. А LLM будут обучаться на запросах пользователей. Пользователь формировал N запросов, после чего перестал. Неважно поставил ли лайк-дизлайк - он или получил ответ на свой вопрос или отчаялся его получить здесь. ИИ, если потребуется с привлечением людей, анализирует эти запросы - похож ли крайний ответ на правду, насколько оригинальна и эффективна последовательность запросов, не было ли "пустых циклов" в вопросах, не были ли сами вопросы откровенным троллингом. В итоге корпоративные ИИ обучаются, конкурируют или кооперируются между собой. Открытые источники знаний пересыхают. Причем особо непринципиально, дествительно ли это предвестник будущего сильного ИИ или просто тупая большая лопата для сортировки данных.
Т.е. сейчас эдакая эпоха первоначального накопления капитала структурированных данных - присвой все что плохо лежит, укради, убей, купи Манхэттен за бусы. Крупные игроки делят рынок, вытесняя слабых или бескорыстных. Со временем с самим процессом (само)образования произойдет тоже что прозошло со СМИ, кино, музыкой, поисковиками, популярным котентом в интернете, обязательным образованием. Просто практически не останется ниши для неангажированных источников знаний. Даже если у какого-нибудь альтруиста хватит энтузиазма и ресурсов предложить даром(или на условиях честной сделки) чтото доброе, вечное, мудрое - вдруг окажется что он не вывозит конкуренцию по объему и доступности с крупными ангажированными источниками, должен кому-то денег за лицензию на истину, или вообще экстремист, шатающий систему.

Я уже много лет туда не пишу. Всякий раз, когда у меня возникал вопрос, не решаемый простым гуглежом, то и с Stack Overflow его немедленно удаляли либо как "слишком общий, не чёткий и т.д." либо как "слишком специфичный". Блин, да если бы я его мог сформулировать чётко по их критериям, мне бы Гугл сразу и ответ выдал. Зачем такой сайт нужен, для тех кому некогда погуглить, но можно завтра зайти за ответом? На железных подразделах то же самое.

Последний "слишком общий" вопрос, который мне удалили в сетевом, а потом и серверном подразделах, был такой: "Роутер с каким процессором или результатом в бенчмарке нужно купить, чтобы он мог держать соединение по OpenVPN (параметры такие-то) со скоростью 10Мбит? Производители такую цифру никогда не приводят." После этого я удалил свой аккаунт, и всем советую. Пусть там общаются одними копипастами из Python for beginners.

Блин, да если бы я его мог сформулировать чётко по их критериям, мне бы Гугл сразу и ответ выдал.

Так в этом же и задумка сайта как бы - чтобы вопросы гуглились, а не задавались снова и снова...

Зачем такой сайт нужен, для тех кому некогда погуглить, но можно завтра зайти за ответом?

Напротив, он для тех кто уже погуглил.

Эпоха StackOverflow может и прошла, в том смысле что большинство сначала будут лезть в ChatGPT, и большинство ответов там будет. Но если SO совсем умрет, то ChatGPT станет бесполезен. Учился то он на SO, и будет продолжать учиться новому там же. Без SO и подобных ресурсов ChatGPT сможет в лучшем случае ответить на простейшие вопросы, раскрытые в документации.

ChatGPT сможет в лучшем случае ответить на простейшие вопросы, раскрытые в документации.

Так большего и не нужно. Вероятность, что вам ответят на сложный ничтожна, помнится ожидал я на такой вопрос ответ пол года, и так не дождался и в тоге сам на него и ответил проведя некоторые эксперименты.

Да и что такое сложные вопросы? Для одного они сложные, а для другого лёгкие. Я вот например не давно зашёл в тупик решая вопрос как лучше отлавливать ошибку в формах. Это сложный вопрос или нет? Я просто задал вопрос и получил варианты, один из которых состоял в отлове ошибки и дальше передавать её через события, отличное и чистое решение.

Получил бы я этот ответ на SO? Или правильно сказать, нашёл бы я этот ответ на SO? Думаю нет, ведь я не знал точного вопроса у себя в голове, только, когда я спросил ChatGPT у меня появилось цельная картина и вопрос с решением сталь просто элементарным, о котором мне даже стыдно сейчас говорить, а ведь казалось что-то не простое сначала.

Или тебе ответят правильно, но ответившего с ответом заминусует/снесёт модер и ты его даже не увидишь.

Я SO в основном неортодоксально использую, мониторю вопросы по моей компоненте продукта, чтобы знать какие проблемы у пользователей и по возможности улучшать. Возможно поэтому у меня другой опыт - большинство вопросов о чем-то что не содержится в документации (хотя часто посмотрев на вопросы - улучшаем документацию), много более сложных вопросов о том, как исправить производительность, или сделать что-то сложное, или почему возникает неожиданная ошибка. ChatGPT с таким не справляется.

Попробуйте у GPT прямо спросить, какие вопросы по продукту X, которые часто возникают у пользователей, не отражены или плохо описаны в документации.

Отличная идея, попробовал. Пока правда ничего конкретного от GPT, Perplexity, и Gemini не удалось добиться. Дают весьма общие рекомендации, с которыми даже и не поспоришь, но слишком общие. Но буду экспериментировать.

так не дождался и в тоге сам на него и ответил проведя некоторые эксперименты.

Вот видите, теперь ответ на этот вопрос на SO есть

А вот от Stack Overflow, если ты не правильно оформишь вопрос, или того хуже он довольно специфичен, ты будешь ждать ответа несколько дней, если вообще его получишь.

Так на SO ждут ответа по нескольку дней, по той же причине, ты должен объяснить решение, оформить рабочий код в их песочнице и т.д... Не всегда есть время этим заниматься, а просто скинуть ссылку на доку, ткнуть носом в нужную строчку кода или дать пример, недостаточно, тебе минусов насуют и ответ удалят, вообще нет желания после такого на SO кому-то помогать. С одной стороны хорошо, развернутый ответ, но с другой стороны, мы все уже живем на предельных скоростях и пора бы SO к этому адаптироваться как-то, энтузиастов все меньше...

Только вот чат-бот парсит ответы людей на вопросы, заданные людьми. Поэтому, скорее всего, stack overflow ещё долго никуда не исчезнет.

Интересно, конечно, какой будет у этого сотрудничества результат...

Надеюсь, что не как в известной шутке:

- я скопировал решение со StackOverflow, а оно не работает!
- а ты брал код из вопроса или из ответа?

)

То есть суть новости в том, что ChatGPT теперь будет обучаться на своих же ответах?

Так бесславно и закончился захват человечества искусственным интеллектом, он просто ушел из реальности в мир самосгенерированных галлюцинаций.

Если он на этом ещё и интерпретатор напишет, то получится вполне себе решение.

ChatGPT будут напрямую обучать на ответах со Stack Overflow.

Модераторы SO будут "рады" что по сути на их работе дополнительно зарабатывают в обучении OpenAI.

А вот как ИИ будет понимать актуальность ответа? Просто на SO очень много темп, где ответам много лет, и например библиотека умерла или уже по другому надо писать.

Иногда просто заходишь в тему, ей 5 лет пример, и там каждый год по новому варинату решение, при этом старые просто неатуальные становятся или даже не верными. Хотя в како-то помент были и верные эти ответы

ChatGPT на вопросы по Dart/Flutter генерирует код и советует библиотеки для Dart 2-й версии (а в 3-й версии новый Null Safety, так что все советы очень малополезны.

Так что да, когда для старой версии библиотеки/языка написано много кода и ответов на SO, а для новой еще мало, то LLM работающие на вероятностных принципах, очевидно что будут выдавать.

Большинство тем с вопросами по php содержат под 80% заведомо неверных советов. Причем настолько неверных, что типичный индусский код на их фоне - шедевральный алгоритм.

Sign up to leave a comment.

Other news