Pull to refresh

ChatGPT 4 идёт в школу

Reading time4 min
Views11K

Апологеты языковых моделей пугают нас, как истошно кричащие и взбивающие воздух крыльями чайки. Каждая чайка орёт о чём-то своём: кто о «сингулярности, которая наступает» (чтобы это не значило), кто о важности классификации ИИ (прививая мысль о том, что ИИ уже есть, только он ещё маленький и секретный), а кто просто хвастаясь прохождением невоспроизводимых тестов и достижений полученных в нечётких условиях и/или без всякого контроля.

Что мы можем сразу увидеть в 358 словах учителя Лицея НИУ ВШЭ (и много других страшных слов)? Конечно, это речевые обороты: «для нас важно» и «мы должны помнить». Однако же, видели ли Вы когда-нибудь, чтобы чат-бот писал «так»? Для кого это: «нас»?! Без отопластики видно, что «уши учителя так и торчали».

Специалисты расходятся во мнении каким был исходный запрос педагога, но по заданной теме GPT-4 сообщил следующее (цитата): «Прогресс, дарующий человеку удобства, обернулся опасными последствиями для всего человечества. Это потребует общественного осознания, а также принятия мер по улучшению экологической культуры и социальной солидарности». Слова-то все русские, но по сути - это просто «набор слов», причём предельно «корявый».

Поэтому, гораздо достоверней фантазий писателя из МШЭ пугающего чиновников чат-ботом (не самая лучшая идея, сегодня), выглядят новости о том, как ChatGPT завалил экзамен для поступления в сингапурскую начальную школу, а годом спустя завалил ЕГЭ по Литературе. Если мы посмотрим на результат, то увидим формулировки «своего народа» и «своё воспоминание». Никаких «мой» и «наш». Было бы смешно, если бы чат-бот ассоциировал себя с «человеками» и писал от имени «нашего народа». Для стороны чат-бота госпожа Анна Ахматова, это — «она», «та самая» и «которая».

Язык для языковой модели безразличен именно потому, что внутри себя алгоритм оперирует объектами которым сопоставляет слова (любых) языков. Однако есть большие проблемы — с фактами и осмысленностью.

Действительно, генераторы текста подобные GPT-4 способны отобрать хлеб у переводчиков и могут легко использоваться для «фишинга». Но в тех случаях, когда организаторы тестов, конкурсов, экзаменов и т.д. добросовестно выполняют свои обязанности: у генеративных языковых моделей нет никаких шансов.

Например, недавняя «победа» в Sony World Photography Awards 2023 на самом деле касалась сорванного конкурса Open competition, в котором участник не смог бы предоставить исходники своей работы, так что изображение было удалено. Сообщество Stack Overflow запретило публиковать ответы сгенерированные GPT-4, т.к. как правило они соответствовали контексту вопроса, но были неверными по существу и вводили в заблуждение.

Но что будет если GPT-4 действительно дать порешать школьные задачки?

Русский язык

Задачи взяты из викторины по русскому языку для учеников 3-го класса.

Правильный ответ: обидеться
Правильный ответ: обидеться

ChatGPT 3.5 отвечал на этот вопрос «вздуть», так что прогресс как будто налицо.

Правильный ответ: донья
Правильный ответ: донья

ChatGPT 3.5 отвечал на этот вопрос «дно». Мне подсказывают, что бот имел ввиду себя.

Правильный ответ: пол-лимона
Правильный ответ: пол-лимона

Пол-лимона пишется через дефис, это сложное слово.

Литература

Задачи взяты из викторины по литературе для учеников 5-6 классов.

Правильный ответ: «Снежная королева», Ганс Христиан Андерсон
Правильный ответ: «Снежная королева», Ганс Христиан Андерсон

Голливуд наверняка что-то снимает по Достоевскому с использованием ChatGPT.

Лишнее имя - Каштанка. Автор «Муму» - И.С. Тургенев
Лишнее имя - Каштанка. Автор «Муму» - И.С. Тургенев

«Муму» наиболее полно отражает способности GPT-4 по выбору из более чем 3 объектов.

Правильный ответ (опять): «Муму» - И.С. Тургенев
Правильный ответ (опять): «Муму» - И.С. Тургенев

Уверен, что многие не поверят: убедиться здесь.

Предлагаю команде OpenAI так и назвать следующий релиз чат-бота - «Муму».

Математика

Задачи взяты из олимпиады по математике для учеников 3 класса.

Правильный ответ: 7
Правильный ответ: 7

Не уверен, что TruthGPT от Илона Маска здесь поможет.

Правильный ответ: 8
Правильный ответ: 8

Нечеловеческая логика.

Правильный ответ: пятница
Правильный ответ: пятница

Во избежание спора в комментариях.

Правильное рассуждение было бы приблизительно таким: Если вчерашний день - четверг был бы завтрашней субботой, то следующий день был бы воскресенье. Условию соответствует, значит сегодня - пятница.

Физика

Тестирование по физике для учеников старших классов

Правильный ответ: 6 м/с2
Правильный ответ: 6 м/с2

Полное решение GPT-4 смотреть здесь (ответил -5,81 м/с2).

В принципе, это верный ответ если считать g = 9,81 м/с2 (школьники об этом не знают)

Но решается задача в одно действие: a = g - T/m = 10-(2000/500) = 6 м/с2

Правильный ответ: 7 cек.
Правильный ответ: 7 cек.

Полное решение GPT-4 смотреть здесь (ответил 8,0001 сек.)

Это задача «со звёздочкой».

Поезд прошёл S1=a*t^2/2 , пассажир пробежал S2=v*t

Чтобы догнать пассажир должен пробежать S2=S1+L

Следовательно, v*t = (a*t^2)/2 + L

Перепишем, (a*t^2)/2-(v*t+L) = 0

Отсюда, пассажир поравняется с первым (своим) вагоном через :

t = (v - sqr(v^2 - 2*a*L))/a = (9-sqr(9^2-2*1*40))/1 = (8-1)/1 = 7 с

Без комментариев
Без комментариев

К этому моменту Вас должны были утомить формулы.

Информатика

Вряд ли GPT-4 хорошо знает УК НЦ Бейсик (версия 1985.11.01), поэтому «Hello, World!» будем писать на Sinclair BASIC стандартном для 35 000 школ Великобритании образца 80-х годов прошлого века. Что может быть проще?

1-й подход к «снаряду». Кто-то просил паузу и «бесконечный» цикл?
1-й подход к «снаряду». Кто-то просил паузу и «бесконечный» цикл?

Полный ответ GPT-4 смотреть здесь.

Команда RUN служит для запуска программы и не используется в самих программах на Sinclair BASIC. Это бессмыслица.

2-й подход к «снаряду». Теперь мы будем получать ошибку.
2-й подход к «снаряду». Теперь мы будем получать ошибку.

Полный ответ GPT-4 смотреть здесь.

Это копипаст из какой-то переводной книги. С ошибками переводчика.

Команда STOP служит для выхода из цикла или прерывания программы. Для завершения программы в Sinclair BASIC не требуется и программа выдаст при её выполнении ошибку:

У меня есть эмулятор.
У меня есть эмулятор.
3-й подход к «снаряду». Опять «бесконечный» цикл.
3-й подход к «снаряду». Опять «бесконечный» цикл.

Полный ответ GPT-4 смотреть здесь.

Говорят разработчики совершают много итераций пока GPT-4 предлагает свои копипасты.

4-й подход к «снаряду». Просто ошибочная программа.
4-й подход к «снаряду». Просто ошибочная программа.

Полный ответ GPT-4 смотреть здесь.

Конкретно в Sinclair BASIC вообще НЕТ оператора END.

5-й подход к «снаряду». Ну хоть так.
5-й подход к «снаряду». Ну хоть так.

Полный ответ GPT-4 смотреть здесь.

Неясно зачем этот пустой комментарий в конце программы.

Из пояснения следует, что однострочных программ на Бейсике не бывает. =)

Окружающий мир

Три вопроса из ОГЭ

Правильный ответ: Делькю (река в России)
Правильный ответ: Делькю (река в России)

Очевидно нет круче рек чем Миссисипи, но всё-таки:

Река Делькю знаменита тем, что по ней можно попасть из Ледовитого океана в Тихий
Река Делькю знаменита тем, что по ней можно попасть из Ледовитого океана в Тихий
Правильный ответ: Красное, Чёрное, Жёлтое и Белое море
Правильный ответ: Красное, Чёрное, Жёлтое и Белое море

Чёрное море происходит от тюркского «Кара дениз», у тюрков север считался чёрным.

Правильный ответ: Северный полюс
Правильный ответ: Северный полюс

Самоочевидно.

Бонус для тех кто дочитал до этого места

GPT4 провалил "тест на форточку"
GPT4 провалил "тест на форточку"

Предыдущая часть: ChatGPT провалил тест на ручник.

Tags:
Hubs:
Total votes 23: ↑13 and ↓10+7
Comments150

Articles