Action information
132,44
рейтинг
12 марта 2012 в 14:22

Разное → ЕГЭ: как это было

Об ЕГЭ немало копий сломано. При этом, правда, на Хабре в основном был разбор комичных или некорректных заданий и только один взгляд изнутри глазами админа, к которому наблюдался повышенный интерес, что неудивительно. Поскольку наша компания в этом проекте давно, нам тоже есть что рассказать. ABBYY принимала участие:

• в проектировании архитектуры обработки результатов экзамена с использованием продукта ABBYY FormReader Developer Edition (теперь это называется ABBYY FlexiCapture Engine),
• в обучении региональных специалистов,
• во внедрении,
• в технической поддержке.

Итак, продолжим смотреть на ЕГЭ изнутри.

История

История ЕГЭ начинается в 1999 году, когда Центром стратегических разработок была поставлена задача проанализировать возможность проведения в России единого государственного экзамена. Основные требования заключались в том, что экзамен должен был стать массовым, независимым, объективным, сравнимым.

Алексей Калинин, ведущий управляющий по корпоративным проектам ABBYY Россия, отмечает, что планирование было довольно грамотным: основные сценарии и подавляющая часть исключительных была описана с самого начала, что помогло избежать дополнительной путаницы в и без того непростом проекте. Но и тут не обошлось без разнообразных проблем, о которых (и не только о них) можно прочитать ниже.

В 2001 году к тестированию ЕГЭ подключились 5 регионов и 30 тысяч выпускников. На тот момент ЕГЭ – ещё не совсем ЕГЭ, а по факту «централизованное тестирование», проводимое Федеральным центром тестирования (ФТЦ), потому что для true way-ЕГЭ ещё не закуплено железо, софт. Есть только хитрый план :)

В целом схема изначально выглядела довольно просто: оператор следит за сканером на станции сканирования, сканы передаются на станцию распознавания, где происходит догадайтесь что. После окончания этого таинственного автоматического процесса результат передаётся на станцию верификации, где оператор имеет возможность сравнить результат распознавания с оригиналом (в электронном виде, конечно).

В 2002 регионов было уже 16, набралось в них 300 000 участников. И это был уже настоящий ЕГЭ. Бланки, поддающиеся автоматической обработке, обрабатывались именно автоматически, но не без проблем: цепочка «сканирование-распознавание-верификация» была устроена так, что при отвлечении человека-верификатора производительность всей цепочки падала. Зачем ему отвлекаться? Дело в том, что заполнение бланков довольно жёстко формализовано. Поэтому, когда обнаруживается какая-нибудь отметка «не по уставу», например, штрих-код на одном из бланков закрашен (заскучал ученик, что поделаешь), верификатор обязан привлечь специалистов, которые проблему разрулят. При этом такие действия часто могли сопровождаться сбором комиссии и заполнением актов. В том же 2002 всплывает ещё одна проблема со второй частью бланков, которую могут решить только эксперты. Заключалась она в том, что не было реализовано автоматическое распределение работ между экспертами, проверяющими работы, и, как следствие, возникал некоторый хаос.

В 2003 участие в едином экзамене приняло уже большинство выпускников. Для устранения проблем реализованы механизмы автоматического распределения заданий второй части между экспертами (для них автоматически печатается область с ответами бланков «C»), а также введена в схему «станция старшего верификатора». На ней как раз работали те специалисты, к которым раньше должен был «ходить ножками» обычный верификатор. Теперь в случае проблем рядовой верификатор просто перенаправлял задачу старшему и «конвейер» не замедлялся.

2004. Внезапно стало понятно, что зря печатается огромное количество пустых документов, ведь к заполнению бланка с вопросами группы «C» даже не приступают 50-80% учеников. Но тут есть проблема: по правилам пустая страница обязательно перечёркивается буквой «Z» по окончании экзамена, чтобы нельзя было дописать чего-нибудь позже. Поэтому систему научили распознавать перечёркнутые таким образом страницы, и они стали определяться как пустые. Количество печатаемых материалов уменьшилось в разы.

Казалось бы, леса спасены, конвейер налажен – чего ещё желать?

К 2007 стала наблюдаться некоторая небрежность со стороны верификаторов – они принимали участие в проекте уже не первый год, привыкли и расслабились. Стало понятно, что необходимо стимулировать людей для возвращения к нормальному состоянию – состоянию крайней внимательности, ведь дело крайне серьёзное – на кону буквально будущее детей. Тогда в систему был добавлен механизм статистической оценки вероятности ошибки. Если у поля встречалось редкое значение, бланк попадал на станцию дополнительного контроля верификации. Оператор должен был убедиться, что верификаторы всё правильно проверили и отпустить бланк с миром дальше или сделать «а-та-та» верификатору и вернуть документ на этап верификации. Наличие такого контроля вернуло уровень качества верификации.
Итак, схема обработки документов обрела свой финальный вид


В 2008 ЕГЭ «накрывает» всю страну. Для того чтобы дотянуться до труднодоступных районов, бланки ЕГЭ отправляются заранее, а задания передаются в зашифрованном виде. За час до экзамена передаются пароли. После экзамена заполненные бланки сканируются на любом сканере и отправляются в региональный центр обработки информации. Процесс спроектирован так, что квалификация оператора может быть невысокая («учитель физкультуры»), т.е. с работой может справиться человек, практически не знакомый с компьютером.

Инструменты

Такая длительность проекта естественным образом сказалась на инструментах: начинали с VB, MS SQL 2000, продолжали на C#, MS SQL 2008. C++ тоже использовался – для сложных математических операций. «Операционки»: Windows XP, 2000. Скажете «старьё»? Вообще, даже сейчас, когда им уже столько лет, надо очень глубоко задуматься, прежде чем перетянуть всё под современную Windows 7.

Обучение

Обучение технических специалистов проходило с участием компании ABBYY. Из каждого региона 2 человека приезжали на 3-дневные курсы, где учились настраивать инфраструктуру, а также пробовали свои силы в роли операторов каждой из станций, чтобы задать вопросы в случае их возникновения. Уезжали эти специалисты с дистрибутивом приложения, скриптами автонастройки и пошаговыми инструкциями на каждое рабочее место. Практика показала, что такой формат обучения достаточно эффективен, поэтому он остаётся таким и сегодня.

Саппорт

В техподдержке кроме стандартных средств (e-mail, helpdesk) был использован закрытый форум, на котором сотрудники, принимающие участие в организации ЕГЭ, могли посоветоваться друг с другом. Форум оказался очень полезным, поскольку подавляющее большинство вопросов появляется, конечно, в период проведения экзаменов, т.е. за 5 дней вопросы должны успеть и возникнуть и разрешиться.

Что получилось

По нашим данным, среди тех заявлений на апелляцию, которые были удовлетворены в 2006 году, 0.3% удовлетворены «по техническим причинам». Много это или мало? Вот здесь говорится, что подают апелляции <2% выпускников, а удовлетворяют примерно каждую третью из них, т.е. около 0.6% от общего количества. Т.е. получается, что технические ошибки обнаруживаются в 0.0018% работ.
Автор: @MKrivosheev
ABBYY
рейтинг 132,44
Action information

Комментарии (41)

  • +8
    0.0018% — это очень хороший результат, спору нет.
    Но ведь среди тех 98% работ, авторы которых не подали апелляцию — тоже есть ошибки. Просто выпускник, «чувствуя», что ответил верно на 75% вопросов, не подаёт апелляцию, увидев результат «72%». А ведь число ошибок в этих 98% примерно такое же, как и в тех 2% (а с чего бы ему быть другим). Значит реальный результат в 98/2 = 49 раз больше — нет?
    • +2
      Это было бы верно, если бы случайные события «программа ошиблась» и «ученик подал аппеляцию» были бы независимыми (в смысле теории вероятностей). Но эта гипотеза, IMHO, не выдерживает вообще никакой критики. Очень странно предполагать, что явная несправедливость никак не повышает вероятность подать аппеляцию :) Гораздо правдоподобнее предположение авторов статьи, что ВСЕ выпускники, которым несправедливо не засчитали задание подали аппеляцию.
      На самом деле, возможно, есть ещё выпускники, которым повезло — они ответили неправильно, а их ответ распознан как правильный. Но их существенно меньше, чем «обиженных», так как случайно распознать ответ как верный гораздо менее вероятно, чем просто где-то ошибиться.
    • +1
      Волне возможно что ваши расчеты верны. Но проверить их вряд ли возможно. Как я понял никакие исследования на эту тему не делались. Возможно текущая систуация всех удовлетворяет и никому 100% качества совсем не нужно.
      А кто не доволен, увидел ошибку в обработке — подаешь апелляцию и выигрываешь…
      Ходили слухи что скоро для апелляции даже приезжать не надо будет — по скайпу все будет. Надеюсь это достоверные слухи…
      • +2
        Не могли бы Вы пояснить, почему Вы (а также многие другие плюсующей тот комментарий), считаете, что наличие технической ошибке вообще никак не влияет на вероятность подачи аппеляции? Пожалуйста, посяните, я совершенно не могу придумать правдоподобного объяснения этой точки зрения…
        • 0
          Потому что только сейчас понял что не там плюсанул, хотел пост выше моего.
          Но наличие иного мнения ведь не возбраняется, парвда?! )
          • +1
            Конечно не возбраняется ) Но всегдя хочется разумного объяснения )
  • –3
    Спасибо за статью! Как бы я ни ненавидел ЕГЭ, интересно было прочитать как эта раковая опухоль современного образования работает изнутри.
    • +6
      Я окончил школу намного раньше, чем появилось ЕГЭ и сдавал обычные выпускные экзамены.
      Часто слышу отрицательное мнение о ЕГЭ, но при этом не припомню, чтобы это мнение было чем-то подкреплено. И поэтому я до сих пор не могу понять за что же конкретно так не любим этот ЕГЭ?
      Вы назвали это раковой опухолью — за что?
      В чем разница между обычным выпускным экзаменом за 11й класс по школьной программе и ЕГЭ?
      • +5
        Я сдавал ЕГЭ в 2008 году (как раз, когда «накрыло всю страну»). Учился в спецшколе, и я тоже могу уверенно сказать, что ЕГЭ- очень неплохая штука, и её не портят даже некорректно сформулированные задания. Нас не натаскивали на решение тестов (а в большинстве школ так и делают), мы просто приходили и учились, по обычной программе. Потом просто все вместе пришли и написали. Специально не готовясь вообще. Ниже 80% ни у кого не было! Просто надо учить, а у нас натаскивают на эти несчастные тесты, естественно, что при таком раскладе ЕГЭ только вредит.
        • +2
          Мне кажется, что это проблема не ЕГЭ, а системы оплаты труда учителей. Я так понимаю, что если будет какой-то низкий бал у существенного количества учеников, то это отыграется на зарплате учителей. Насколько я знаю, даже за двойки в четверти учителя лишаются всяких премий и надбавок… А при их з/п такое лишение бьет по карману.
          Вот им и не остается ничего как натаскивать на тесты, а не преподавать предмет.
        • +2
          Почему-то все неверно оценивают эти проценты. За 100% в ЕГЭ берется не пятерка на обычном экзамене. Тут надо набрать не абсолютное большинство ответов, а «больше чем тот парень». Это как в анекдоте про медведя, когда от него удирали два охотника. Не надо бежать быстрее медведя, надо бежать быстрее второго охотника.
          Целью ЕГЭ является ранжировать учеников, отсортировать их по количеству знаний. При этом самый умный может набрать 80%, а самый глупый 20% — это абсолютно не важно. Важно, что остальные находятся между ними. Важно на сколько ты далек от наивысшего набранного кем-то балла.
          Если ученик набрал 75% (четверка по обычной пятибалльной шкале), то это не повод расстраиваться. Возможно, что всего четыре человека набрали больше 75%. А это значит, что этот ученик в пятерке умнейших.
          • +1
            Да, для поступления в вуз логично.

            Но есть еще одна задача, про ее исполнение я вообще ничего не слышал.
            Цель: оценить знания учеников этого года, по сравнению с учениками прошлых лет.
            Это значит что минобр каждый год должен публиковать рейтинг успеваемости страны в целом. Но этого почему-то не делается.
            Вполне возможно, что рейтинг успеваемости с каждым годом падает и властям не выгодно его публиковать. Но это мои домыслы, ибо фактов к сожалению нет… Ничего на эту тему не публикуют.
            • 0
              Скорее падает не рейтинг успеваемости, а качество обучения. В результате если сравнить успеваемость нынешнюю с качеством обучения прошлых лет, то оно конечно (ИМХО!) упало. А когда падают оба показателя — рейтинг может даже и расти :)

              А вот из-за чего падает качество обучения, это другой вопрос.
      • 0
        Я сдавал ЕГЭ, результаты были вполне объективны, ничего плохого про такую схему сказать не могу, по моему это более продвинутая схема оценки знаний чем стандартный экзамен
      • 0
        Когда я заканчивал школу, то у нас в Украине как раз проводили предварительное тестирование. Весь наш лицей добровольно-принудительно попал на тестирование математики, результаты которого можно было засчитать в качестве выпускного. Правда тогда это не давало никаких бонусов при поступлении в ВУЗы.

        По сути идея, как всегда, хорошая, а реализация хромает.
        Основные жалобы которые я слышал и с которыми склонен согласится, это нарушения на местах, в частности отдельно взятые места необъятной родины, где средний бал учащихся выше, а отдельные экземпляры тупы как пробки. Чем дальше от центра, тем больше соблазн для комиссии не сидеть над душой экзаменуемых, а бухать у директора в кабинете.

        Кроме того раскачивание лодки со стороны ВУЗов, которых отрывают от кормушки и заставляют ко всем относится не на основании кошелька родителей, а на основании итогового балла ЕГЭ. В сочетании с предыдущим пунктом взрывная смесь.
      • +1
        ну как за что — компьютер ведь не знает про «хорошие отношения» с учителями…
        • +1
          Ой! Зато отвественный за компьютеры прекрасно знает про «хорошие отношения с руководством». Если в стране воруют, но почему не предположить что и тут жульничают.

          В таком случае надо резко уменьшать кол-во людей участвующих в ЕГЭ, чтобы бынально уменьшить кол-во людей, которые потенциально могут участвовать в корупционных схемах и договорняках. Ну и соответствено чем меньше людей, тем легче их контроллировать.
        • 0
          Это учителей не останавливает. Учителя находят способы помочь своим ученикам. Когда я сдавал ЕГЭ, то бывали случаи, что результаты какой-нибудь сельской школы по математике в среднем совпадали с результатами математического лицея в столице региона. Таким образом в вузы поступали «не самые умные» выпускники школ.
          • 0
            Но лично я ничего против ЕГЭ не имею. Я и мои одноклассники его успешно сдали и поступили в те вузы, в которые хотели. Считаю, что знания этот тест оценивает достаточно объективно, если нет никаких посторонних помощников.
      • +1
        ЕГЭ меня ждёт в этом году. Я могу спокойно придти на любой экзамен по любому предмету и получить 3, при этом практически не ведая ничего по теме. Логическими умозаключениями. Недавний пробник по русскому языку я часть А процентов на 80 решал логически, а не по своим реальным знаниям, и ошибок почти нет. Если бы я писал по билетам, я бы не смог воспользоваться логикой, я бы должен был действительно ЗНАТЬ предмет.
        • +3
          Пробник по географии, кстати, (а это предмет, на который я таскаю пирожки и шахматы, но никогда не учусь) я написал на 4, пары баллов до 5 не дотянул. Вот поэтому я и не люблю ЕГЭ.
      • 0
        Судя по описанию процесса обучения, старшие классы превратились в подготовку к егэ, вместо собственно получения знаний. Эти две вещи конечно коррелируют, но интуитивно мне подход как то не нравится… Немалая часть школьников кстати занимается просто угадайкой. И она похоже вполне приносит плоды.
        • 0
          Вы правы. Хотя на математике ситуация немного изменилась. Убрали часть А, поэтому угадайки больше нет, нужно писать ответ самостоятельно. Да и повторение когда-то давно пройденных тем, не так уж и плохо, но например теорию вероятности нам выдали в самом упрощённом варианте без объяснения что и как, а всё просто потому что в ЕГЭ одно задание на эту тему.
      • +2
        Вот например аргументированное описание одного из недостатков системы ЕГЭ
        my-tribune.blogspot.com/2011/06/blog-post_15.html
        • +2
          Очень хорошая заметка.
          Может даже впервые встречаю настолько хорошо изложенные мысли о недостатках ЕГЭ, а не вопли что «всё это ЕГЭ — го… но!».
          Спасибо за ссылку.
      • +3
        ЕГЭ как альтернатива выпускным экзаменам — это не так страшно. Страшно то, что ЕГЭ стал заменой вступительных экзаменов. Каковы сравнительные стоимости помощь на ЕГЭ и помощи на вступительном? Где проще это организовать?
        Выше написали уже, что ЕГЭ стал инструментом оценки учителей и школ. Учителей могут уволить за низкий средний балл, могут раздавать плюшки и наказания по результатам, школам будут распределять гранты и материальную помощь исходя из среднего балла. Это прямо таки естественная мотивация учителям (а в скором времени и директорам) добровольно или небезвозмездно помогать ученикам сдавать этот пресловутый ЕГЭ. Ну в общем-то и бохсними, казалось бы, раньше тоже помогали, медалистов вытягивали, средний балл пытались подтянуть (по тем же причинам — плохие оценки = плохой учитель, ату его). Но сейчас эти оценки влияют на поступление. Моя сильно сомневаться, что повальные стопроцентные результаты по русскому языку из не очень-то русскоязычных регионов — результат освобождения от гнета злых педагогов и появления независимой проверки.
    • +7
      Опухоль современного образования это взятки.
  • +5
    Заканчивал школу еще в советско-перестроечные времена. Оценки за экзамены всем ставили на основе мнения учителя — текущая успеваемость и есть мнение учителя.

    Сейчас вижу много достоинств в системе оценивания ЕГЭ.
    Также вижу много недостатков в применении управленческих решений на основе ЕГЭ:
    — выживают детей не способных по предмету,
    — увольняют учителей на основе провалов при сдаче ЕГЭ, хотя причин неуспеваемости может быть много, в том числе плохие учителя в младших и средних классах
    — аттестация учителей на основе ЕГЭ приводит к конфликту с учениками
    — нередко ученику достаточно проходного балла по ЕГЭ, а учителю нужен высокий балл — и его настойчиво отговаривают

    Но проблемы ли это технологии ЕГЭ? Проблемы системы оценивания ЕГЭ?
    Думаю, что нет. Управленцы получили мощный инструмент контроля образования, но совершенно не умеют им пользоваться. раньше даже губернаторов оценивали по среднему балу в регионе! Ага, по русскому сравним Москву и Якутию…

    А технология вполне себе жизнеспособная — тут главное точно и вовремя.
    Кстати, спасибо за возможность апелляций, в наше время о таком даже подумать нельзя было — к директору с конфетами только…
    • +1
      Эх, что-то мне подсказывает, что в Якутии средний балл по русскому выше, чем в Москве. )
    • +1
      > Кстати, спасибо за возможность апелляций, в наше время о таком даже подумать нельзя было — к директору с конфетами только…

      Если бы,…
      Сейчас апелляция возможна только на процедуру проведения ЕГЭ в Вашем конкретном случае, т.е. «Было шумно, ходили преподаватели, медалистов вывели в отдельный класс и т.п.»
      Вопросы неверных заданий полностью в ведении авторов заданий.
  • +1
    По идее должны были провести проверку на ошибки распознавания из случайно выбранных анкет.
    Или система сдавалась как 100% надежная, поэтому и не нуждается в проверках.
  • +2
    Принимал участие в ЕГЭ несколько с другой стороны — научно-методическое обеспечение разработки и анализа самих КИМ.
    Так вот, автор (MKrivosheev) «забыл» упомянуть, что при выборочном контроле части В «вручную» на первых этапах 2001-2004 годы, ошибочно распознавались до 30% ответов.
    • 0
      Наверно неудачно выразился. Должно быть: «При „ручной“ проверке было выявлено, что автоматические системы давали до 30% неверно распознанных ответов».
      • 0
        В каком регионе, какими силами проводилась упомянутая проверка с упомянутыми результатами? У нас таких данных нет, интересно.
        • 0
          Не могу Вам сказать точно, поскольку общался с исполнителями работ в сессиях переподготовки/повышения квалификации. Если у Вас есть доступ к текстам отчетов по НИР по ЕГЭ тех лет (должны быть в ФИПИ), то можно попытаться выйти на самих экспертов.
    • 0
      С высокой точностью можно распознавать разве что закрашен или не закрашен кружочек. Всевозможные вариации почерка (даже при написании цифр) — повод к сомнениям относительно качества распознавания письменных ответов. Или, как вариант, сделать сетку, как на конвертах для индекса, и некоторое время потратить на обучение как нужно правильно рисовать цифры и буквы.
      • 0
        С этим не спорю и мы с Вами это понимаем, но «автоматизация» распознавания сразу и части А и части В (при «естественном» заполнении) «стоит» гораздо больше бюджетных денег, особенно с учетом того, что изначально планировалось 25-30 процентное использование бланков части С.
  • 0
    MKrivosheev — спасибо за пост, спасибо что вспомнили мою не очень связную писанину старых лет.
    У меня вопрос сейчас только один. Не в курсе ли вы «политических» течений в ЕГЭ, связанных с принудительным переходом всех регионов на одну технологию.
    Почему меня это интересует (не только меня, не только один регион РФ):
    — большие (в разы) затраты на оборудование\софт, нежели при прежней технологии
    — большие трудозатраты на обработку
    — переобучение всех специалистов от министерств и РЦОИ до школы и ученика
    — совсем неявные преимущества технологии abbyy в плане стабильности обработки и выдаче результатов.
    Не холивара ради, просто интересно, есть ли действительно объективные причины, или же политика\роспил и подобное
    • 0
      Вопрос переадресовал. А пока просто интересно: другая технология — это какая?
      • 0
        Другая технология — имел в виду что наш регион (как и некоторые другие) с начала ЕГЭ целиком работал по крок-у.
        Сам уже давно не при делах, по старой памяти интересно
      • 0
        Итак, ответ (прошу прощения, я его забыл из письма сюда перенести):

        Очевидно что в рамках промышленной эксплуатации технология проведения ЕГЭ может быть только одна – у детей должны быть равные возможности.
        В рамках эксперимента действительно отрабатывалось две технологии, назовем их технологиями Аби и альтернативная технология.
        На момент принятия решения об окончательном выборе единственной технологии для штатного режима технологию Аби выбрало 76 регионов, альтернативную технологию — 7.
        При этом каждому региону был предоставлен свободный выбор технологии в рамках эксперимента.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное