Учебный процесс в IT

индекс
214,21

ЕГЭ глазами другого админа

В этом посте описывается технология проверки ЕГЭ КРОК, наш же регион работал и продолжает работать по технологии ФЦТ (Федеральный центр тестирования). Основная волна ЕГЭ почти прошла, поэтому появилось время написать статейку про то, как все сейчас происходит. Давно уже хотел написать данную статью, но все как-то сомневался можно или нельзя, есть в этом что-то тайное или нету. Никаких документов запрещающих мне рассказывать про технологию нету, поэтому вот решился.

Никаких комментариев по качеству софта или оценки технической составляющей не будет, так как это просто не корректно. На самом деле для непосвященного человека со стороны все выглядит удивительно. По-крайней мере меня это сначала впечатляло.

Сбор базы данных и проведение экзамена

Предварительно собираются данные по выпускникам текущего года и людям, которые хотят сдавать ЕГЭ (не поступившие выпускники прошлых лет, вернувшиеся из армии и многие другие), организаторам ЕГЭ в ППЭ (Пункт проведения экзамена). Это надо для того, чтобы знать сколько людей будет сдавать экзамены, какие экзамены, для последующей сверки бланков, вообще без нее никак :)

Сбор данных происходит с помощью программ ЦТ, есть софт регионального уровня, есть муниципального. В районах собирают данные забивают в софт, передают нам, мы собираем и отправляем в ЦТ.

Дальше происходит распределения по ППЭ организаторов и учеников. Кто в каком ППЭ сдает, в дальнейшем в ППЭ будет происходит распределение по аудиториям, чтобы заранее дети не знали на каком месте будут сидеть, также распределяются организаторы по аудиториям по той же причине.

Сбор данных – песня еще та… На протяжении периода сбора данных у детей начинают меняться персональные данные с непонятным безумством, кто паспорт потерял, кого усыновили, у кого-то ошибка в базе, кто-то имя сменил и т.д. А с какой скоростью меняется набор экзаменов, которые ребенок планирует сдавать стоит уж догадаться. У нас вообще семь пятниц на неделе :) Знать максимально точное количество человеко-экзаменов – важно. Так как сами КИМы (контрольно-измерительные материалы), бланки которые заполняют ученики при сдаче, приходят, естественно, из Москвы, сами мы ничего не печатаем (в отличие от технологии КРОК).

По КРОКовской технологии в РЦОИ (региональный центр обработки информации), т.е. у нас в центре, должны печататься регистрационные бланки, с уже пропечатанными данными ученика и этот бланк прикладывается к самому ИК (индивидуальному комплекту). По технологии ЦТ регистрационный бланк ребенок заполняет сам. По-итогу мы сканируем и распознаем намного больше бланков. В связи с тем, что кривые буковки выпускников не всегда верно распознаются, появляется проблема привязки результатов обработки к конкретному ученику из базы. На мой взгляд технология КРОКа в этом плане все-таки удачнее.

В день экзамена после проведения ЕГЭ все бланки возвращаются к нам, здесь они принимаются по определенным формам и в определенной системе раскладываются по шкафам.

Обработка

Здесь используется ПО ABBYY TestReader. Бланки сначала сканируется, потом распознаются, верифицируются, печатаются работы экспертам. Часть А и В проверяется автоматически, часть С проверяют эксперты.

Сканируем мы на поточных сканерах Fujitsu серии fi. Про скорость сканирования и прочее можно почитать на сайте производителя, про это писать не буду. Отсканированные картинки поступают на станцию распознавания, по названию понятно чем она занимается. Бланки С после верификации уходят на печать работ для экспертов, а бланки регистрации и ответов АВ на отправку в ЦТ. Работы экспертами провеются и результаты их проверки также отправляются в ЦТ. Все 3 бланка образуют единый комплект. Бланки ответов АB и С не персонифицированные, т.е. никто в обработке не знает чье бланки проверяет, сами бланки связаны штрих-кодами.

Все данные передается в ЕРБД (единая распределенная база данных) методом репликации нашей локальной базы данных по специально организованным крипто-каналам. Так в этом году, ранее формировались XMLки и отправлялись в ручную, сейчас этот процесс автоматизирован. Ничего вручную получать и отправлять не надо, т.е. забеги с флешками по Центру закончились. Приходилось все данные переносить из одной сети в другую, так как та сеть где происходит обработка полностью изолирована должна быть. Сейчас по крипто-туннелю данные можно получать и отправлять без беготни и это безумно радует, но и есть свои минусы конечно. Думаю в следующем году с этим вообще проблем не будет )

В общих чертах все, обработка 1 экзамена занимает у нас 3-4 дня, экзаменов довольно-таки много, поэтому работа почти круглосуточная в течение месяца.

После обработки получаем результаты из ФЦТ, которые тоже необходимо обработать, посчитать всю необходимую для методистов статистику. Тут ЦТ никакого софта не предусмотрена. Поэтому написали свой и успешно пока работаем.

В целом все, готов отвечать на Ваши вопросы )
+37
25 июня 2009, 12:40
10

комментарии (107)

+1
padla2k #
Вопрос такой — КРОК делала софт и вообще разрабатывала технологию ЕГЭ по заказу мин.обра? Как планируется внедрять эту систему? Планируется ли вообще?
0
ExcimeR #
Технологию КРОК отменили, и все регионы перевели на технологию ЦТ.
+3
StirolXXX #
Перекупили монопольное право заработка денег?
+1
ExcimeR #
Две эти технологии развивались параллельно, что ЦТ, что КРОК. Ну тут уже вопросы политики, в которые я не вдаюсь. Как бы ЦТ — это федеральный центр тестирования и есть государство, а Abbyy — лидеры рынка наверное в ПО по распознаванию, сканированию и т.д. И их Testreader, который используется — реально отличный комплекс. Я, если честно, сомневаюсь что КРОК реализовал бы что-либо подобное.

Плюсы и минусы есть у обоих технологий, но лично мне ближе технология ЦТ, скорее всего привычнее. Не отрицаю, что в КРОК что-то реализовано лучше, сам процесс кажется более продуманным. Но процесс обработки самих бланков в техническом плане у Abbyy — просто отличный
0
FFX #
А ведь КРОК — одна из крупнейших российских ИТ-компаний (с оборотом $860 млн за 2008 год), да и технология своя у них уже далеко не один год имеется. Так что эти сомнения, как мне кажется, появились только из-за бренда ABBYY.
–10
zed_0xff #
очень интересно, но текст хотябы в ворде на орфографию и пропущенные буквы проверить надо.
не смог так читать далее середины.
спасибо.
–9
StirolXXX #
мы-ж в интернете =))

+8
alexeyshockov #
И что?
0
ExcimeR #
Спасибо, исправил. Надеюсь все )
+3
zed_0xff #
семь пятниц на недели
семь пятниц на неделе
+1
zed_0xff #
приходят естественно с Москвы,
приходят, естественно, из Москвы,

довольно, таки много
довольно-таки много

в течении месяца
в течение месяца
–22
3ybHa9_Fe9 #
быть педантом нынче модно?
–9
3ybHa9_Fe9 #
задело?
+7
GemXXX #
Быть образованным нынче модно
–5
3ybHa9_Fe9 #
Черт возьми, об образованности никто не говорит. Каждый пост, содержащий в себе будь то ошибку, будь то опечатку, подвергается перманентному гнобу «граматикодрочеров». Не надоело, товарищи?
+1
deusdeorum #
ну и что? зато получаем в итоге текст без будь то ошибок, будь то опечаток
–6
3ybHa9_Fe9 #
это было бы актуально если бы это был какой нибудь литературный кружок.
+7
deusdeorum #
«какой-нибудь» через дефис и запятая перед «если»!

а если серьезно, грамотность актуальна всегда, тем более если это интеллектуальное сообщество
мне _приятней_ читать текст без ошибок и написанный в хорошем стиле
не надо только говорить, что это форма, а содержание более ценно
это так и есть, просто про форму тоже забывать нельзя
НЛО прилетело и опубликовало эту надпись здесь
–4
StirolXXX #
«Сгсално исслднеоявиам агнлйксиих унёычх селудет, что сошвнерено вёс-рнаво в ккаом пкоярде сотят бвкуы в совле, смаое гавлоне, что перавя и псоленядя бквуы длжоны соттяь на свиох мсеатх. Оталсьное мжноо без полербм порчтиать. Птомоу-что мы чтаием солво цлекиом, а не бквуа за бквуой.»
–1
ExcimeR #
но все равно — это маленько напрягает )
+12
ChemAli #
Аоюыстлнбй берд, пчшиуивлой шкоорие рнренипосстраае.
–3
Alver #
«пчшиуивлой» и «рнренипосстраае» расшифровать с ходу не удалось. понадобилось 30 секунд чтобы понято что там.
–1
i0ngunn3r #
А я секунд за 5 прочел :)
–2
razr #
возьми с полки пирожок)
+2
GubkaBob #
а я не могу :( что это?
+1
i0ngunn3r #
Абсолютный бред, получивший широкое распостранение :)
0
Whasango #
не совсем, доля истины тут есть. только буквы не могут распологаться «как угодно» в слове, они могут путаться в пределах слогов, тогда всё сразу логично и понятно будет :)
–2
zed_0xff #
баян.
но тут есть однородность текста.
все слова переиначены.
а вот когда 95% текста нормально, но в него вставлено 5% таких вот искаженных слов — это будет бесить.
+1
pepelac #
Про нтсонжавеь птсоньлетаводелсои бкув вртуни слова — это пёдзиж
–3
bykov_ms #
Я понимаю, что для вас вопрос орфографии важнее содержания, но акцентировать всем и вся думаю не стоит. Это разговор не по теме. Особенно учитывая ваше комментарии ниже.
+1
zed_0xff #
минусуйте.
«всем и вся» я не акцентирую.
например, на неверно расставленные запятые, просторечия и прочие невинные мелкие шалости/пакости/ляпы — я внимания не обращаю.

к тому же, автор поста мне уже сказал «спасибо». делаю вывод, что ему мои замечания были полезны.
+1
bykov_ms #
такие вопросы надо отписывать в личку, а не устраивать публичное закидывание.
–1
Squirrel #
Интересно, на что бы автор сдал ЕГЭ по русскому?:)
+3
Urchr #
Какие-то посты про ЕГЭ идут слишком положительные. Когда будет пост про мошенничества на ЕГЭ из первых рук?
+5
Gibbzy #
Никогда — все боятся.
+1
ExcimeR #
Думаю что после проведения всего ЕГЭ я напишу рефлексивный пост о всеобщем напряжении, которое твориться в нашем Центре. Постоянные звонки, недовольные ученики и родители, оскорбления (порой и личные), масса всего отрицательного и негативного. Поэтому ничего писать кроме как положительного не хочется.

А насчет коррупции и мошенничества — с момента введения ЕГЭ в вузах она значительно понизилась ;) И мне кажется, что ЕГЭ дает реальный шанс умным, одаренным детям из провинции поступить в престижные вузы страны. А это уже настолько хорошо, что можно закрывать глаза на все остальное. В России проблема образования в том, что таланты гибнут в провинции. Сам учился в ФМШ при НГУ — там очень много детей именно из удаленных территорий, причем поступить туда абсолютно реально без всякого блата. В основном все так и поступают…
+9
linux2000 #
Действительно, «талантливые» ученики с Кавказа со 100 балами по всем предметам, за счёт клановости и обширнейшими родственными связям — честным образом поступят в престижные университеты, и начнут двигать российскую науку:)
0
Squirrel #
Т.е., ситуация коренным образом не изменится? :)
0
rg_software #
Престижный университет легко отчислит их после первой же сессии, если захочет.
0
linux2000 #
Отчислит, но на их место после сессии новых студентов набрать не сможет…
0
rg_software #
Всё не так плохо. Есть люди (я сам среди таких), которые после полугода-года-двух лет обучения в вузе поменьше решают перевестись в вуз покрупнее (семья переехала или первый раз не поступил, не решился, а теперь вот захотелось...)

Так вот на такой комиссии по переводам и восстановлениям на первом-втором курсах конкурсы обычно достаточно велики.
+2
Squirrel #
Весьма сомнительно, что одаренность и ум учеников можно выявить на основе тестов! Т.е. это невозможно, на мой взгляд.
А коррупция просто перекочевала из университетов в школы.
0
rg_software #
Насколько я понял из публикаций, для поступления в любой более-менее приличный вуз профильный предмет необходимо неплохо сдать на уровне части С — а это уже не тестовое задание (тесты в А и частично в В).
0
ivanych #
А откуда вообще у учеников и родителей номер телефона центра обработки? Я так понимаю, центр обработки — это чисто техническое подразделение, никаких решений не принимающее. Зачем кому-то выдается номер телефона и зачем эти кто-то звонят в центр?
0
twangel #
А про сервисы и службы вроде http://yellowpages.ru/ Вы не слышали?
0
ivanych #
Ну, я, конечно, допускаю, что всякие желтые страницы как-то выведывают номер телефона, но вопрос-то не об этом.

Вот Вы же не звоните в свой ЖЭК из-за того, что в Думе приняли не устраивающий Вас закон про ЖКХ? Что толку звонить в ЖЭК, вопрос-то не там решается.

Так же и с центром обработки. Решения об апелляции и прочие решения не в центре обработки принимаются. Так чего туда звонить?
0
twangel #
Так же и с центром обработки. Решения об апелляции и прочие решения не в центре обработки принимаются. Так чего туда звонить?

Так у нас страна такая, где все везде оффтопят и пытаются достать кого угодно по интересующему их вопросу. :(
+1
MKrivosheev #
Слышал, что в Чебоксарах, кажется, года 4 назад можно было докупать баллы по 1 килорублю за балл :)
+1
ExcimeR #
:) ну-ну, и как же они это реализовывали?

Результаты в 100-бальной шкале выдает Москва, и единственный способ повысить балл — апелляция, на которой предметная комиссия, может как повысить, так и понизить балл. Даже при изменении на 2 сырых балла требуется множество бумаг с кучей подписей выслать в ЦТ, причем если предметная комиссия сильно повысит результат после комиссии, то это ЦТ явно покажется аномальным.

Про Чебоксары скорее всего просто слухи и сплетни. Вокруг ЕГЭ вертится вообще масса необоснованных слухов и сплетен
+2
MKrivosheev #
Попросили негатива — я вбросил :) Я же сказал, что «слышал», а не что «прям точно знаю»
0
ExcimeR #
Я просто прокомментировал ваше высказывание, сказал, что навряд ли возможно такое :)
0
kuzya555 #
В Красноярске ЕГЭ обрабатывается в СФУ, поэтому можно было купить экзамен у людей, непосредственно связанных с обработкой тестов. Насколько я знаю, там просто подменялся пакет с бланками, и уже он отправлялся в Москву.
Ну и в некоторых школах есть возможность попасть в отдельную аудиторию, откуда можно позвонить репетитору. Так что поток денег просто перешел к другим людям, я думаю. :)
0
Ctacus #
Позвонить можно было из туалета, а не из какой-то специальной аудитории =)
0
kuzya555 #
Это понятно, но тут они получают возможность звонить сколько угодно раз и кому угодно + возможно там будет преподаватель по профильному предмету. Думаю, школа заинтересована, чтобы деньги были потрачены не зря. :)
0
Animan #
Еще почти 4 года назад когда я сдавал экзамены (ЕГЭ у нас был по желанию, у меня такового не возникло) богатые родители купили одному мальчику 2й резулььтат по области. Не думаю что сейчас подобного нет.
0
zed_0xff #
так они наверное просто нашли мальчика-гения, и за денежку ему, и учителям-кураторам, вместо своего мальчика посадили гения, а ФИО вписали его…
0
ExcimeR #
Наверное наиболее простой вариант )
0
Animan #
Да нет, факт что он ходил и писал известный. А результат второй по области.
0
kibitzer #
Может он не только богатый, но и умный? :)
0
StirolXXX #
Одно другое — не исключает =)
0
Animan #
Поверьте, нет. До 2го по облассти он не тянет
–1
theschmidts #
Да там все просто: ребенок фотографирует задания, учителя/репетиторы его решают и присылают назад ответы.
Надо только подкупить проверяющих в аудитории, чтобы они вышли «покурить».

Подозреваю, что скоро в Москву приедет много ребят из солнечной Чечни и Ингушетии с результатов в 100 баллов.
+1
ExcimeR #
Кстати эти районы сдают ЕГЭ не ахти, можно посмотреть статистику по России, чтобы не делать таких выводов ;)
+1
m1kola #
Интересно как у нас в Беларусии проводится ЦТ. Предполагаю, что не сильно различаются технологии…

За статью спасибо ;)
0
Morozhko #
про Беларусь могу рассказать как проходит само ЦТ (не проверка бланков, а как проходит). Но там ничего особенного. Единственное что всё по строже, не думаю что абитуриенты могут вытянуть телефон и отправить смс, за этим следят активно, и требуют что бы телефоны сдавали в гардероб.
0
m1kola #
Ну как проходит — я знаю. Сам только, что с физики пришёл :)
По поводу «по строже»… Да мне тоже так показалось…

Меня лично интересует техническая сторона. И сильно ли она отличается от описанной в этой статье.
0
dnbsoft #
Чисто умозрительный эксперимент.
Если сдающий ЕГЭ ученик аккуратно сфотографирует мобильным телефоном (если их отбирают, то фотокамерой в часах, в ручке, в пуговице, в очках — продаются на e-bay) штрих-код на ИК, то это означает, что путь его работы по электронным сетям, место проверки, точку формирования базы и эксперта, занимающегося проверкой, можно будет отследить?
Надо будет подумать об этом…
0
ExcimeR #
Теоретически можно, но зачем?
Исправить результат? Это же со скольким количеством людей надо договориться то…
0
non7top #
были бы деньги, а карман под них всегда найдется.
+1
CyberCore #
Нет не отбирают, знакомая сдавала историю, сидела в аське, ей сестра искала и присылала ответы на сложные вопросы.
+2
platinum07 #
вот что-то мне подсказывает, что с этим «как повезет».
не могут все отбирать или все не отбирать.
0
LANdiver #
Вот теперь я понимаю, почему у нас золотая медалистка написала алгебру на 36(!) баллов, а у троечников от 50 баллов в основном.
+3
0leGG #
Какая-то неправильная это медалистка и неправильный мёд делает =)
0
LANdiver #
)))) ваш комментарий меня улыбнул)
+1
CyberCore #
Не знаю насколько там все шифровано перешифровано и то, что эксперты не знают чьи бланки проверяют. Но у знакомой на экзамене, мальчик пошел и сдал пустой бланк, сказал преподу чтобы тот не волновался и запечатывал и пошел спокойно домой. Получил четверку. Слухи о ценах дошли, что за эту четверку отдали в районе 250 т.р.

Как кто-то сказал выше, уж больно хорошо и позитивно все описано. Где же интересно слабое звено, в этой шифрованой цепи?
0
ExcimeR #
я описал как есть, а не хорошо и позитивно :)
Ничего не «шифровано перешифровано», зачем много шифровать если можно сделать просто хитрую систему. Как я говорил связь идет по штрихкодам, зачем их шифровать. Даже если вы их считаете, то вы навряд ли вычислите алгоритм связки или код. Тем более эксперт, который долёг от всех этих тонкостей.

Можно, конечно, пометить работу каким-нибудь символом, но не факт что работа попадет имено тому эксперту, с которым эта метка оговорена, да еще есть организаторы в аудиториях, который должен следить за всем в аудитории и в том числе за отсутствием дополнительных меток на бланках, и ответственный ГЭК (государственная экзаменационная комиссия), который следит за работой в ППЭ.
0
CyberCore #
«шифровано перешифровано» — да это я образно :) К тому что, вроде и защитили с технической точки зрения все, а все равно результаты можно купить.
+7
i0ngunn3r #
Фу, уж лучше бы за репетиторов 250 килорублей отдали бы, и пользы больше было бы, и балл выше.
0
CyberCore #
Вот-вот! А еще лучше, если бы ребенку в школе время больше уделяли :(
0
yvanko #
Вы чего? Это же учиться надо :(
+2
propulsivo #
Меня терзают сомнения, что такой человек будет учиться для знаний. Следовательно он вложил деньги в диплом. Но диплом, мне кажется, стоит дешевле, как и военный билет.

Тогда мне совершенно не ясно такое вложение денег и вызывает сомнение в истинности самой истории.
0
CyberCore #
Диплом дешевле 250т.р? В селе кукуево, на повара?
Военники тоже везде по разному стоят, в Самаре 70 например, а в тюмени 200.
0
beloks #
В Новосибирске на менеджера!
Военный 25-50 т.р. адрес? пр. Дзержинского
0
fuCtor #
А не проще ли было постараться сдать самому чем столько платить %), даже теоретически.
0
arc #
как раз бы детали очень не помешали :) а то как то слишком все поверхностно и впринципе технология стандартная для таких вещей :)
0
McBernar #
А что делают эксперты? Проверяют вручную бланки, а после комиссия сверяет их оценки и оценки бланков, которые были проверены автоматически? Проверяют на наличие расхождений? Или что?
0
ExcimeR #
Эксперты проверяют бланки части С, творческие задания, сочинения по русскому, эссе по литературе, развернутое решение задач по математике. Эти бланки не проверяются автоматически ) только экспертами по определенным ФИПИ критериям
0
McBernar #
А за автоматической проверкой никто не проверяет потом? Ну мало ли сбой был.
И бланки на руки отдаются? Для проверки результата?
0
ExcimeR #
Никто не проверяет, но есть наборы правил, по которым проверяется каждый пакет после верифекации, также разнообразные сверки. По опыту могу сказать что в основным ошибки происходят из-за человеческого фактора… Но на самом деле количество ошибок ничтожно мало
0
McBernar #
А ученикам копии бланков возвращаются? Для апелляции или просто «на память»?
0
ExcimeR #
Нет, не возвращаются
0
McBernar #
А если я не согласен с результатами тестирования? Как мне обосновать что-то? Как проверить?
0
Gibbzy #
Можно подать аппеляцию.
Её отдадут на перепроверку и рассмотрят при вас, где экспеты расскажут и покажут где и почему ошибки.
0
McBernar #
То есть, я могу подать апелляцию, основываясь только на внутренних ощущениях уверенности в своей правоте?
0
bat #
В принципе, да. В протоколах, правда, указываются на какие задания ответил верно (кол-во первичных баллов за ответ), но все же это не так информативно.

Основная масса апелляций — это именно желающие посмотреть на свою работу (для рассмотрения апелляции готовится большая кипа бумажек, в числе которых скан-копии всех бланков + результаты распознавания). После того как в сервис просмотра индивидуальных результатов добавили возможность посмотреть скан-копии и результаты распознавания, количество апелляций резко снизилось.
0
McBernar #
Выше написали, что на руки бланки не выдают.
0
xqz_me #
Часть С проверяется дважды двумя разными экспертами, сидящими в разных комнатах и не знающих, какая у кого работа. Если их оценки различаются более, чем на 1 балл, собирается какая-то комиссия и работу оценивают третий раз. Если ровно на 1 балл — ученику ставится результат в его пользу. Вроде 2 года назад так было.
0
ExcimeR #
Да-да, примерно так:)
0
FFX #
Не знаю как насчет комнат, но никаких комиссий там не собирается, а просто ещё один эксперт проверяет работу. Ему дают посмотреть что поставили предыдущие два эксперта, и он после этого выставляет свои оценки, уже окончательные (может хоть вобще все нули поставить).
+1
ExcimeR #
Не все, а только в тех критериях где было расхождение предыдущих 2 экспертов )
0
rocket #
А сколькибальная система оценки части C?
0
mPuT #
А у меня другой вопрос. Где можно почитать про ДС-300. Я так понимаю ЛОМО — это наше Ленинградское оптомеханическое объединение? Не знал что они таким занимаются. Было бы интересно.
+4
mPuT #
ошибся постом! :(
0
GAmoVeR #
Участвовал в проверке некоторых региональных тестирований для школьников, в частности ЕНОТ, Лис, Почемучка. В качестве ПО использовали также ABBYY TestReader — отличный функционал, пожалуй лучший в своей области.
0
ExcimeR #
Да, ABBYY просто отличное ПО, а на какой версии Тестридера обрабатывали?
0
beliyadm #
Спасибо за статью. Пара комментариев:
1 — по КРОКу КИМы тоже не печатаются в центре а приходят из ФЦТ по описи
2 — у нас для проведения аналитики и сбора статистики использовался MS Analyze Server + собственные наработки. У ЦТ я так понимаю никакого софта для анализа результатов, проведения сравнений по годам и прочих данных совершенно не предусмотрено?

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.