Пользователь
0,0
рейтинг
15 июня 2009 в 16:17

Разное → ЕГЭ изнутри (глазами админа)

Злободневная тема, много топиков и на хабре (вот и вот)
Совершенно не собираюсь останавливаться на законности эксперимента, содержании КИМ (контрольно измерительных материалов) и прочем. Постараюсь сконцентрироваться непосредственно на технологическом аспекте подготовки и проведения экзамена.
Почему мне можно верить – опыт работы 2004-2007 в РЦОИ Московской области (системное администрирование, сбор данных, координация с разработчиками и регионами, проведение обучений, консультации и прочее). Все это время мы работали по технологии КРОК (см. ниже), в 2009 года технология изменилась в приказном порядке на ЦТ. Итак, по порядку

Технологии


До недавнего времени были две технологии организации и проведения ЕГЭ: Федеральный Центр Тестирования (далее ЦТ, www.rustest.ru) и КРОК (ЗАО КРОК www.croc.ru, далее просто КРОК).
Технологии различаются принципиально. Я максимально подробно остановлюсь на технологии КРОК и в конце укажу моменты, почему это было лучше, нежели ЦТ (личное профессиональное мнение мое, коллег и руководства).
КРОК – MS SQL 2000 в качестве сервера баз данных и WIN 2000 (2003) в качестве сервера приложений. Сервера разнесены по разным машинам, на WIN 2000 стоял дополнительно AD для внутренней локальной сети.
На сервере приложений стоит серверная часть программного комплекса (далее АИС), на клиентских машинах соответственно клиентская часть, пользователь логинится через AD в домен, работа через интерфейс браузера (обязательно IE6). По правилам безопасности никакое другое ПО на клиента ставить нельзя (я ставил еще офис, rar и radmin – запароленные и только для группы администраторов). Весь софт 100% лицензионный (винды, офисы, серверные программы и подобное).
В качестве дополнения по комментариям по объемам на дисках: 7 гигов несжатый дамп базы (полный) и 90 гигов архив картинок всех экзаменов. Общее количество человеко\экзаменов около 120 000

Вся локальная сеть с базой данных и любыми данными экзамена ФИЗИЧЕСКИ отсоединены от сети интернет (во избежание утечки данных).

На уровне АИС существует распределение прав пользователей по доступу к системе (настраивается очень гибко, чекбоксами отмечаются нужные привилегии для группы пользователей). Соответственно на любую клиентскую станцию можно авторизоваться через AD с нужными правами и работать как требуется.

Структура сети для проведения экзамена на 50 000 человек (у нас это была максимальная нагрузка, данные необходимо обработать и передать на проверку максимум на 4-й день после экзамена) в итоге состояла из:
1 – 3 сервера (баз данных, сервер АИС, файловый архив отсканированных картинок)
2 — 12-17 станций сканирования
3 – 20-25 станций верификации
2 – 1-2 станции администратора для постоянного мониторинга узких мест.

Все остальное время года клиенские станции сканирования\верификации работают в штатном режиме у других пользователей. На время экзаменов накатывался образ с готовой системой и изымаются в наше пользование.
Станции сканирования — высокоскоростные сканеры ДС-300 производства ЛОМО, PANASONIC типа KV-S3105C и маломощные Fujitsu. ДС работали через сеть, KV и Fujitsu через скайзи. Скорость работы первых двух машин впечатляет (по первости) – 90-120 листов в минуту в черно-белом формате порядка 200 dpi. При сканировании бланк режется на кусочки (по реперным меткам), моментально проходит распознавание и файлы перемещаются на файловый сервер. Весь софт – разработка КРОК (в их субподряды не вмешивался).

Сбор данных.


Подготовка к экзаменам начинается с октября (примерно) и продолжается весь год. Включает в себя следующие этапы:
1 – выверка сведений по образовательным учреждением, административных справочников, уточнение ответственных за проведение экзаменов (обычно один человек от района Московской области, но если район большой и\или человек мало подкован к компьютерах – двое, один технарь, один управленец). Муниципальные координаторы – вообще отдельная тема, им бы памятник поставить. Обычно это женщины из органов управления образованиям.

2 – сбор данных по выпускникам ОУ (максимально полная карта, ФИО, паспорт, планируемые для сдачи экзамены). Сбор осуществляется специализированным клиентским ПО (программа без инсталляции) с весьма наглядным интерфейсом. Возможности ПО значительно шире – помимо базового сбора данных это и сбор аналитических данных для стат. Анализа. К примеру – данные по учителю (стаж, специализация, дата курсов), годовые оценки по предмету, учебник и много другого. Эти данные заполняются в течении всего года (ибо очень большой объем информации необходимо собрать и внести).

3 – выверка паспортных данных выпускников (на бумажных носителях за подписью руководителя ОУ)

4 – с публикации точных дат экзаменов окончательный сбор данных по регистрации на экзамены и последующая выверка (на бумажных носителях за подписью руководителя ОУ и подписью ученика рядом с собственными паспортными данными и выбранными экзаменами). Срок этого этапа очень сжат, потому что от приказа с датами экзаменов и крайним сроком подачи данных в вышестоящие органы крайне мало времени. Зачем так строго – для печати необходимого количества КИМ

С выверками вообще очень интересные вещи творились. Ученики на протяжении всего года должны были минимум 2-3 раза видеть списки с своими данными и по необходимости исправлять (фио, паспорта). Мало того, что каждая выверка приносила порядка 5-10% изменений в БД (это все вносится руками операторами центра), так и на экзаменах выходило множество форм с коррекцией. Дети совершенно невнимательно относятся к своим данным, а ведь из-за этого и у них могут быть проблемы с получением результатов (коррекция данных проходит через ФЦТ и это очень долго и сложно для нас).

Итак, все данные собраны, выверены, переходим к экзамену.

Проведение экзамена


За несколько дней до экзамена из ФЦТ получаем заказанное количество КИМ (с некоторым лимитом на случай брака либо недокомплекта аудитории). Все очень серьезно – запечатано, принимается по описи руководителем центра.

Печать материалов на экзамен
P1000740.jpg - upload images with Picamatic В центре печатаются комплекты для каждой аудитории и ППЭ (пункта проведения экзамена). Печатали на HP в диком потоковом режиме, с второго года наловчились одновременно печатать с двух клиентов на два принтера сразу. Распечатанный комплект вынимается из принтера, подписывается ведомость и запечатывается в так называемый секьюрпак. После пачки комплектуются для каждого района\ППЭ и складируются в специальном помещении (с кодовым замком). Картриджи меняются каждые 3-4 часа, пыль столбом, легкие медленно умирают от 3-4х одновременно работающих HP-шников.

За сутки до экзамена приезжают муниципальные координаторы – по описи происходит выдача пакетов, сверка количества и общих данных. Часов в 18-19 последний пакет выдан, по коньячку и спать, ибо следующие 3-4 дня как страшный сон.

День экзамена


С 8 утра (время вскрытия пакетов на местах) в центре находились мы с начальником – ответы на все возможные вопросы в течении экзамена и нервное ожидание брака в КИМ (было и такое, на стадии печати брак, приходится ребенку оформлять смену варианта), ошибок при регистрации детей на экзамен (несколько раз муниципальные координаторы забывали внести ученика на экзамен, а он спокойно не расписывался на ведомостях выверки). Некоторое затишье после 10 утра (экзамен пошел).

Примерно с 14 дня начинается привоз материалов из ППЭ. Приемка происходит следующим образом:
1 – сверка пакетов начальником центра

Прием и сканирование после экзамена
P1000753.jpg - upload images with Picamatic 2 – муниципальный координатор и оператор станции сканирования «уединяются» в зале и попакетно сканируют, после обработки каждого пакета аудитории сверяются данные (машинной обработки) с ведомостями, ни один бланк не должен быть утерян. На этом этапе несколько раз встречались случаи, что в ППЭ забыли бланк. В таком случае прием данного района приостанавливается до выяснения. На уровне клиентской машины ведется строгий подсчет количества бланков выданных и отсканированных по каждой аудитории. Подмена невозможна. Бланки именные и с уникальным кодом, при сканировании идет сверка всех полей.

Был курьезный случай, когда в ППЭ ученик вышел в туалет с нерешенной частью С и смыл бланк в унитаз (хорошо не спустил воду). При приемке обнаружили, отправили гонца в пункт, тот в туалете выловил бланк и зажав нос привез нам, пришлось так и обрабатывать.

3 – я как администратор, в промежутках между решением текущих вопросов, проверяю обработанные аудитории, если количество выданных\принятых бланков сошлось – перевожу аудиторию на проверку.

Документы с большого района, Одинцовский район (коллеги напомнили), ждут очереди на сканирование, в этой пачке бланки 2500 участников
P1000775.jpg - image uploaded to Picamatic 4 — после этого бланки с работами проходят верификацию. Верификация дело тонкое – каждая клиентская машина с базой верификации самообучаема. Если оператор 2 раза подтвердит значение одного поля – оно попадает в словарик и с вероятностью 99% будет автоматически отработано. Занятие весьма нудное, потому заканчивается обычно много позже сканирования (2-6 часов ночи). Вот на этом этапе и происходит обработка «случайных» ошибок. Если ребенок поставил в части А ответ в 5-ю клетку (она зарезерервирована), заполнены лишние\служебные поля – все это попадает верификатору.

5 – администратор – ведет общий мониторинг работы системы, исправляет любые ошибки по ведомостям и прочее. Отслеживаются случаи простановки метки «ученик не явился» и заполнненного бланка (система показывает подобные случаи), иначе работа не будет засчитана. Потерянные бланки – система не смогла распознать отсканированный номер и не прикрепила бланк к аудитории.

6 – после окончания верификации можно распечатывать пакеты для работы экспертов. Они приступают с 10 утра следующего дня экзамена. Потому часов с 8-9 вечера запускаются минимум 2 станции печати работ С. Выдача строго случайна – бланки неименные, эксперт не знает кого он проверяет, каждая работа отдается двум экспертам, если расхождении в их оценках выше заданной отметки – работа показывается как требующая дополнительной проверки и распечатывается для «третьего эксперта». Третий эксперт не может быть из числа двух уже проверявших, назначается вручную с указания председателя комиссии проверки.

Проверка части С длится 3-4 дня. Как только все данные обработаны и ни один бланк не потерян – формируется CSV с результатами. Данный файл шифруется на сервере (Crypto Pro, ключи хранятся на отдельном носителе в сейфе и выдаются под роспись) и по зашифрованному каналу через специальную программу отправляются в ФЦТ на оценку.

Про шкалирование рассказывать не буду, кому интересно найдут выкладки. Достаточно сложная математическая модель, строится в ФЦТ при получении результатов с всей России.

Через 3-5 дней обработанные результаты с оценками приходят из ФЦТ в CSV, загружаются в БД и распечатываются протоколы (каждый за подписью печатью министра образования области) и выдаются в каждый район. Последние годы стали разрешать публикацию данных через сайты, в этом году мы на нашем сайте Мособласти сделали такой же функционал (чем вызвали рост посещаемости и положили сервер хостера )).
В принципе в общих чертах все. В режиме реального времени, когда экзамены проходят с промежутком 3-5 дней и\или 2-3 экзамена в один день, это выливается в 2-3 недели 100% присутствия на работе без выходных по 25 часов в сутки. Но когда знаешь, что за нашими спинами 50000 нормально сдавших экзамен детей и довольные родители — того стоит.

Апелляции


Апелляций по проведению экзамена я не припомню (хотя иногда и стоило бы, но дети уставшие и не сразу понимают ситуацию). По результатам – порядка 500 штук на 50 000.

Для апелляции собирается специальная комиссия, распечатываются распознанные бланки, копии оригиналов, происходит сверка на предмет машинной ошибки распознавания и эксперты по предметы с ребенком и родителем пошагово проходят по всем заданиям. Апелляции делятся на категории: отклоненные и рассмотренные. 99% рассмотренных апелляций проходит с повышением балла (редко когда оправданно, обычно цветы, конфеты, слезы). Пару раз особо «наглым» понижали балл. Порядка 40% остаются при том же результате, то есть апелляция отклоняется. Отдельно хочется сказать отличникам – если вам в вуз не хватает 1-2 балла – обязательно подавайте апелляцию, такие случаи (их немного) всегда положительно рассматриваются.

Узкие места всей процедуры:


1 – банальная невнимательность на уровне районов и школ. Координаторы теряют\забывают детей, дети не обращают внимание на свои паспортные данные и выбранные даты экзаменов. Создает множество проблем нам при выверке данных и детям в случае осложнений.

2 – низкая компьютерная грамотность координаторов. Ни в коем случае не хочу их винить, но факт остается фактом. Не в каждом районе могут найти специалиста для решения технических вопросов (обычно заключаются в работе с электронной почтой, excel, word, ПО для сбора информации). Оттуда и мой анекдот про «красненький и синенький интернет».

3 – отсутствие интернета в органах управления образованием. Многие работают через модем, с домашних компьютеров отправляют нам данные. Про школы просто молчу – редко редко есть сеть, обмен данных через дискеты обычно (!!!!)

4 – полный хаос в взаимоотношениях с ФЦТ. Пара примеров. Они пишут и утверждают с представителями КРОК и министерства формат базы данных. По факту мы обнаруживаем расхождение – утвердили одно, выгрузили данные в CSV, а в базу ФЦТ они не загружаются – очередность полей изменилась, формат данных и прочее. Идет ругань, крок судорожно пишет хак для своей базы, чтобы подогнать якобы утвержденный формат по новые требования (никем нигде не высказанные). Далее – выдача результатов, по како-либо причине наш файл ими не принимается (формат ошибочный либо другое) – тишина полная с их стороны, только по звонку (а дозвониться к ним ох как сложно) оказывается что имеет место косяк. Опять же это время, нервы нас и детей\родителей. При общении создается впечатление классического «совкового» магазина из анекдотов. Очень, очень напрягает такие факты, вроде бы общее дело делаем, а тут такие подлянки.

5 – еще больший хаос на более высоком уровне. Несоответствие приказов действительности, одно постановление противоречит другому и подобное. Вечная слава нашему шефу, что не жалея седин утрясал такие вопросы максимально оперативно (хоть совершенно не наш уровень)

6 – и, пожалуй, самое главное – НЕВНИМАТЕЛЬНОСТЬ и НЕЗНАНИЕ правил при проведении экзамена в пункте. Мы круглый год проводим обучение специалистов каждого ППЭ, готовы постоянно ответить на любой вопрос. После оказывается, что они не знаю с какой стороны открыть пакет и оформить ведомость.

Положительные аспекты технологии


1 – очень и очень доброжелательный софт (не без грехов, но по сравнению с софтом ФЦТ – рай на земле). Спецы по внедрению отвечали почти на любой вопрос. Много собственных наработок (грешен, писал на php пару приблуд для быстроты однотипных процедур). Единый комплекс, гибкий и расширяемый, разработан одной конторой. Софт же ЦТ был собран из разных кусочков разных разработчиков, на базе ABBYY. В работе неинтуитивен, неудобен и на мой взгляд просто крив.

2 – удобство конечной конфигурации системы в центре, отлаженность технологии буквально до нитки. Когда центр перевели на ФЦТ – трудозатраты при проведении выросли в разы (как и уровень рисков)

3 – высокая безопасность данных. Из центра и из ППЭ в дни проведения ни единой капли информации потеряно не было. Кроме администратора никто физически не может внести изменения в БД, на уровне клиента все мониторится и сохраняется. Возможность сделать «бяку» есть только у админа. Пару раз правда приходили лично к мне с тихим предложением денег :) но безуспешно. Насколько мне известно — на уровне районов подобные случаи тоже не проходили.

4 – почти 100% удобство для конечного пользователя – ученика. Бланк именной, с указанием школы, ППЭ, только подпись ставить и решай задачи (у ЦФТ нужно еще и ФИО вписывать – лишний повод для ошибки)

5 – огромные возможности для проведение статистического анализа не только ЕГЭ но и всей образовательной системы. Массив данных это позволял (при условии 100% заполнения на местах). Нами использовался SQL Analyze Server с веб-компонентами (модуль аналитики — разработка того же КРОК). Ну и напрямую из базы запросами тягались особо интересные показатели. Сравнивать можно почти все что угодно – оценка от продолжительности изучения предмета в совокупности с учебником, соответствие оценки ЕГЭ и готовых показателей на кривой роста итогового балла с 5-го класс. Множество чудесных вещей, подобных данных не было нигде ранее. На практике же накрывалось медным тазом, хоть и для статистической работы был отдельный центр при министерстве.

Итоги (по опыту работы) – процент ошибок машинной обработки – 0,1 %, процент ошибок верификатора – 2 случая на 50 000 человеко\экзаменов. То есть с нашей стороны все чисто.

Повторюсь – все написанное – мое личное мнение по опыту работы на данной технологии и опыт солидарных коллег нашего центра в период работы до 2007 года. И простите за язык изложения — чукча не писатель, чукча читатель.

UPD информация от ведущего разработчика системы


1 — на чем написано: на C# (ASP.Net) — апп. серверная часть, T-SQL — клиентская часть, Active-X (С++, VB6, C#) + VBScript — клиент.
2 — как происходит выдача вариантов для аудитории: достаточно сложный алгоритм, который достаточно равномерно размазывает варианты КИМ по аудиториям ППЭ, стараясь не выдвать одинаковые варианты соседям по \«крестику\» (влево-вправо-вверх-вниз)

Если заинтересуют отдельные, нераскрытые, аспекты технологии – пишите, постараюсь дополнить. Ну а если нет аккаунта на хабре — пишите в комменты в блоге
Рабочее место админа ))
P1000772.jpg - image uploaded to Picamatic
Пётр @beliyadm
карма
0,0
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Спецпроект

Самое читаемое Разное

Комментарии (234)

  • НЛО прилетело и опубликовало эту надпись здесь
  • +8
    99% всех апелляций проходят с повышением балла (редко когда оправданно, обычно цветы, конфеты, слезы). Пару раз особо «наглым» понижали балл. Порядка 40% остаются при том же результате.

    Вот тут не понял, 99 процентам баллы повышают, и тут-же 40 процентов оставляют с тем-же.
    • +11
      прошу прощения, не уточнил. Апелляции делятся на категории: отклоненные и рассмотренные. Вот 99% рассмотренных апелляций проходит с повышением балла
      • 0
        В воскресенье был на апелляции по русскому языку. Ничего поменять не удалось. Выяснил, что все, из моей школы и прочие знакомые выпускники подававшие на апелляцию, так-же ничего не добились, но ничего и не потеряли. Очень сомневаюсь на счет 99%…
        • 0
          Повторюсь — я писал про 2007 год, статистику этого года я не знаю. Но я и писал про 40% от общего количества апеллянтов, что остаются при прежнем балле, вот видимо Вы и Ваши знакомые из этого числа.
          • 0
            у нас по Башкирии в 2006 году никому не повышали, более того, если часть С решена правильно, но не их методом, но задача не засчитывалась. Препод потом сказал приказ с Москвы был.
            • 0
              Могу сказать, что у нас такого приказа не было. Эксперты по предметам наоборот, радовались, если находили у ученика нестандартное решение (но конечно же правильное).
              Очень кажется, что это местные махинации на местах, не более.
              Если говорят про приказ — требуйте бумажной копии, все приказы публикуются на министерском и региональных сайтах и доступны для каждого.
              • 0
                Да ладно, то было три года назад, все равно в Бауманку по экзаменам поступил… Успел так сказать, сейчас ЕГЭ везде(
      • 0
        Из этого следует, что 60% апелляций рассматриваются и 99% из них положительные. Правильно ли я понимаю, что это означает, что 60% людей оценки занижены? 500 из 50000 вполне себе репрезентативная выборка.
        • 0
          Не очень понял, что значит «занижены»? Причины по которым происходит поднятие балла я описывал выше — очень редко это сама работа, вытягивают балл другой слезами
          • 0
            Где можно слезами, там можно и деньгами. И какой смысл в эти серверах/ключах/подписях, если система подвержена такой атаке.

            Кстати, афаик, это один из основных механизмов обмана вступительных в вузы.
            • +1
              Нет, что деньги в этом процессе не участвуют — 100% гарантия, и я же не сказал что слезы всегда действуют. В работе любой системы есть человеческий фактор, вот это одно из его проявлений, увы, никуда не деться от этого. Эксперты сами учителя и чьи то родители, жалеют бедного дитятку и на балл другой поднимают.
              Сильно завышать оценку ведь тоже нельзя (то есть из тройки 5 не получить), система постоянно мониторится на предмет наличия расхождений в баллах выше критической отметки (они спускаются приказом сверху) и по каждому случаю собирается специальная комиссия
              • +1
                И чем это лучше, чем экзамен в вузе? Везде системы разные, но дело обстоит примерно также. То есть после результатов экзамена можно подойти к препу и что-то попытаться объяснить, он может накинуть несколько баллов, но не много, если там что-то реально серьёзное, то уже комиссия.

                Всё тоже самое. И как вы знаете всё покупается, к сожалению.
  • НЛО прилетело и опубликовало эту надпись здесь
  • +6
    Действительно интересно. А то у некоторых создаётся впечатление, что этот ЕГЭ как дождик и солнышко — сам по себе «работает».
    • +1
      само по себе ничего не делается, это огромная работа множества людей на протяжении всего года ))
  • +11
    Спасибо за статью. Описание применения ИТ в любых конкретных областях на практике, да еще написанное «хорошим языком» всегда интересно читать.

    Из аналогичных статей вспоминаю «Как снимается ток-шоу».

    Вот подобных материалов не хватает Хабру.
  • 0
    А как расшифровываются АИС и AD?
  • 0
    Страна большая а людей в таких помещениях теснят
    • +4
      Помещений действительно нехватало, за каждый квадратный метр была борьба с ректором (центр базировался в ВУЗе), в режиме экзамена даже кабинет начальника оккупировался по полной. Разве что в серверную я никого не пускал ))))
  • 0
    Очень интересно было почитать об этом со стороны администратора! Спасибо!
  • 0
    Спасибо, весьма любопытственно.
  • +1
    Каким образом экзаменующийся мог унести бланк в туалет?
    На моей памяти все бумаги, выданные ученику, клались в специальную папочку, и лишь после этого можно было выйти в туалет подсмотреть шпаргалку.
    • +3
      А это вероятно упомянутая в топике невнимательность и незнание специалистов ППЭ
      Просто на самом деле для человека в возрасте и незнакомого ни с какими высокими технологиями этот бланк строгой отчетности просто бумажка, каких, случись чего, можно и еще напечатать.

      Никакого «ощущения глобальности происходящего» на местах, как я понял, нет. Разве что у самих экзаменующихся и их родителей.
      • +1
        Ощущения глобальности нет, но начальство хорошо даёт понять что в случае чего три шкуры сдерут (2 года пришлось «надзирателем» работать).
        Поэтому, хоть отношение как к обычному экзамену, а за учениками смотришь внимательнее, чтобы все бумаги правильно были заполнены, да сданы.
    • 0
      именно так и требуется по правилам, но там был обычный недосмотр организатора в аудитории (раздолбайство везде встречается и это самая большая проблема)
  • +1
    А объем БД какой был?
    • +2
      честно — запамятовал за давностью времени, помню что архив БД в rar порядка 3-4-х гигов (при количестве человеко\экзаменов около 120 000)
      • 0
        Как вообще SQL Server себя проявил? По поводу безопасности создается впечатление, что все отлично. А как насчет перформанса? Были ли какие-нибудь проблемы?
        • 0
          Безопасность отлично, ибо все крутилось только локально, без доступа в сеть, соответственно вопросы взлома были неактуальны.
          В прочем же отлично себя проявил, машинки серверные были Xeon (модель не помню), мозгов достаточно. В режиме активного сканирования приходилось пару раз в сутки перезапускать службу серверной части АИС (тупить начинала), сам же сервер крутился без проблем и остановок. Поверх стояли сервис паки 3 и 4 для MS SQL вдобавок.
          • 0
            А чем обоснован был выбор MS SQL?
            Почему не Oracle или DB2?
            • +2
              Разработкой софта под ЕГЭ занимался КРОК, они предложили технологию и дальше внедряли. Мы сами ничего в этом случае не решали. У них было четкое ТЗ с Рособрнадзором, по которому они и разрабатывали.
            • +3
              > Почему не Oracle или DB2?
              Стрелять из пушки по воробьям?
              На уровне РЦОИ хватит и менее мощной СУБД. Выбор, скорее всего, обусловлен возможностью интеграции с с другими решениями от MS.
              • 0
                А тогда почему не MySQL :)
                • 0
                  Покажите мне, как его интегрировать с AD?
                  • 0
                    А зачем его интегрировать с АД? Есть же другие решения.
            • +4
              Пользуясь случаем, большое спасибо *beliyadm за инвайт :)

              Я был ведущим разработчиком(2006-2007)/мендежером по разработке АИС(2008) «Экзамен» в Крок.

              Штука в том, что система предназначена для установки в регионах и обслуживания силами местных администраторов. Которые бывают очень разными по уровню подготовки. Конфигурирование и администрирование Oracle — дело забавное, а если оно выполняется силами студента-«одминистратора» — то результат еще более «забавен».

              К тому же, специфика ЕГЭ в том что у нас очень разная страна. Есть 3 крупных региона — мск, МО, Спб, несколько средних (ленобл, нн, казань) и куча мелких.

              Кроме того, то рассказывает *beliyadm — это один из вариантов развертывания системы, — нераспределенный вариант. А у нас в стране есть ужасные регионы типа якутии — где расстояния между районами региона — больше чем вся европейская часть. Там АИС «Экзамен» использовался в распределенном варианте (часть функций делегировалось районным Пунктам Первичной Обработки Информации). Кроме этого — АИС «Экзамен» мог быть установлен во всяких труднодоступных местечках, куда привезти бумажные бланки весной либо физически невозможно либо аццки дорого. Там ставился АИС «Экзамен» во варианте ТОМ (терр. отдаленная местность) — и КИМы туда приходили в шифрованном электронном варианте и печатались на месте.

              Понятно, что на уровне районов а тем более ТОМов — уровень техники и уровень тех. специалистов (администраторов) — аховый. Ряд ТОМов вообще жил на MSDE. Переводить их на Oracle — была бы неудачная шутка :).

              И вообщем то объемы БД в ЕГЭ не запредельные.

              Собственно из этих соображений в качестве платформы БД выбран MSSQL, который, кста, отлично себя зарекомендовал.

              Хотя впринципе, АИС «Экзамен» построена на Кроковской платформе разработки 3-х уровневных приложений, которая умеет работать и с Oracle. (она вообще очень серьезно изолирована от конкретной БД).

              P.S. Я внизу написал пост — туда можно писать вопросы. На что смогу — отвечу
    • 0
      Прошу прощения, соврал немного. По итогам года база весила 7 гигов и порядка 90 гигов архив с сканированными картинками
  • +2
    Почему этот топик до сих пор не в тематическом блоге и не на главной?
    Это же настоящий трэш, часами можно читать :)
    • 0
      куда перенести лучше? Про треш не понял… )))
      • +2
        А, не обращайте внимание, это я так степень воздействия на мою голову от материала и описанного процесса выразил :)

        Я тоже имею некоторое отношение к сборам статистических данных, хотя и совсем другого направления, поэтому всё представляю в красках.
    • 0
      Перенес в «учебный процесс» :)
  • +2
    99% рассмотренных апелляций проходит с повышением балла (редко когда оправданно, обычно цветы, конфеты, слезы). — это, конечно, печально.
    • 0
      Конечно печально, но это лучше чем когда за каждым третим стоит «волосатая рука». В конце концов, если подобная практика была бы распространённой, то статистика сразу показала бы это.
      • +3
        нет, конечно денег прямо никто не давал и не брал, но вопиющие (на мой взгляд) случаи были, когда повышать совершенно нечего (и эксперты с мной согласны) но папа — какой-нибудь член какой нибудь Палаты\Думы и входил в зал в присутствии двух шкафов-охранников — дамочка из Министерства не могла отказать (в приказном порядке велела сделать как хотели).
    • 0
      в прошлом году в городе подавали аппеляции ученики из школы, в итоге у 95% кто был в тот день на аппеляции сделали наоборот — понижение
      • 0
        Это собственно означает что куда хочу туда и верчу
    • 0
      а меня лично в рассмотрении апелляций не устраивает тот факт, что дети из провинции опять оказываются в неравном положении, не каждый может позволить съездить себе за 600км ради 1-2 баллов
      • +1
        Рассмотрение апелляций проходит на базе главного обрабатывающего центра (по технологии далеко вынести комиссию нельзя). У нас максимальная удаленность была в 300 км и все-таки удовлетворительный транспорт по области. По Вашей ситуации детально не скажу, работа с удаленными территориями — отдельная специфика, но знаю что технология КРОК предусматривала и это, к примеру проведение экзаменов и апелляций в Якутии (куда только вертолет раз в год летает). Для уточнения Вам необходимо обращаться в Ваш РЦОИ, уверен, что выход из ситуации обязательно будет найдет.
        • +1
          Ну меня уже несколько лет как эта ситуация не так уж и сильно волнует. Так что это ни в коем случае не претензия.

          но знаю точно, Вологодская область работы проверяются в областном центре, г. Великий Устюг отдален на 450км.(12 часов поездом, 9 автобусом)

          Из решений, которые предлагались: родственника своего, если у вас там есть отправьте.
          Из моего выпуска никто не поехал, апелляцию не смотря на долгие отговоры(!) администрации школы, представителей районо подал я один. В результате ничего не добавили, не прибавили.

          Выпускники следующих лет ездили лично, у них, правда и повод был не просто 1-2 бала — медали срывались.

          Решение мне кажется, тут должно быть следующим: видеосвязь пунктов в районах и областных центров.
          • +1
            Могу сказать только то, что в рамках нашей технологии данные вопросы обсуждались и были готовые к внедрению решения, но политика партии изменилась (ФЦТ), потому сейчас прокомментировать не могу
            • 0
              ну да это у меня так лирическое отступление) спасибо за статью было интересно прочитать.
          • 0
            2 мегабита/с, требуемых для более-менее приличной видеосвязи,
            реально в Вологодской области только до 6-7 райцентров из 26
            (занимался этой задачей на практике)
            • 0
              приветствую земляков ;)

              ну как говорил один известны товарищ: «главное нАчать!» сегодня 6-7, завтра 26.

              если мне память не изменяет, то последнюю видеоконференцию по каналам Телекома (случайно вы не оттуда? :)) между цифровыми школами проводили на скорости в мегабит и качество было удовлетворительным, не обязательно же на камеру работу ребенка показывать, тут мне кажется психология важнее, и там ответственнее подойдут, и школьникам спокойней.
  • НЛО прилетело и опубликовало эту надпись здесь
  • 0
    Сдавал ЕГЭ по русскому 5 лет назад, учителя тряслись за этот экзамен очень сильно. Всем казалось, что там неимоверное что-то творится. А в итоге все просто. Спасибо, за статью )
    • 0
      А сочинение теперь не пишут что ли?
      • 0
        Одно другому не мешает. 6 лет назад сочинение было в рамках обязательного экзамена по литературе. Русский ЕГЭ формально обязательным экзаменом не был, но его результаты уже начинали кое-где засчитывать как вступительные, поэтому большинство сдавало.
  • 0
    С админом всегда можно договорится, даже по ЕГЭ
    • +6
      Это смотря насчет чего договорится. По документации любое ручное вмешательство в БД (без представленного интерфейса) категорически запрещено. Но на практике конечно же базу знали вдоль и поперек. Если посмотреть какие-либо нестандартные отчеты — всегда пожалуйста. Но если приходилось вносить изменения прямо в базе (100% случаев по причине халатности организаторов в ППЭ) чтобы ребенок не потерял свой результат — оформляли бумагу с подписью и аккуратненько правили. Случаи фальсификации результатов исключались на корню (хотя можно подправить так, что никто и не заметит ни в жизни). Тут уже вопрос честности админа, знал многих коллег по России — никто так не поступал, хорошие ребята везде были.
  • +5
    F все-таки, хорошо, что меня эта дрянь не затронула
  • 0
    Спасибо за статью! Образы с ПО для станций делают администраторы на местах, либо они приходят «сверху»? Права доступа к АИС именные, либо проставляются по занимаемой должности?
    • +4
      образы ПО делали мы на местах, машинный парк почти весь унифицирован, 2-3 разных типа железа, под них и делали образы.
      Права доступа в систему именные, логин берется из AD, права расставляются в зависимости от необходимых действий данного оператора и полностью логгируются (каждый чих пользователя в системе каждую секунду отслеживался), фактически занимаемые должности были лишь для проформы (таблица должностей в сфере образования весьма относительна, я вот один раз по трудовой был записан как «старший электроник»)
  • +3
    За это нужно давать медали. :-)
    • 0
      Угу, а чиновников, променявших это на то — вешать на столбах
      • 0
        Это мягко сказано.
        А знаете, как недавно прокомментировали результаты ЕГЭ чиновники?
        «Уж больно как-то хорошо написали.»
  • 0
    Да, у нас в Питере всё почти так же :)

    Сам имею некое отношение к организации ЕГЭ в одном из районов СПб. :)

    Для организаторов — просто ад. Работают даже в районах с 6:40 до ночи :(
  • +1
    Спасибо за статью. Титанический и незаметный другим труд.
  • 0
    Просто захватывающее!

    Но хорошо, что не попал в эту организованную кашу и успел поступить в своё время :)
  • 0
    Я в 2005 егэ по физике сдавал. Там бланк с задачами, это двойной лист. Прорешал 1ю страницу, прошел где-то час экзамена. Переворачиваю страницу, а там на развороте пустота! 2 чистых белых страницы смотрят на меня. Вот незадача подумал я, не ожидал такого подвоха =)
    Немного нервов и времени, и мне нашли такой же вариант, где нормально напечатаны все задачи.
    • 0
      Нам в 5 году пятьдесят раз говорили все бланки просматривать. И в школе, и на пробнике, и на основных всех. Так что тут беда на местах.
    • 0
      Да, помню, был такой брак в том году. Но — согласно инструкции организаторы в аудитории сразу же после вскрытия пакетов с заданиями должны просить каждого участника пролистать все бланки и убедиться, что все в порядке. Все они проходят в центре обучение каждый год, расписываются в ведомости по завершению, а на выходе в аудиториях творится беспредел.
      Четкое следование инструкциям — гарантия 100% нормального экзамена
      • 0
        Нам тоже говорили все проверить. ну я и проверил бланки регистрации, задач и т.д. всё на месте. не ожидал, что еще их надо разворачивать :)
  • +1
    статья интересная, спасибо

    насчет анонимности… проверка раздела С, математика. в стомке из ~150-200 рабо было найдено порядка 10% работ написанные одной рукой. На крики «какого лешего?!» начальство ответило «ну что же вы хотите, сверять подчерк мы не можем, да и вообще, Вы хотите чтобы наш город был озвучен в москве?» и сам «проверил» эти работы
    • 0
      Что такое «стомке»? Этот факт опять же из самой главной проблемы — на местах. Проконтролировать все в ППЭ мы никак не можем, в хаотичном порядке в ППЭ приходят проверяющие из Министерства и члены комиссии общественного наблюдения (из других районов все) — для исключения подобных случаев. Еще можно отловить при приеме документов, когда представитель района и оператор сканируют бланки, но сложно конечно.
      • +4
        *стопке

        я не перевожу стрелки на центр, проблема на местах. все упирается в человеческий фактор.

        я знаю как
        — ученики в процессе экзамена слали СМС учителям с вопросами, те присылали ответы
        — ученики в процессе экзамена звонили (!!!) учителям
        — ученики за ответами через смарты и кпк лезли в сеть/аську
        — учеников сажали по двое за одну парту
        — проверяющие тупо выходили из аудитории, оставляя детей одних
        — «избранным» приносили готовые ответы на их задание

        не спрашивайте «как», просто примите как свершившийся факт
        • +3
          естественно, все это знают и закрывают глаза.
          Кстати на тему почерка — были подвижки внедрить модуль распознавания почерка в части С и при совпадении более чем на какой то процент выдавать админу на проверку, но с уходом из игры КРОК все заглохло. С переходом на технологию ФЦТ вообще будто в прошлый век вернулись :(
        • 0
          тестировать надо в закрытых кабинках с включенными глушилками телефонов )
          • +2
            ну можно и так, отпечатки пальцев, радужка глаза, анализ ДНК, наручники к чугунивой батареи с уникальным номером…
            ну до «ЧИПирования» каждого индивидума мы врят ли доживем, но это был бы выход )

            кстати я против ЕГЭ. особенно по неточным наукам — литература, история… по мне приятней было общаться «тогда» с преподавателями, а «сейчас» с учениками/студентами.

            зы. глушилки нарушают права граждан, которые вне аудитории, но которые попали в зону действия глушилки. о как!
            • НЛО прилетело и опубликовало эту надпись здесь
              • 0
                А потом просматривать кучу видеозаписей с ППЭ?
                • НЛО прилетело и опубликовало эту надпись здесь
                  • –1
                    А как Вы планируете определять, в каком ППЭ были нарушения, чтобы просмотреть видеозаписи с этого ППЭ? Мне вот на ум прихожят нейронные сети, самоорганизующиеся карты Кохонена и т.п., но мне кажется это слишком трудно :)
                    • НЛО прилетело и опубликовало эту надпись здесь
                      • 0
                        Ну я подумал выборочно по каким-либо критериям, которые сигнализируют о нарушениях. А так, если кто-то узнает, что просматривается только 1% записей попробует и рискнуть :)
                        • НЛО прилетело и опубликовало эту надпись здесь
                        • 0
                          я думаю ученики могут и так догадаться, что при таких объемах смотреть каждую запись никто и не будет.
                    • 0
                      Например когда проверяющей видит несколько похожих работ в одной пачке.
              • 0
                Технология видеозаписи проведения экзамена внедрялась для ТОМ (труднодоступных регионов, обычно Сибирь, Якутия и подобные). Деталей, увы, не знаю. Для специалистов РЦОИ подобных регионов проводились отдельные обучения в КРОК, я их не посещал и не вникал особо глубоко.
  • 0
    Когда сдавал — попал под второй, кажется, год, как начали эксперименты ставить с ЕГЭ =) ничего, сдал, в основном на 5 )
  • 0
    Решение крока на базе ибм-овского ФайлНета, своих наработок там не так много, но они правда есть.
    Вот.
    ну это так, если кому интересно
    • 0
      не совсем понял, Вы это о чем?
      • 0
        Tut sprasivali na chem baziruetsa reshenije kroka, tak vot, ves dokumento oborot postroen na fileNet-e(Teper uge IBM — FileNet ), v kachestve hranilisha sejchas vistupaet oracle, v kachestve verifikacii skazat ne mogu.
        (Proshu proschenja za translit)
        • 0
          Транслит прощаем ))
          До 2008 года оракла в технологии АИС Экзамен от КРОК не было и в помине, про fileNet слышу впервые, пойду гуглить мануалы
    • +1
      Это не правда. целиком и полностью
  • –1
    >>Если ребенок поставил в части А ответ в 5-ю клетку…

    Простите, какая такая 5-я клетка? в этом году в бланках нету пятой клетки
    • +1
      Прошу прощения, но если обратите внимание — я писал про 2007-й год и технологию КРОК, там была пятая клетка для заданий А, зарезервированная, вот и были такие случаи
      • 0
        А ясно, не заметил — в глазах уже песок, пора спать.
    • 0
      Повторюсь – все написанное – мое личное мнение по опыту работы на данной технологии и опыт солидарных коллег нашего центра в период работы до 2007 года.
  • 0
    Если уж про ABBYY написали, то укажите название компании правильно.
    И ещё: а чьих разработках по-вашему базируется технология КРОК?
    • 0
      Спасибо, исправил название.
      Насколько мне известно (и насколько я ковырялся в исходниках) — это их разработка, никак не ABBYY (может кому по субподряду заказывали, я не в курсе). Но то что у них было реализовано лучше в разы чем у ABBYY — проверенный факт на практике
    • 0
      Распознавалка у Крок собственной разработки. И она еще в куче заказных систем используется (например для обработки бланков переписей (всероссийской и сельскохозяйственной)).
  • 0
    опечатка Был курьезный случай, когда в ППЭ ученик вышел в туалет с нерешенной частью С и СМЫСЛ бланк в унитаз ))
    • 0
      спасибо, исправил, мысль бежала впереди и путала буквы
  • НЛО прилетело и опубликовало эту надпись здесь
  • 0
    «в период работы до 2007 года»

    А после 2007-го? ;)
    • +2
      по определенным обстоятельствам уволился, теперь поддерживаю связь с коллегами, потому нахожусь в курсе текущих событий и впечатлений от «новой» технологии
  • 0
    Продукт ЦТ для автоматизации считывания тестов был сделан на основе test reader от abbyy? А чем не понравилось? Чем лучше оказался софт от КРОК? У них полностью своя разработка имеется (на сайте что-то не нашел про это)?
    • 0
      www.abbyy.ru/company/?param=28458
      Продукт ЦТ был сделан на основе ABBYY FormReader.

      По поводу КРОКа я тоже ничего не понимаю. Очень интересно, чьи разработки там задействованы.
      • 0
        Кстати — КРОК разрабатывал системы для гос. выборов и еще одного большого проекта — там использовались аналогичные технологии сканирования\верификации. Так что все таки мне кажется — их разработка с абби никак не связаны
    • 0
      Именно на нем. Непонравилось (если говорить именно про модуль сканирования) — на порядок худшие показатели результатов распознавания, количество ложных срабатываний увеличилось. Но с ним еще связан модуль верификации, тем вообще работы прибавилось на 300% при переходе на ЦТ (никаких динамических словарей, что для наших объемов необходимы, нет и прочая).
      По поводу софта от КРОК лучше обратиться к ним, у них на сайте действительно очень мало информации по проекту ЕГЭ.
  • 0
    Насчет аппеляций по ходу экзамена нас предупредили — нефиг аппелировать, ибо могут заставить переписывать экзамен всю аудиторию. Поэтому никто и не суется :)
    • 0
      Нет, такого быть не может, нет таких правил. Переписывать работу полностью тоже никто никого не заставит. Максимум что могут сделать — полностью аннулировать одну работу и отправить на пересдачу в резервный день (если есть объективные обстоятельства) — были прецеденты (по просьбе ребенка, приболел в день экзамена и плохо написал)
    • +1
      Бред. Скорее всего учителей напрягли сверху, чтобы комиссиям было меньше работы. Не обращайте внимания, если есть основания — подавайте апелляцию, еще раз, если есть основания.
      • 0
        Учителям элементарно влом этим заниматься. Ведь директор школы должен сам возить эти апелляции в центр апеллирования. Сам еле-еле с боем добился апелляции, хотя отмазывались чем только могли: в школе нет факса, директор завтра занята, школа уже как два часа закрыта, говорили мне чтобы я предоставлял директору транспорт до центра апелляций, в общем всеми силами пытались подзабить на эти апелляции.
  • –2
    объясните пожалуйста как можно СМЫТЬ бланк в унитаз не спустив при этом воду? или я чего то упустил в этой жизни? :)
    • 0
      Мы тоже об этом думали. Как он сам после признался (выпускник) — просто перенервничал, прослушал инструкции организатора по работе с бланками, скомкал и бросил (может и смыл — сами знаете как у нас иногда в школах туалеты работают). Не придирайтесь к словам, в данном случае это ведь не суть важно :)
      • –2
        да я не придираюсь :) так − пошутить
  • +1
    Уфф, а я сегодня уже отмучился. Последний экзамен был (по физике). На самом деле, оказалось не так страшно, как малюют.
    Единственное, на математике произошел неприятный конфуз, когда нам продиктовали неверный код ППЭ (надо было, кажется, 030 дописать вначале), но судя по тому, что работа прошла и баллы известны, это тоже учтено.
    Было интересно посмотреть на все это дело с другой стороны.

    Спасибо за то, что делаете (делали) — мучаете бедных школьников :)
    • +1
      Надеюсь, все будет успешно! Кстати это тоже один из многочисленных минусов технологии ФЦТ — участники слишком много данных пишут на бланках и соответственно растет риск допустить ошибку при заполнении и обработке. У нас бланки были полностью именные, нужно было только расписаться и выполнять задание.
    • 0
      Не страшно, такие ошибки вылезут на верификации и код будет изменен на нужный.
  • –1
    Кстати, а были идеи замены хотя бы части софта свободным. Например, с шифрованием в open source проблем никаких нет и Crypto Pro можно заменить на открытый и всеми проверенный GnuPG.
    • +1
      В рамках финансирования проекта (миллионы и миллионы, я не буду говорить сколько стоит одна модель сканера типа панасоник — погуглите) копейки за софт типа Crypto Pro выглядят просто смешно.
      • 0
        Хочу заметить, что преимущества свободного ПО не только в цене. Например, я криптографического ПО очень важно, чтобы множество сторонних людей попыталось найти уязвимость в шифре. Потому что единственный способ убедится в надёжности шифра — только длительное время безуспешных попыток открытого взлома. Ну и плюс Вы всегда независимы от поставщика — решения на базе GnuPG может оказывать любая фирма. Как следствие, более широкий рынок рождает лучшее развитие.
        • +2
          Скажем так — это было больше политическое решение на уровне министерств. Наше мнение очень мало значит в таких делах.
          Насчет логики не спорю, сам частично согласен (с другой стороны Crypto весьма серьезная контора и я пока не видел случаев, чтобы их ключи ломали, да и передача у нас шла по защищенному каналу, туннель только в два конца, не особо актуально было)
          • 0
            Господи, какой ужас :). Вообще размер конторы не влияет на качество (см. Принцип Питера).
            • 0
              Хорошо, если я скажу что это было решение не нашего уровня а спущенное с верхов но устраивающее нас по всем параметрам — будет достаточно?
              Для любой системы можно найти лучшие альтернативы, но есть основной принцип — не трогай пока работает. Для большой системы любое косметическое изменение может обернуться глобальным катаклизмом.
              Потому мы анализировали риски и пришли к выводу, что данное решение нас устраивает на 99%
              • –3
                Dumau dage ne spusheno sverhob a prinato imi…
                Potomuchto est opit, integracii productov crypto, net narekanij prakticheski.
                kogda gelezo idet na 10kk baksov, to na stoimost takogo softa ne smotrat.
                Po povodu luchshej alternativi...moget i mogno, tolko v uslovijah biznesa, nelza vechno gnatsa za beskonechnim solnchem. Nugno Prodavat to, chto buder prinosit denjgi/
                • +1
                  С криптографией сложнее, чем с автоматизацией предприятия. Если всё работает нормально, то это не гарантирует безопасность. Вспомните, например, введение электронных выборов — множества авторитетных экспертов говорили, что именно закрытость общественной ревизии ставит безопасность их под серьёзное сомнение.
            • +1
              Гипотетически:

              Взломают шифрованный канал КриптоПро — кто виноват? — а вот пожалуйста «поименный списочек» разработчиков/руководителей.

              Взломают шифрованный канал open-source продукта — кто виноват? — а никто! -> А значит виноватым будет назначен тот, кто принял решение установить этот продукт. Думаете, кто-нибудь из «Принимающих Решение» хочет себе такую головную боль?
              • 0
                Отлично! И это тоже как факт в нашей реальности, а так действительно — весь список софта утвержден неслабыми фамилиями и должностями, ответственность на них в случае чего.
                Потому подводя итог данной теме:
                1 — продукт устраивал нас как пользователей
                2 — продукт был внедрен разработчиками и работал без нареканий
                2 — программа была в утвержденном верхами списком софта для центра
                Никакого резона менять на аналог — нет
                • +1
                  Не могу удержать от намёка о том, кто же ответственен за провал «школьного портала», думаю в случае Crypto Pro ситуация та же сама. Но я несколько не осуждаю Вас и понимаю политическую подоплёку ситуация. Остаётся только радовать, что Crypto Pro базируется на открытых алгоритмах (как минимум у них есть продукты на базе SSL/RSA) и надеяться, что именно они у Вас и используются.
                • 0
                  Я поработал по несколько лет:

                  а) в гос.учреждении
                  б) в частной фирме, обслуживающей гос.учреждения (т.е. осваивающей в основном гос.бюджеты)
                  в) в «независимой» частной фирме, ищущей заказчиков везде, где только можно.

                  Это 3 абсолютно разных мира!
                  Со своими целями, способами их достижения и совершенно разной мотивацией на всех уровнях ИТ.

                  Так что согласен с Вами на 100%.
              • +1
                К огромному сожалению во всех EULA разработчик прямо отказывается от всех финансовых потерь из-за проблем со своим ПО, так что опять никто не виноват. А в мире open source вы можете заключить договор на поддержку от RedHat, Oracle, Canonical и так далее и они будут гарантом системы.
              • +2
                Виноват будет тот кто покупал точно так же.
      • 0
        > сколько стоит одна модель сканера типа панасоник
        Не знаю как панасоники, у нас были планшетные фуджики формата А3, когда начинался ЕГЭ в 2003 за те же деньги можно было взять 1-комнатную хрущебу в спальном районе.
    • +1
      Потому что Crypto Pro — сертифицированное ФСБ ПО для криптографической защиты утвержденными алгоритмами (ГОСТ). Другие алгоритмы в принципе в России нельзя использовать.
      • +1
        Сертификация нужна только для использования в гос. органах. У себя Вы можете использовать что хотите. Но в общем, Вы правы.
    • +1
      есть закон о гостайне, есть ФСБ и бывшее ФАПСИ, есть сертифицированные для использования в госструктурах криптографичесие алгоритмы и софт. Не сертифицированное в госучереждениях использовать нельзя.
      Если контора подписывается на разработку софта для госструктур который подразумевает криптографию, то она либо лицензирует существующие наработки имеющие сертификат ФСБ, либо получает лицензию на произвродство своего с дальнейшей прохождением сертификации того, что у нее получилось.
      • 0
        именно так.
    • 0
      Это было бы «небо в клеточку».

      В таких проектах для криптографии можно использовать только сертифицированные ФСБ криптопровайдеры. (например — CryptoPro).

      КриптоПра конечно глючная и тяжелая в использовании, но при должной нежности, ласке и заботе — оно вполне себе нормально и стабильно работает. Местами — даже очень удобно :).
  • +1
    Кстати, а как в защите от вирусов на такой системе? Компьютеры конечно отключены от Сети, но сейчас в основном вирусы через флешки передаются. Изучали возможность тонких клиентов или виртуальных машин на клиентах (чтобы после каждого пользователя просто возвращать ОС в ВМ к начальному состоянию)?
    • 0
      С флешками работали только две машины администраторов (чтобы переносить данные с сети и обратно), на которых естественно были антивирусы (симантек). Флешки были только наши, стабильно чистые, ничто чужое в клиентские станции не втыкалось.
      На клиентах работа с ЮСБ была выключена, студенты\операторы не той категории, чтобы лазить в биос и разблокировать доступ к портам :)
      Нет, виртуальные машины на клиенты не ставили, технологически были проблемы с постоянным возвращением клиента на исходные позиции чистого образа, вкратце — невозможно.
      То есть внутренний фактор тоже по максимуму учтен.
      • 0
        Почему невозможно? Решения на базе Xen легко предлагают такую возможность — там удобная система работы с ОС, вы можете перехватывать её закрытие и вызвать свой скрипт, который прикажет ей откатится. Ну или VirtualBox тоже такое может позволить.
        • 0
          Если бы я занимался только админскими функциями — давно бы настроил подобную штуку. Но так как на мне висел и значительный кусок организации — физически времени не хватало вникнуть и разобраться
      • 0
        А что Вы думаете по поводу тонких клиентов? Это решает тоже кучу проблем администрирования — обновляете ПО на сервере и все клиенту сразу готовы. Плюс клиент-серверная работа при тестировании будет проще и надёжнее, так как всё будет происходить на одном сервере.
      • 0
        Кстати, а почему используется IE 6? Как я понимаю для тестов не нужен ActiveX или это же можно реализовать с помощью более надёжный и enterprise’ных Java-апплетов или подобного. Зато Вы сможете перейти на официально поддерживаемый IE 8 (не говоря уже про решения конкурентов).
        • 0
          На ActiveX была построена работа веб-клиента, потому очень жестко все было привязано к ИЕ6, но так как все это только локально — никаких проблем не вызывало. Теперь же переход на ИЕ8 неактуален, поскольку полностью другая технология
          • +2
            Ну я не буду оспаривать текущее положение вещей, но хотелось бы услышать Ваше личное мнение. Как вы считаете, использование открытых технология (JS вместе ActiveX) было бы лучшем решением в долгосрочной перспективе, так как оно позволило бы легко перейти на IE 8 или Mozilla Firefox. В результате развязало бы руки по поводу использования других технология — например, бы замена ОС на Linux (ну тонко для Xen или тонкого клиента) при JS-тестах не вызвало бы никаких проблем.
            • 0
              В рамках нашей узкоспециализированной задачи переход на другие технологии (мозилла, *nix системы для клиентов и подобное) не имел ни малейшего обоснования.
              Причины (мое личное мнение):
              1 — софт куплен (по весьма бюджетной академической лицензии)
              2 — работает без нареканий и проблем (хотя вкладок типа мозиллы при работе с клиентов очень нехватало :))
              3 — данный объем работ поддерживался и внедрялся разработчиками системы.
              Уверен, что если бы КРОК работал и сегодня в этой сфере — были бы шаги по переходу на ИЕ8 как минимум (но не факт). Скажем так — в системе было множество более актуальных задач по автоматизации работы операторов, оптимизации бизнес-процессов, нежели переход на следующую ветку софта или на альтернативу. Просто данные вопросы я не выносил в топик, в разрезе темы они не очень актуальны.
              Да и в логике работы всей локальной системы были узкие места, решение которых уже практически существовало (и оптимизировало бы процесс работы на 20-50%), но все эта политика…
              Любые рассуждения о долгосрочных перспективах уже неактуальны, бо никем не будут поддерживаться на практике, увы…
              • 0
                Эм, т. е. всё ПО заброшено производителем? Вас оставляют с ним наедине? Я правильно понял?
                • 0
                  Нет, не совсем так. ЕГЭ переведено на другую технологию другой конторы (был КРОК, стало ФЦТ). Но это равносильно откату в прошлый век и отсутствию нормальной поддержки от разработчиков.
        • +1
          Но фактически клиент работает по Ajax подобному принципу. Но да, система использует ActiveX для клиентского UI (гриды всяческие). Но используется VBscript а не Jscript. Java — ислючена.

          Впринипе, система не предназначена для эксплуатации на копьютерах с выходом в интернет. Поэтому собственно функции браузера как интренет-браузера — не нужны. IE6 — на тот момент браузер по умолчанию для XP. 7 тогда только вышел и у нас были проблемы с совместимостью. Конечно, при продолжении поддержки продукта — они были бы преодолены, хотя бы из-за Vist'ы.
  • 0
    Замечательная статья, спасибо.

    > Несколько фото, чтобы не так скучно читать
    Их надо было по тексту рассредоточить
  • 0
    Да, и можно услышать те два анекдота про классический «совковый» магазин и красно-синий интернет?
    • +6
      про совковый магазин — имел в виду образ хамоватой тетки, плюющей на покупателей, к примеру вот мне понравился
      Овощной магазин. За прилавком стоит роскошная пышнотелая продавщица Клавка (К) в замызганом халате.
      Около нее мельтешит пьяненький сморщенный грузчик Васька (В).
      К (лениво): — Вась! Принеси-ка мне со склада мешочек картошечки!
      В: — Принесу! Только я за это тебя трахну!
      К: — Ну давай, шалун!
      Нагибает он ее над прилавком, задирает халат, только вставляет, как в этот момент в магазин вприпрыжку, с авоськой в руке заскакивает девочка и звонким пионерским голосом вопрошает: — Тетенька, а у Вас сахар есть?
      К (подмахивая в такт Васе): — Сахар? Сахар?! Сахар?!?! Сахар?!?!?! САХАР!!!!!!!!!!!!!!!!!!!!!!!!!!, — поднимая томный взгляд на девочку, — Девочка! Какой, на *уй, сахар? Это — овощной магазин!!!

      Цветные интернеты писал здесь blog.pbelkov.com/2007/06/11/browser-color/ (из ЕГЭшной практики :))
      • 0
        некоторое время назад моя девушка позвонила мне, когда я был в офисе, и пожаловалась, что дома «не работает жёлтенький эксплорер». я-то как-то быстро сообразил, что речь о FF, а вот коллеги потом не смогли угадать, что такое жёлтенький эксплорер :)
  • 0
    Я впечатлен! Огромное спасибо, теперь знаю как это все происходит. Плохо правда, что ненормированный рабочий день выдается в дни проведения экзамена, это как-то непредусмотрительно — смены что-ли делали бы, ведь горячая пора по сути.
    • 0
      Смены организовать очень трудно — процесс сложный, держать двух\трех полноценных админов круглый год (чтобы знали систему на одном уровне) нерентабельно. Студенты, конечно, посменно на сканировании\верификации. А вот начальник и админы — вполглаза спят
  • 0
    сдавал ЕГЭ по русскому года 4 назад. Меня не удовлетворили Баллы в А и Б, где я был более чем уверен в правильности определенного кол-ва своих ответов. Поехал на апелляцию, где мне сказали, что ответов и заданий мне не покажут, а дадут только мой листок, где я должен удостовериться верно ли крестики компьютер распознал. И вот никому не докажешь ничего, а вдруг программная ошибка в самом варианте, а не в распознавании. Однако за часть С мне подняли 2-3 балла вроде… просто так, раз уж я приехал на апелляцию О_о
    • 0
      По нашим правилам выдавались результаты распознавания базой и копия оригинальных бланков (поначалу каждую апелляцию вручную сам сверял на качество распознавания, но как объемы увеличились — бросил).
      Программная ошибка в самом варианте — это как? КИМы к нам приезжают запечатанные, содержанием занимаются другие конторы, только если брак печати… Ошибок в самих заданиях (на моей памяти) ни по одному предмету никогда не было. Дурацкие формулировки — встречались (с каждым годом качество КИМ повышалось). На апелляции у эксперта есть копия текста заданий варианта, вместе с учениками прорабатывали каждый пункт
      • 0
        в том то и дело, что тогда текста задания не было на апелляции, что естественно поставило под вопрос о всей системе. К примеру как объяснить тот факт, что за сутки-двое позвонили моему однокласснику и предложили купить ответы на егэ. Он их купил и благодаря им сдал почти на отлично.
      • 0
        описа`лся:
        >в том то и дело, что тогда текста задания не было на апелляции, что естественно поставило под вопрос о всей системе.
        в том то и дело, что тогда текста задания не было на апелляции, что естественно поставило вопрос об надежности всей системы.
        p.s. давно пора ввести редактирование комментов на хабре
  • 0
    Вы так и не написали почему произошел переход на ФЦТ. Или как всегда — лучше откатили?
    • +2
      Очень не хочется ни на кого наговаривать (бо 100% фактов не знаю), но по моему личному мнению — абби и ФЦТ в сговоре, имеют своих людей в высших инстанциях. Бабло + связи + политика — вот и откатили все на ЦТ (про качество я уже писал, очень и очень плохо все).
      И интереса ради — погуглите на тему «ФЦТ растрата» и аналоги, очень много у них там интересного творилось
      • 0
        Печально блин. А я то уже почти обрадовался, что у нас в стране хоть где-то передовое и технологичное было масштабно внедрено и работает.
  • +2
    полная интересная статья
    Если картинками разбавить текст, а не вставить в конце — читатся будет легче :)
    • +1
      Разбавил, но на идеальную верстку текста сил уже не осталось :)
  • +4
    А мне девушка понравилась)))
    • +2
      Чёрненькая в зелёной кофточке? ;) ^_^
    • +6
      Ну вот, я им тут софт, программы, технологии, а мужикам как всегда только красивых девушек подавай )))) Мне она тоже нравилась, но не до того было :)
  • 0
    Вы не в курсе, почему ЕГЭ было решено проводить на бумаге, а не в электронном виде?
    • +2
      А как вы собираетесь решения по физике или математике набирать в электронном виде? Не все же тех хорошо знают в школе.

      Да и печатают многие медленно.
    • +1
      Я не в курсе, но и Вы должны представлять себе реалии России, что есть города с одним компьютером на 5 улиц. Подобный эксперимент был бы уж очень экспериментальным, нереально пока
      • +1
        В школе, находящейся от меня через дорогу, ведут предмет «Информатика». Во всей школе компьютер 1 (один). Был собран учителем трудов по указанию директора, из барахла, которое нашлось в классе труда. Как там ведут информатику — не могу представить. Спасает только то, что у большинства есть домашние компьютеры.
        • +3
          > из барахла, которое нашлось в классе труда

          Из киянки, напильника и тисков? о_0
          • +1
            Пень 1 или 2, 64 метра, старая видео и хард гига на 2. Если Вас интересует, узнаю вплоть до модели корпуса.
  • 0
    Насколько я понял, новый софт и вся система гораздо хуже старых.
    Зачем на них перешли и сколько это стоило (примерно)?
  • 0
    ну во всяком случаее лучше чем ЦТ, ибо ЦТ можно убитцо раньше чем бланк заполнишь. А про местные ЦТ я вообще молчу. я как-то раз отрабатывал в ЦТ летнею практику, сканировал обычнм сканером эпсон и подсовывал «напарнику», а он в фаинридере эксопртировал в пдф и по обычной почте со своего лично ящика отправлял начальнику ЦТ :)
    • 0
      Что значит «местные ЦТ»?
  • 0
    Спасибо за проделываемую столь сложную техническую работу таким людям, как Вы!
    Еще бы те, кто разрабатывает задания ЕГЭ, работали столь же качественно и усердно…
  • 0
    извините, что намочил бланк соком. с ним, наверное, были проблемы… ведь он немного исказился от воды… :(
    • 0
      Ничего страшного, подобные бланки отрабатываются ручным проставлением реперных меток при сканировании, гораздо хуже если его будто жевали в страстях и поотрывали уголки бланка с метками :)
      • 0
        О… тогда здорово :) спасибо за проделанную работу, а то я волновался! :)
  • +1
    Как хорошо, что я получил свой аттестат в далеком 1999 году, не застал ни внедряемых теперь уже в Украине аналогов сабжа, ни даже 12-балльной системы…
  • +1
    Последние годы стали разрешать публикацию данных через сайты

    Кстати, какую-нибудь информацию кроме самих баллов публиковали?

    Кроме баллов и рейтингов, несколько лет показываем скан-копии бланков и результаты распознавания. Значительно снизилось число апелляций, ибо в основной массе подают апелляции, чтобы просто посмотреть на свою работу.

    P.S.
    Вижу выпускников здесь не мало, интересно, в каких регионах можно посмотреть свои результаты в сети?
    • 0
      Про Алтайский край я в курсе :)
    • 0
      Нет, пока сканы бланков смотреть нельзя. Кстати спасибо за идею, надо будет пообщаться с начальством на эту тему, может разрешат прикрутить (знали бы чего стоило добиться от Министерства возможности просто баллы показывать — целое дело).
      Знаю про Москву, Мособласть, Кострому — точно есть данные. По другим регионам не интересовался.
  • +2
    Спасибо. Очень интересно было прочитать столь подробное описание технологии и ньюансы применения в реальной жизни ;-)
    Работал до 2004 года в Кроке ведущим тестировщиком по ЕГЭ. Так что первый рабочий вариант системы как раз мы делали. Могу подтвердить, что очень много проблем было связано с проведением на местах. То рассадят не так, то варианты раздадут по очереди, а не как в бланке написано. Поэтому экзамены были горячей порой, когда надо было придумать как быстро скорректировать чрезвычайные людские факторы.

    Кстати, я правильно понял, что технология Крока больше не используется и все опять вернулось к ЦТшному софту?
    • +2
      Приветствую, коллега! Ну а я пришел как раз в 2004 году, первые два года проблемы рассадки в ППЭ были одним из самых проблемных мест. После стали чуть дисциплинированней, хотя косяков хватало.

      Да, увы, в приказном порядке все пришли в цт, другим регионам проще — которые либо полностью эксперимент на фцт проводили либо использовали смешанные технологии. Нашему же РЦОИ Мособласти ох как тяжело после БМВ на запорожец пересаживаться…
      • +1
        Самое смешное, что в 2004 году после пробных экзаменов мы систему довольно сильно переписали потому что сначала слабо представляли как это выглядит с точки зрения пользователей. В частности добавились утилиты экспорта данных( на первых версиях для того чтобы ввести одного ученика надо было прощелкать несколько экранов), изменили группировку элементов по экранам( чтобы оператор делал минимум переходов между окнами между редактированиями) и т. д. Там тоже по 12-14 часов работали чтобы к ЕГЭ 2004 успеть.

        Искренне жаль, что система больше не используется. Это один из немногих ИТ проектов которыми я искренне гордился.
        • +1
          Я не застал первую версию в работе, меня она (если честно) совершенно не впечатлила (маркировку не помню, зелененькая такая). А вот новая версия с тремя колонками интерфейса была действительно могучая штука. Весьма удобная в использовании (не без огрехов, но это естественно), наглядное представление данных и что немаловажно — постоянно развивалась Вашими программистами.

          Солидарен, очень жаль что от нее отказались.
          P.S. коллегам из КРОКа (если помните кого) привет из Севастополя — Андрею Серебренникову, Сергею Стрелкову, Дарье конечно же!!! Очень приятно было с Вами работать
  • 0
    Такой вопрос — по печати КИМов и их упаковке.

    Я наивно полагал, что там стоит зверь типа Xerox WorkCentre Pro 5675 с фальцовщиком, который тут же сгибает отпечатанные листы и подает их в конвертовальную машину типа Duplo MD 300, которая и запечатывает их в конверт.

    А из топика мне показалось, что всё это делается вручную. Скажите, что я ошибаюсь на счет ручной упаковки.
    • 0
      Печатью КИМов мы не занимаемся, к нам они приходят уже запечатанные в конвертах и вскрываются только в аудитории, потому по технологии печати ничего сказать не могу.
      У нас же в центре печатались непосредственно бланки, на которых ученик пишет работу, сопроводительные документы, работы части С для экспертов на проверку. А это все распечатывалось из системы в А4 на машинках типа HP4300, вручную проверяется и складируется в секьюрпак
  • 0
    Читал с удовольствием, автору спасибо)
    Так и хочется крикнуть после этого «Я строчка в базе данных»:)
    • 0
      всегда пожалуйста ))
      могу заверить — что далеко не одна строчка, пара десятков записей на одного участника точно наберется :)
      • 0
        Понятно, что есть результаты и все остальное)
        Но главная идентификационная запись есть, вот её каскадно и удаляем;)
        — Хотел бы взглянуть одним глазком на схему бд:), если конечно такое вообще возможно.
        • +1
          зачем же ее удалять :)
          Схема примерна такая связей: регион — район — школа — класс — ученик — участник экзамена — ППЭ — аудитория — распечатанные бланки — принятые бланки — проверка части С — результаты — статистика

          Увы, показать схему БД никак не могу, коммерческая тайна
  • +1
    Да уж, технологии. Неделя между экзаменом и оценкой. Вот я когда сдавал экзамены, то оценку знал максимум на следующий день и никаких сканирований, верификаторов и прочего. Просто на дворе был 1991 год :)
  • 0
    Обалдеть. А вы не знакомы с человеком, который админит солнечную систему?
  • +1
    Спасибо за статью очень интересно! Полчаса рабочего времени как не бывало. =)

    Прочитав сделал выводы: как не совершенствуй технологии, все равно самая главная проблема — человеческий фактор.
    В мое время тоже некоторые школы (пункты где сдавали егэ) проводили экзамены честно, а в других и учителя помогали, и телефонами пользовались и.т.д.
  • 0
    Очень интересно.
  • +6
    Сейчас работаю в РЦОИ Забайкальского края, если интересно сообществу могу написать статью как это происходит сейчас. Не технология КРОК. а технология ЦТ (там же софт ABBYY и разработки остальных компаний).
    • 0
      Да конечно, пишите, всегда интересно мнение коллег!
    • 0
      У меня же в свою очередь собирается подборка информации практикующих коллег, что перешли на цт в этом году, факты, что мне рассказывают — ужасают по правде говоря.
      • 0
        ну да…
    • +1
      Конечно напишите, как минимум я прочитаю не один раз.
    • 0
      Напишите конечно! Очень интересно!
  • +1
    Отличная статья! Если честно, после многочисленных постов на хабре про кривые системы разной сложности, сделанные на заказ или на продажу, удивлен Вашей оценкой системы, разработанной как раз на заказ, да еще и на бюджетные деньги. Видимо, у нас могут не только пилить, но еще и действительно делать по госзаказу что-то качественное… Еще раз спасибо за статью, и, конечно, ставлю плюсы! :)
  • +1
    Пользуясь случаем, большое спасибо *beliyadm за инвайт :)

    Я был ведущим разработчиком(2006-2007)/мендежером по разработке АИС(2008) «Экзамен» в Крок.

    Могу поотвечать на технические вопросы (на которые смогу)
    • 0
      Алексей, я с разрешения тоже задам пару вопросов.
      — если в курсе политики (и дозволено рассказывать) — какие были причины (высказанные КРОКу) перехода ваших регионов на цт-ную технологию?
      — как происходит процедура апеллирования в удаленных регионах? Тут люди говорили что проблема добираться в комиссию на рассмотрение и за 300-400 км, а что делалось в ТОМ?
      — чьи были разработки модуля сканирования (коллеги недоверчиво отнеслись к моей информации, что это ваша работа)
      Заранее благодарен
      • +1
        1. Не могу, да и владею полностью вопросом. Скажем так — причины были не технологического характера.
        2. Задал вопрос нашим бывшим саппортерам ;) они лучше ответят.
        3. Нашей разработки. У Крок вообще много решений по машинно-читаемым документам в заказных системах (например решения Крок по переписям)
      • +1
        2.
        Ответ от Дарьи, менеджера по внедрению АИС «Экзамен»

        значит с апелляциями так: подавать апелляцию дети могли и в самом ППОИ, присутствие ребенка или его родителей\представителей на конфликтной комиссии не обязательно, но если дитя изъявило такое желание, то да, только туда, в центр и надо ехать на комиссию. Это вполне разумно, так как ППОИ, а в особенности ППОИ-ТОМ, совсем небольшие структуры (конечно, но во всех регионах, бесспорно),

        ситуация: давайте поправим Машеньке оценку на 5, Машенька хорошая девочка, должны быть полностью исключены. Именно поэтому проверка, результаты и все их обжалования исключительно через центр. Кроме апелляций о несогласии с процедурой экзамена
        она разбирается на месте, тоже по понятным причинам
        • 0
          Дарь — я правильно понимаю, что если Машенька все-таки хочет оценку выше и присутствовать при рассмотрении апелляции, ей придется добираться до места заседания комиссии (в центре) своим ходом и плевать, 100 км это или 500?
          Я в принципе так и думал, тогда это еще одно узкое место, бо позволить себе такое путешествие могут далеко не все
    • 0
      Не совсем технический вопрос: а КРОКовская технология ещё используется в каких-либо регионах, или совсем вытеснили?
      • 0
        Какую технологию использовать региону зависит не от региона — а от воли Рособра.

        Рособр постановил переход на ФЦТ-шную приладу. Такчто Кроковская технология нигде не используется для проведения ЕГЭ. Возможно, кто-то еще использует для проведения внутренних испытаний, но насколько я знаю — у нас нет обязательств по техподдержке.
        • 0
          Именно так. КРОК разрешил использовать их систему для любых внутренних действий в регионе, программа то официально куплена, потому делать с ней можно все что угодно, только не распространять и без поддержки
        • 0
          Печально, конечно, что хорошую технологию просто отбрасывают. Впрочем, не слишком удивительно: насколько я помню, некоторые «активисты» начали работу над этим делом ещё несколько лет назад.
          • 0
            Да, есть один очень нехороший товарищ, сейчас не буду называть имен, он такую чушь официально протаскивал в СМИ по КРОКу что мы диву давались. Но народ верил.
            На 100% уверен, что товарищ был куплен Хлебниковым и получал откаты за их поездки по Египтам (якобы для проведения конференций по ЕГЭ, ага ага)
  • 0
    Впечатлен.
    Нижайший поклон людям, которые вытягивают на себе все это жуткое действо
    • 0
      Вытягивали… :\ Все таки главная проблема нашего общества — идиоты и чиновники :(
  • –1
    КРОК – MS SQL 2000 в качестве сервера баз данных и WIN 2000 (2003) в качестве сервера приложений. Сервера разнесены по разным машинам, на WIN 2000 стоял дополнительно AD для внутренней локальной сети.
    На сервере приложений стоит серверная часть программного комплекса (далее АИС), на клиентских машинах соответственно клиентская часть, пользователь логинится через AD в домен, работа через интерфейс браузера (обязательно IE6).

    И что это, 21 век? После такого и читать не хочется дальше.
    • 0
      а что по вашему не так? :)
  • 0
    А что за железо используется на сервере?
    • 0
      Intel Xeon стояли, винты SATA, 8 штук в RAID объедены, памяти по 4 гига было. Сейчас (и опять же по причине перехода на ФЦТ) собираются обновлять серверное железо на совершенно другой уровень, на пару порядков выше.
      • 0
        Как я понимаю целый кластер используется? Отдельно для сканирования, другие для распознавания, хранения
        • 0
          Отдельно сервер под серверную часть системы, отдельный сервер для хранения отсканированных изображений. На сервере под системой крутится сервис загрузки бланков (обрабатывает сканированные результаты и управляет процессом) — вот под него больше всего ресурсов тратится, приходилось раза два в сутки в режиме экзаменов перегружать.
  • +1
    Одна из лучших статей на Хабре. Inside, IT, русский язык.
  • 0
    А у меня другой вопрос. Где можно почитать про ДС-300. Я так понимаю ЛОМО — это наше Ленинградское оптомеханическое объединение? Не знал что они таким занимаются. Было бы интересно.
    • 0
      Прошу прощения, не совсем верно проинформировал по поводу ЛОМО (хотя от представителей КРОКа когда то слышал и этот завод). Как удалось уточнить ДС 300 совместного производства НИИ точных приборов, ПО КСИ и компании КРОК. Внутри это цельный системный блок, можно подключить монитор и клаву и работать. Железная начинка в разных версиях менялась, в качестве оси стоял Win2000 workstation
      • 0
        Спасибо за уточнение!

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.