26 января 2015 в 00:22

О том, как устроены открытые данные в России

Не секрет, что в России за последние годы, с одной стороны, стало больше открытых данных, с другой — накопилось немало критики.

Так неслучайно получилось, что тематика открытых данных — это то, чем я занимаюсь давно и знаю о большей части инициатив в этой области не по наслышке, а по собственному опыту участия. Здесь я постараюсь обойтись без ссылок на свои проекты, чтобы не нарушать правил сайта, их легко будет найти по их названиям в любом случае. Но постараюсь дать все ссылки на официальные ресурсы.

Поэтому, вместо предисловия, я представлюсь.

Меня зовут Иван Бегтин, я вот уже несколько лет продвигаю идею открытых данных в России, возглавляю небольшую некоммерческую организацию (Инфокультура) от лица которой и вместе с сотоварищами мы организуем соревнования, пропагандируем открытость данных среди госорганов.

Кроме всего прочего я вхожу в Совет по открытым данным при Правительственной комиссии по координации Открытого Правительства и ряд общественных и экспертных советов при органах власти и в курсе многих успешных (и провальных) государственных инициатив в этой области.

Ну и поскольку я, в том числе, в комментариях на Хабре читаю много вопросов, заданных явно или неявно, то на самые частые я отвечу в этой заметке, а также на те, что будут в комментариях.



Что сейчас происходит в России с открытыми данными?

Чтобы ответить на этот вопрос надо с самого начала разделить два понятия. Открытые данные — как открытую форму представления любых баз данных. Собранных ли активистами, подготовленных ли коммерческими компаниями или же опубликованных государственных органами. Открытые данные — это всеобъемлющий термин охватывающий все возможные источники появления данных, главное чтобы данные были доступны для свободного повторного использования и были машиночитаемыми (плюс соблюдение 8 принципов открытых данных о которых тут уже писалось.

А вот открытые государственные данные — это такой подвид открытых данных который производится изнутри государственной машины. Это может быть информация, как о самом государстве, так и то что госорганы собирают при выполнении их функций.


Исходя из этих определений можно сказать что то что в России происходит с открытыми данными вцелом — это на 100% зависит от нас самих, как мы собираем, публикуем, убеждаем и так далее публиковать данные, так это и происходит. Есть множество проектов которые существуют автономно от государства — это сообщество GIsLab, это наши проекты OpenGovData и Hubofdata и практически все краудпроекты на MediaWiki можно отнести к инициативам по открытым данным поскольку они предоставляют API для получения данных любым желающим.

А вот в том что касается открытых государственных данных, то здесь без самого государства не обойтись. В 2013 году был принят Федеральный закон Российской Федерации от 7 июня 2013 г. N 112-ФЗ «О внесении изменений в Федеральный закон „Об информации, информационных технологиях и о защите информации“ и Федеральный закон „Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления“ .

Этот закон содержит набор поправок в федеральный закон от 9 февраля 2009 года N 8-ФЗ „Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления“ и в федеральный закон от 27 июля 2006 года N 149-ФЗ „Об информации, информационных технологиях и о защите информации“ о том что данные должны публиковаться в форматах открытых данных.

Далее в распоряжении Правительства Российской Федерации от 10 июля 2013 г. N 1187-р г. был представлен перечень тех данных которые должны публиковаться в первую очередь.

Полный перечень законов, распоряжений и постановлений собран, например, на портале открытых данных г. Москвы в разделе „Документы“. Там множество документов, как федеральных, так и тех что приняты московской мэрией.

2. Кто в России отвечает за открытые государственные данные?

Можно было бы сказать что Правительство целиком, но это не совсем так. Утверждение планов открытости ведомств, в которые входят и работы по открытым данным, занимается Совет по открытым данным. Совет по открытым данным — это название рабочей группы при Правительственной комиссии по координации деятельности Открытого Правительства.

Я также вхожу в этот совет и могу сказать что несмотря на громкое название у Совета нет практически никаких полномочий. Да и не может быть в виду российской структуры государственного управления в которой все советы носят исключительно консультационную форму. Фактически единственный ресурс совета — это возможность донести до его председателя Министра Абызову ту или иную позицию.

С другой стороны, в виду того что закон об открытых данных, это были поправки в 8-ФЗ, то методическое сопровождение раскрытия данных и создание федерального портала открытых данных осуществляет Минэкономразвития России.

Здесь надо сделать небольшое отступление. В 2012-2013 годах, когда тема открытых данных в России только-только приобретала форму государственной инициативы, был ведомственный спор между Минкомсвязи и Минэкономразвития о том какое ведомство будет курировать эту тему. В итоге победило тогда Минэкономразвития и в дальнейшем именно оно было основным исполнителем усилий по открытости данных.

Результатом этого было множество последствий, главное из которых было в том что акцент на раскрытии данных сместился от государственных информационных систем как это хотело Минкомсвязи, на официальные сайты госорганов требования к которым всегда задавало Минэкономразвития.

3. На какие деньги существуют все эти инициативы?

Тема открытых данных практически начисто отсутствует во всех государственных программах включая программу „Информационное общество“. За последние несколько лет существенные инвестиции в то чтобы открытые данные были доступны проводило лишь Правительство Москвы которое создало московский портал открытых данных и вплоть до того что рекламировало его на улицах города.

На федеральном уровне ничего подобного не было. Все члены совета по открытым данным работают без какой-либо компенсации их усилий.
Да и расходы на создание федерального портала открытых данных невелики.

Фактически, все заседания совета которые проходили и на которых присутствовали представители госорганов за это время сводились к тому чтобы убедить госорганы потратить усилия на открытие данных. В каких то случаях это приносило результаты, а в каких-то все разговоры разбивались на встречные просьбы »… а вы помогите чтобы нам выделили бюджет на XXX миллионов рублей и мы всё-всё-всё откроем...". Самый яркий пример такого поведения был Росстат, похожая ситуация была с ЦИК России и многими другими ведомствами.

Аналогично со всеми субъектами федерации и муниципалитетами. Ни один из них денег на внедрение практики публикации открытых данных не получил, все усилия сводились к тому чтобы убедить их тратить собственные деньги на эти инициативы. Какие-то субъекты в этом продвинулись, а какие-то откровенно забили и просто саботировали раскрывая не данные, а их симуляцию.

4. Использует ли хоть кто-то в России открытые данные?

Если коротко, то да.
Да, данные используют и более чем активно. Используют активисты и бизнес, используют к коммерческих проектах, общественных и личных, используют для того чтобы улучшить существующие продукты, так и для того чтобы создать новые.

Есть несколько областей и наборов данных которые более чем востребованы. В первую очередь это такие данные как:
— База государственных и муниципальных закупок;
— Оперативные данные ЦБ РФ по валютам и открытые данные по банкам;
— База ФИАС (федеральная адресная информационная система);
— Данные по спутниковой группировке ГЛОНАСС
и многое другое.

Существует несколько десятков проектов по отслеживанию новых госмунзаказов (Закупки360, Бикотендер), по анализу контрагентов (Спарк.Интерфакс, Контур.Фокус, Коммерсант.Картотека) которые используют данные напрямую. Агрегируя данные о компаниях, о контрактах, закупках, лицензиях и прочем. Смешивая открытые данные и те которые они получают из коммерческих источников — они создают коммерческие продукты. В результате, на базе открытых данных существуют и развиваются состоявшиеся коммерческие продукты.

На основе базы ФИАС и до неё на основе базы КЛАДР работает значительное число сервисов по всей стране. Эта база, обычно, используется не для создания новых продуктов, а для улучшения удобства проверки адресов в многочисленных коммерческих информационных системах.

Данные ЦБ используются практически всеми сайтами показывающими официальные курсы валют и всеми сайтами по анализу банков и банковской системы вцелом.

Кроме этих данных есть много других — гораздо более узкоспециализированных и которые также активно используются, но чаще всего их пользователи себя не афишируют и малоизвестны.

5. И всё таки почему так мало примеров тех кто данные используют?

Главная причина в том основные пользователи данных — это коммерческие компании которые совершенно не заинтересованы, ни в том чтобы раскрывать свои доходы, ни в том чтобы рассказывать про свою бизнес модель. Да и вообще тратить на это время большинство из них не желает. Ко всему этому примешивается их опасение что рассказав о том как и сколько они зарабатывают на тех или иных данных у них сразу же начнутся проблемы и за те данные что они получают бесплатно им придется платить. Опасение не то чтобы небезосновательное, но и не то чтобы неоправданное.

По этой причине все те примеры что я называю — это примеры о которых я знаю и те примеры что на виду.

6. И всё равно полезных данных очень мало. Всё остальное это, либо бессмысленые наборы данных, либо с отвратным описанием

Полезных данных действительно мало. И я скажу больше, наиболее полезные и востребованные данные публиковались ещё до того как сам термин «открытые данные» появился в виде государственной инициативы.

ЦБ РФ — публикует данные уже с десяток лет в виде API через SOAP сервисы. База ФИАС появилась в виде открытых данных гораздо раньше. И данные по госконтрактам публикуются в машиночитаемом виде с 2008 года.

Все очень просто. Есть те данные которые госорганы публикуют в ответ на общественный или корпоративный запрос и те данные которые они публикуют в обязаловку по разнорядке.

Требования которые были сформулированы в законе об открытых данных и распоряжении правительства для большинства госорганов — это очередная назойливая муха. Они не понимают зачем это делать, они не понимают кому это нужно, они не понимают в чем польза от открытия данных и они не понимают какая им с этого выгода. Как результат мы получаем массу примеров «плохих данных» когда в разделах на сайтах органов власти данные публикуются без описания, без схем, с пустыми файлами данных или иными особенностями. Чаще всего такие данные публикуются представителями пресс-службы органов и те делают это всё по принципу «формального закрытия», бессодержательной публикации позволяющей поставить галочку в результатах.

7. Почему всё плохо?

Нельзя сказать что всё совсем плохо. У России не последние места в рейтингах открытости данных вроде Open Data Index и Open Data Barometer. Но причин радоваться, действительно мало, и причин у того что всё идет так тяжело множество.

Одна из причин в том что у открытых данных в России очень мало явно заявляющих свой интерес потребителей.
Дело в том что в мире основными потребителями открытых данных являются:
— некоммерческие организации и активисты (гражданское общество);
— журналисты;
— коммерческие компании;
— университеты.

С каждым из потребителей у нас в России есть свои проблемы.
Независимых некоммерческих организаций теперь почти нет. Все что жили на зарубежные гранты теперь, либо закрываются, либо перестраиваются под госгранты, либо резко сворачивают свою активность. Наша некоммерческая организация существует исключительно по то причине что все учредители это люди занимающиеся бизнесом и у нас была и есть возможность тратить немножко средств на её поддержание и в том что самые большие проекты мы делали при поддержке Фонда Кудрина. Единственного, пожалуй, который из фондов в России поддерживает общественные проекты на открытых данных. Других возможностей фактически нет. Государственные грантооператоры не выделяют средств на подобные проекты, коммерческих спонсоров для проектов на открытых данных найти очень сложно ну а брать иностранные гранты теперь табу.

Журналистика почти вся в России весьма далека от нейтральной подачи информации. Но даже провластные издания не взаимодействуют с госорганами на предмет открытости их данных для того чтобы их использовать в работе. Увы, за все эти годы направление журналистики данных так и не обрело заметных очертаний в нашей стране и до сих пор журналисты оказывают очень малое влияние на открытости государства в тех или иных вопросах. Пронзительные экономические аналитики, исследователи демографии, словоохотливые социологи — все они на страницах СМИ не формируют запроса к органам власти на открытость.

Коммерческие компании здесь всё просто — их очень мало. Коммерческие компании использующие открытые данные можно разделить на две категории. Первая группа — это тех кто живет за счет государственных заказов и данные им нужны чтобы показать свои компетенции в том чтобы больше заказов получить. И вторая группа живущая на информационном рынке крайне малочисленная и не желающая взаимодействовать с госорганами без острой необходимости. В основном по причинам глубокого недоверия государственной машине.

И наконец высшие учебные заведения. Увы, запроса со стороны ВУЗов на то чтобы данные были доступны для исследований, для возможности студентов использовать актуальные данные в своей работе, этого запроса просто нет. Если в мире университеты формируют собственные базы данных по направлениям исследований и работы их факультетов, то в России это если и есть, то в весьма ограниченных формах.

8. Будет ли лучше?

До введения санкций, закона об иностранных агентах и прочего ухудшения внешней и внутренней политики я бы сказал что однозначно да. Когда всё начиналось Россия была в G8, подписывала G8 Open Data Chapter, претендовала на участие в Open Government Partnership. Сейчас развитие темы открытых данных происходит при высоком сопротивлении государственного аппарата. Наиболее востребованные данные раскрываются с большим трудом. Детальная образовательная, криминальная и иная муниципальная статистика крайне труднодоступна. Государственные геоданные по прежнему открываются тяжело. Но многое другое возможно. Это климатические, транспортные и иные данные востребованные на практике.

9. Почему лично я во всём этом участвую?

Причин много. Главная в том что я ввязался открытые данные еще в 2009 году со злости что во всем мире эта тема развивается, а в России ничего нет. Другая в том что устройство «государства», не только российского — это моё давнее хобби. При том что наибольшие усилий приходились и приходятся не только на то чтобы убеждать чиновников в открытости данных, а в том чтобы самостоятельно собирать данные из разных источников и превращать в открытые данные.
— К заметке прилагаю пару опросов и как и обещал, готов ответить на все вопросы по существу в комментариях.
Надо ли лоббировать открытость государственных данных?

Проголосовало 343 человека. Воздержалось 38 человек.

Как Вы оцениваете работу Совета по открытым данным?

Проголосовало 318 человек. Воздержалось 49 человек.

Как Вы оцениваете работу Минэкономразвития России по открытым данным?

Проголосовало 318 человек. Воздержалось 47 человек.

Что важнее всего в будущем открытых данных?

Проголосовало 344 человека. Воздержался 41 человек.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

Автор: @ibegtin
Открытое государство и открытые данные

Комментарии (26)

  • +4
    По поводу последнего вопроса «Что важнее всего в будущем открытых данных?» и одной из опций ответа «API вместо файлов».
    Считаю, что и API важен, и машиночитаемые файлы тоже важны.
    • 0
      Также важно иметь возможность скачать, случай конечно редкий когда данные занимают гигабайты, но можно сидеть еще и валидировать что у тебя все до конца докачалось, а не обрыв или таймаут.
  • +1
    Кризис отличное время для открытых данных.

    В условиях ограниченных ресурсов необходимо выделять финансирование на основании анализа открытых данных.
    Не опубликовал статистику — денег не получил. А если в данных нашли подтасовки — большой штраф, ограничение финансирования и отставка с тюремным сроком.

    ИМХО, только при таком подходе у открытых данных будет реальный шанс.
    • +1
      Учитывая что статистику у нас публикует в основном Росстат — то я могу только поддержать идею со штрафами и тюремными сроками.
      • 0
        Не верно выразился. Разумеется имелись ввиду открытые данные. Не опубликовал их — не получил финансирования.
  • +5
    Открытые данные — это не такие, которые элита вываливает народу, как свиньям похлёбку.

    Открытые данные не должны быть read-only для сообщества.
    Открытые данные должны, как минимум, наполняться совместно (например, как википедия).
    А лучше, если и инженерная часть будет подконтрольна народу (как в плане кода, так и в плане инфраструктуры).

    Если это законодательная база, то люди должны заняться законотворчеством.
    Если это справочник контрагентов, то компании должны иметь возможность добавлять себя.
    Если это геоинформационная система, то каждый может добавить свой дом, улицу и т.д.
    Если это закупки гос. органов, то граждане должны иметь возможность влиять на закупки.
    Если это список налоговых поступлений (размечтался!), то возможность как минимум комментировать каждую проводку.

    Пока же «открытые данные» находятся в режиме read-only, мы получаем пассивное население — такое же как перед телевизором, когда информация может идти только в одну сторону. Народ становится инфантильным, безответственным и дегенеративным.

    Интересно получается: с одной стороны власти нам с улыбкой заявляют об открытости, а с другой — на всех уровнях завинчивают гайки, любыми способами подавляя попытки граждан к самоорганизации.

    Вот я и задаюсь вопросом: случайно ли гос. органы создают системы «ниппель» («туда дуй, обратно — %уй»), или «легитимные» информационные системы должны держать людей пассивными by design?
    • 0
      Граждане не выходят на улицы с лозунгами «Откройте данные» или «Откройте код». А государство у нас реагирует только на массовые проявления общественного запроса на изменения.
      • 0
        Хорошие лозунги для профсоюза программистов.
    • +2
      Мой пардон, конечно, но… А как вы себе представляете не read-only открытую статистику по демографии или преступности? 0_о Тоже хотите принять активное участие в её искажении?
    • 0
      То есть вопрос в том как из потребителей сделать производителей? Имхо открытые данные это знание, факты, на основе которых можно принимать решение. Решением может быть как добавить свой дом в систему если такая возможность есть, так и что-то сделать чтобы такая возможность появилась при ее отсутсвие. Да даже отсутсвие данных это та же информация и в данным контексте может стоять решение как что-то сделать чтобы получить данные, не убившись об стену безразличия и непонимания.

      По поводу самих данных стоит учесть, что как и любые факты ими могут пытаться манипулировать, поэтому есть принципы открытых данных, в википедии лушче добавлять ссылку на источник, а в open street map — truth on the ground.
  • 0
    В другое время хорошим вариантом финансовой поддержки открытых данных была бы монетизация через платный API для доступа к наиболее актуальным данным. А сами данные в виде машиночитаемых файлов могли бы появляться в открытом виде, например раз в квартал…
    В нынешних реалиях дай бог чтобы не закрыли то, что уже доступно…
    • +2
      У платности API есть обратная сторона — очень трудно потом всё вернуть к открытым данным. Сейчас уклон к платным API есть в Великобритании и общественность уже критикует такой подход.
      • 0
        Дык, я ж говорю, сами данные публиковать в файлах, с некоторым временным лагом… Для исследовательских и мониторинговых целей небольшой временной лаг не принципиален. А кому нужно для дела, небольшую сумму для подписки всегда найдут…
        • +1
          Малые сроки задержки превращаются в большие, автоматически, для повышения конверсии в платных подписчиков. Фу такими быть. Это же государственные открытые данные — мы за них УЖЕ ЗАПЛАТИЛИ.
          • 0
            C чего вдруг автоматически? Государство не должна волновать конверсия платных подписчиков… Нормальное государство… И куда-кому конкретно вы за них заплатили? В статье совершенно конкретно говорится, что люди/организации выкладывают исключительно за свой счет. Ни копейки сверх обычного они за это не получают.
            • 0
              Мне кажется вы не поняли комментарий, поэтому напишу еще раз.

              1. Государство оплачивает создание тех или иных данных за счет бюджета, который формируется в конечном счете из наших денег (и не надо вот этих гнилых разговоров про нефтегаз), поэтому, для общества было бы неплохо получить доступ к этим данным — тк общество выиграет, если этот актив поступит в общественное достояние.

              2. У тех кто «сидит на данных» есть жгучий интерес (не только коммерческий) к их монополизации, контроля и получения за счет эксклюзивного доступа к ним различных «бонусов».

              3. Как только появляются платные услуги в этой цепочке — так сразу для одних компаний они становятся более платными/менее платными чем для других. По принципу — что охраняем, то и имеем.

              4. В итоге, вместо прозрачности, эффективности и прочего возрастания общественного блага, получаем очередное информационное ****хранилище с «попилами», «откатами» и прочей «чернухой».

              5. Поэтому, государство/государственные органы должны публиковать открытые данные таким образом, что бы обеспечить максимально равные условия доступа к ним для ВСЕХ заинтересованных лиц.

              Мне кажется это такое уже очень общее место, азы.
  • +1
    Иван, я уже далеко не один год слежу, как ты занимаешься вопросом открытых данных. Можно сказать, просто «снимаю шляпу» перед такой настойчивостью, достойную всякого уважения.

    Можешь ли по истечении длительного времени сказать, какие виды данных действительно были полезны людям?

    Со своей стороны могу назвать:
    — адресная информация (однозначно нужна постоянно!)
    — земельный реестр (нужна регулярно)
    — информация по контрагентам (пользуюсь время от времени)
    — информация по особо охраняемым территориям (разрозненно)
    — госзакупки (пользуются знакомые)
    — иногда хотелось бы демографию или что-то подобное.

    p.s.
    Весь бред типа «мы и так уже за все заплатили» предалгаю скипать молча.
    • 0
      Самые полезные данные оказались данные по контрагентам и по организациям. Там есть очень быстрая конверсия в коммерческую выгоду для всех сервисов которые добавляют себе новые источники.

      Всё что касается геоданных очень востребованно, но идет тяжело.

      Закупки используются повсеместно. Активно используется информация по торгам на имущество (torgi.gov.ru).

      Плюс есть очень большой общественный запрос на доступность криминальной и образовательной статистики. Но там пока прогресс невелик.
  • 0
    Подскажите, пожалуйста, какие варианты есть для получения макроэкономических и демографических статистических данных в хоть каком-то адекватном формате?

    Меня просто убивает необходимость собирать это руками из всяких сборников Росстата типа «Россия в цифрах» или «Регионы России». Там и объёмы данных-то совсем смешные (многие показатели изменяются помесячно или вообще поквартально, так что с 1995 года вся социально-экономическая статистика может поместиться на одном листе Excel), но как-то со способами получения всего этого в пригодном для анализа виде очень тяжело.

    Может я чего-то не знаю?
    • +1
      Макроэкономические показатели есть на сайте Всемирного банка — data.worldbank.org
      Региональные доступны через ЕМИСС — www.fedstat.ru

      Они все не так детальны как хотелось бы, но дают возможность работать сразу со структурированными машиночитаемыми данными.
      • 0
        Спасибо! Всемирный банк — это не совсем то (мне не нужна статистика, приведённая по ППС), а ЕМИСС вроде не всё есть, но кое-что облегчить наверное сможет.

        К слову, можете сказать, насколько внимательно в подобных системах занимаются обновлением данных?
        Например, если посмотреть те же «Россия в цифрах», то там в последующих изданиях часто обновляют статистику за предшествующие периоды. В итоге, при ручной выборке, я иду от самого нового издания к самому старому и останавливаюсь, когда получается набрать полный временной ряд.
        Не можете сказать, в автоматизированные системы кто-то вносит коррекцию после загрузки первоначальных данных?

        И ещё один вопрос: насколько тот же ЕМИСС может считаться официальным источником?
        Речь как о нормативно-правовом, так и о научно-этическом аспектах.
        • 0
          ЕМИСС это официальный источник. Её оператором является Минкомсвязь России, а наполняет её Росстат.

          Вносят ли коррекцию в системы, во многие вносят, другие наоборот дают данные «как есть». Зависит от каждой системы по отдельности. В системы по регистрации закупок и контрактов — не вносят, в статистику наверняка вносят.
  • –1
    В чем проблема с зарубежными грантами — сложно понять… Зарегистрировались по закону и получайте гранты. Вы же не мохнатой политикой занимаетесь :) Тихий пиар Кудрина и всё почти совсем плохо порадовало… Ну да ладно, тут вроде не место для политики.

    Тема эта огромная и сложная. Я оставлю ссылку на работу Минэкономразвития России: data.gov.ru
    Можете дополнять.
    • 0
      Ссылку на работу Минэкономразвития сознательно я не привожу, потому что пока что Минэкономразвития ничего хорошего не сделало. Об этом я несколько раз писал ранее здесь же на хабре.
      • –1
        Минэконом не сделало? Тогда вы точно «в теме»… :)
        Как то у нас получается, что ни кто — ничего не делает, а всё государство сплошь на грантах держится. LOL полный.
        Вы бы поделились хоть какими то результатами творчества вашей команды, «спонсируемой» Кудриным, а то обсуждать других сапожников каждый горазд…
        • 0
          Да чего уж там хвастаться результатами, у нас всё на виду и на сайте и в профиле на хабре.

          А Вы, я вижу, всерьёз интересуетесь открытыми данными. Расскажите о себе, кто, откуда, может быть что-то интересное делаете, а мы не знаем. Всегда очень интересно какой есть прогресс по стране.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разработка