Pull to refresh
130
0
Бегтин Иван Викторович @ibegtin

Пользователь

Send message

Открытые данные в России в 2021 году

Reading time 2 min
Views 5.4K

Открытые данные в России, официально существуют уже 8 лет, 10 июня 2013 года был мой пост на хабре о принятии соответствующего закона.

Что изменилось за эти годы? Стало ли лучше или хуже? Работают ли порталы открытых данных? Публикуются ли данные?

Для тех кто интересуется состоянием открытых данных в России, я решил актуализировать цифры и собрать в виде набора фактов:

Читать далее
Total votes 5: ↑4 and ↓1 +3
Comments 2

Предустановка отечественного ПО или кто теперь следит за нами?

Reading time 6 min
Views 12K

Этот выпуск рассылки я решил целиком и полностью посвятить совсем нешуточному регулированию о предустановке отечественного ПО, оно вступило в силу с 1-го апреля и уже начались публикации о том что производители предустанавливают приложения как неудаляемые (пример - Samsung).

Если говорить про устройства на базе iPhone и Android, то список включает 16 приложений и вот по ним всем мы и пройдёмся и разберемся что с ними так или не так. А нашим помощником будет база данных Exodus Privacy с результатами выявления внешних трекеров в этих приложениях.

Читать далее
Total votes 32: ↑23 and ↓9 +14
Comments 58

Конкурс микрогрантов на открытый код для проектов по открытым данным

Reading time 2 min
Views 1.1K
image

Всем привет!

Все мы любим открытый код и открытые данные и не секрет что найти поддержку на проекты на их основе очень сложно. Мы в Информационной культуре поняли что так дальше жить нельзя и организуем конкурс микрогрантов. Микрогранты — это небольшие суммы для индивидуальных разработчиков, до 100 тысяч с максимальным фондом в 300 тысяч.

Да, это небольшие суммы, но для тех кто уже делает какие-то небольшие data-проекты и они могут быть полезным подспорьем.

В конкурсе у нас 4 направления:

  • Открытые данные — это могут быть проекты по сбору общественно значимой информации с ее последующим преобразованием в машиночитаемый формат, а также создание общедоступных инструментов для сбора, анализа, обработки и визуализации данных.
  • Роботизированная или цифровая журналистика — сервисы, упрощающие работу журналистов. Это могут быть онлайн-инструменты для поиска, сбора и выгрузки информации и данных по основным тематическим рубрикам комбинированные с написанием информационных сообщений, например, о погоде, изменении курса валют, спортивных результатах и колебаниях на фондовых рынках с помощью алгоритмов.
  • Цифровая архивация — это проекты, которые способствуют сохранению в цифровом формате данных сайтов, социальных сетей, краудсорсинговых платформ, мобильных приложений, бумажных документов, видеокассет, диафильмов, имеющих общественную ценность.
  • Цифровые права и этика данных — это проекты, ориентированные на защиту приватности граждан и их персональных данных. Проекты по повышению цифровой грамотности и культуры работы с данными, а также инструменты по защите от слежки и соблюдению цифровых прав человека.
Читать дальше →
Total votes 10: ↑8 and ↓2 +6
Comments 0

О том почему «открытые данные Сбербанка» это не открытые данные и что нам с этим делать

Reading time 5 min
Views 31K

image
На днях произошло, в какой-то степени, знаменательное событие и одна из крупнейших компаний России заявила о том что теперь публикует открытые данные на своем сайте. Этой компанией является Сбербанк и соответствующий раздел на их сайте. Открытие раздела удостоилось пресс-релиза на их сайте и о нем, как о важном событии, написали десятки финансовых и не финансовых СМИ.


Действительно ли Сбербанк совершил нечто невероятное? Рядовое ли это явление и является ли то что сделал Сбербанк сейчас открытыми данными? Вот о чем далее пойдет речь.


В качестве вступления


Прежде чем продолжить о Сбербанке, давайте вернемся к термину открытые данные.

Читать дальше →
Total votes 93: ↑84 and ↓9 +75
Comments 20

Перепись российского и русскоязычного сообщества по открытым данным

Reading time 1 min
Views 2K


Вы все, наверняка, видите что мы уже много лет занимаемся темой открытых данных, организуем мероприятия, конкурсы, митапы и многое другое.

За эти годы в России сложилось активное сообщество и мы знаем что многие занимаются открытыми данными от участия в хакатонах до организации собственных мероприятий, проведения исследований и не только.

Где-то нам удаётся взаимодействовать с представителями государства, где-то пока нет, а где-то чиновники сами являются инициаторами проектов по открытых данных.

И вот, чтобы понять кто-то происходит в нашей большой стране, мы организуем перепись сложившегося сообщества.

Для участия просим Вас заполнить анкету по адресу — https://infoculture.typeform.com/to/QXF6a6

Читать дальше →
Total votes 3: ↑3 and ↓0 +3
Comments 0

Кто и как зарабатывает на открытых государственных финансовых данных?

Reading time 6 min
Views 26K
image

Кадр из к/ф «Приключения Буратино». «Беларусьфильм», Творческое объединение «Телефильм».

Открытые данные и коммерческие проекты


Открытые данные обсуждаются уже давно. Я лично занимаюсь продвижением этой темы уже более 7 лет, а многие энтузиасты по всему миру продвигают идеологию открытости чуть ли не всю свою сознательную жизнь.

Да, открытые данные приносят много явной и неявной пользы для общественных инициатив. Данные по движению транспорта в реальном времени помогают гражданам лучше планировать логистику своих передвижений. Данные деклараций чиновников помогают создавать общественные проекты по прозрачности госслужбы и при этом не тратить огромные ресурсы на оцифровку и распознавание деклараций, заполненных от руки. Можно привести ещё много примеров того, как открытые данные помогают гражданам и государству.

При этом многие в последнее время говорят и про заработок на открытых данных. Но каждый раз, когда я слышу об этом от выступающих аналитиков, хочется их спросить: почему же вы рассказываете о том, как могут заработать другие, но не делаете этого сами? Где же все те, кто непосредственно зарабатывает на открытых данных? Почему они так непубличны? Почему владельцы и создатели проектов так редко бывают представлены широкой публике?
Читать дальше →
Total votes 11: ↑8 and ↓3 +5
Comments 20

Об открытых данных Федерального Казначейства. Доклад к следующему общественному совету в феврале 2016 года

Reading time 3 min
Views 6.6K
Так сложилось, что я являюсь членом разных советов и комиссий, в том числе общественных советов и экспертных советов. У них у всех разные функции и задачи и очень разная эффективность, однако некоторые вполне интересны и касаются открытых данных. Поэтому я хочу взять за правило хорошую привычку рассказывать в открытом доступе в формате мини-отчётов что и как проходит на таких общественных советах.



Итак, сегодня, например, прошёл общественный совет при Федеральном Казначействе и в этот совет я также вхожу. Зачем нужны общественные советы? Предполагается, что в них участвуют представители общества и от лица общества предлагают ведомствам вносить изменения в их деятельность, комментируют и вносят предложения в их планы работ и так далее. Какие-то ведомства этому не то чтобы сопротивляются, но общественные советы в них скорее формальны, чем практичны. А другие наоборот более чем содержательны.
Читать дальше →
Total votes 13: ↑10 and ↓3 +7
Comments 8

Про открытые данные, проектах на их основе и о том что происходит с открытыми государственными данными в России

Reading time 5 min
Views 17K


Кто-то возможно знает, для кого-то может быть новостью, но вчера и позавчера в России завершился саммит по открытым данным. И по его итогам, а также по итогам года я понимаю, что пора рассказать о том, что творится с открытыми данными и с другими частями открытости нашего государства.

К тому же мой опыт (и опыт вот уже очень долгий) создания проектов на открытых данных очень сильно отличается от слов чиновников и политиков, которые можно услышать на таких публичных мероприятиях.

Начну с саммита.

Саммит по открытым данным

На фоне всех остальных мероприятий по открытым данным за последние годы — это одно из первых организованных на довольно хорошем уровне. Даже на «совете по открытым данным» в Яндексе в июне 2015 года было очень много непрофильных выступлений, подробнее в заметке "Приоткрытые данные" в этот же раз все не отходили от темы открытых данных и это главный и важный плюс всего произошедшего.

В плюсы я могу записать также те части саммита в которых я участвовал. Это были круглые столы посвящённые темам криминальной статистики и востребованности государственных финансов.

Если коротко, то видно что эти данные нужны и востребованы. На круглом столе про востребованность госфинансов вообще очень много было вопросов про информацию связанную с открытыми данными по госзакупкам.

Подробнее и отдельно я напишу ещё про эти круглые столы, но суть общая что данные будут и что ведомства — готовы к диалогу с потребителями.

Плюс у меня просто руки не доходят рассказать про все проходящие мероприятия связанные с открытыми данными — встречи с разработчиками, заседания общественных советов и так далее. Я обязательно всё напишу, материалы копятся и тексты пишутся.

А теперь о том что у нас происходит с открытыми данными.
Читать дальше →
Total votes 26: ↑23 and ↓3 +20
Comments 15

О проектах на открытых данных, поиске финансирования общественных проектов и об открытых данных о госфинансах

Reading time 5 min
Views 5.5K
Когда мы говорим про открытые данные, то всегда важно помнить что они невозможны без принципиального наличия данных вообще. Я как человек, занимающийся анализом данных госданных в области госфинансов, и вся команда нашего проекта Госзатраты, занимаемся тем, что регулярно пытаемся убедить ведомства, ответственные за госполитику в этой области, в том, чтобы открытые данные были доступны и чтобы с ними было максимально удобно работать.



Во многом именно в этом и является залог успеха общественных проектов. Найти «топливо» в виде данных на которых проект может быть построен и найти «топливо» в виде финансирования которое позволило бы проекту появится и поддерживаться. Например, проект Госзатраты где мы анализируем данные госконтрактов поддерживается Комитетом Гражданских инициатив (http://komitetgi.ru). И Госзатраты это один из немногих технологических некоммерческих проектов КГИ и технологических некоммерческих проектов в России в принципе.

Я хочу затронуть сразу несколько важных тем. И прошу каждую из этих тем рассматривать как вопрос.

Негосударственные проекты создающие открытые данные
Читать дальше →
Total votes 12: ↑11 and ↓1 +10
Comments 5

7 ноября в Москве, Хакатон: «Куда идут наши деньги? Гражданские технологии анализа госрасходов и госдоходов.»

Reading time 2 min
Views 4.5K
Возможно, многие из Вас знают наш некоммерческий проект Госзатраты по мониторингу всех государственных контрактов. Этот проект мы с самого начала создавали:
  • с оглядкой на разработчиков;
  • на удобство работы с данными;
  • на создание интересных проектов на основе тех данных что мы собрали;

Сейчас мы собрали миллионы контрактов и сотни тысяч организаций, участвующих в получении госсредств, однако, наша радость была бы неполной без того, чтобы эти данные использовали бы все желающие.

Аудитория разработчиков — это один из наших приоритетов и, поэтому, мы проводим 7 ноября хакатон посвященной исключительно одной узкой, но важной теме в работе с открытыми данными — это тема «Куда идут наши деньги?»

Мы — это АНО «Инфокультура» и множество волонтеров помогающим на в работе с открытыми данными.



И конечно, мы будем рады, если кто-то возьмет опубликованные нами ранее данные, однако только ими ограничиваться не стоит. А можно взять вообще совсем другую информацию и другие данные.

Как принять участие и узнать больше?


Читать дальше →
Total votes 9: ↑7 and ↓2 +5
Comments 0

Опрос: Какие данные открывать налоговой службе?

Reading time 1 min
Views 12K
В качестве вступления, я немного повторю текст которым сопровождаю все опросы.

Вполне возможно что многие из Вас знают про Совет по открытым данным, это такая рабочая группа при Правительственной комиссии по открытости в которой обсуждают и рекомендуют правительству открывать данные. Я не только вхожу в эту рабочую группу, но и являюсь заместителем её председателя и считаю важным чтобы деятельность совета помогала тем кто понимает какие данные и в какой форме нужны от органов власти.

Поэтому на регулярной основе мы проводим опросы разработчиков о том как и что нужно от конкретного органа власти.



На сей раз пришла пора Федеральной Налоговой Службы. Ранее эксперты совета встречались с коллегами из ФНС России и обсуждали те данные которые считали наиболее приоритетными. Но, безусловно, важнее что об этом думают конечные потребители.

Для тех кто ранее не сталкивался с данными ФНС, их можно найти у них на сайте в "разделе Открытые данные" и большая база данных это данные системы ФИАС доступные по адресу fias.nalog.ru

Читать дальше →
Total votes 21: ↑17 and ↓4 +13
Comments 20

Исторические бюджеты с 1866 и долгая дорога по превращению их в открытые данные

Reading time 2 min
Views 13K
Вчера случилось небольшое, но важное событие — Минфин России выложил в открытый доступ все сканы бюджетных росписей и бюджетных справочников начиная с 1866 года.

Можно прочитать это в виде анонса , можно сразу пройти в раздел Исторический бюджет на их сайте, а можно узнать о том как всё это происходило и почему это очень даже важно и интересно.

Вот уже несколько лет как я занимаюсь такой интересной и узкой темой открытых данных как открытые исторические данные. Когда работаешь с данными по истории очень часто хочется оперировать не только фактами, но и базами которые за этими фактами скрыты. Например, переписями населения, демографическими справочниками и иными любыми справочниками с таблицами и цифрами на основе которых можно понять что тогда происходило.

И эти несколько лет я лично ходил и обивал пороги нескольких министерств и ведомств пытаясь донести до них простую мысль что сидеть как «собаки на данных» — это неприлично и всё что не под грифом надо оцифровывать и выкладывать хотя бы сканами, а потом и превращать в базы данных.

Не могу сказать что это происходило успешно. Например, даже будучи членом общественного совета при Росстате мне не удалось их убедить начать оцифровывать свои исторические справочники. Любой разговор всегда сводился (и сводится сейчас) к тому что у Росстата нет денег, вот совсем просто таки нету и поэтому ничего сканировать они не будут и не планируют. И получить доступ к их архивам мне так и не удалось.

Было еще несколько ведомств и несколько попыток, большая часть из которых заканчивалась круглыми глазами чиновников и словами что у них то и архивов не осталось.

И было лишь одно ведомство у которого справочники остались. Не просто остались, но хранились и хранятся вот уже почти 150 лет — это Минфин России


Первая бюджетная роспись (написанная не от руки) хранится там аж с 1866 года и далее доступна по годам за каждый бюджетный год Российской Империи и за большую часть лет РСФСР и СССР.

Как можно использовать эту информацию? Да просто бесконечным числом способов!

  • Для начала можно посмотреть на исторические аналогии. Сравнить бюджет России сейчас и 100 лет назад, прямо в разгар Первой мировой войны.
  • Можно посмотреть предреволюционный проект бюджета на 1917 год.
  • Можно выяснить каким был довоенный и послевоенный бюджет СССР.
  • Можно узнать когда какие налоги формировали основные деньги государства.


И многое другое.
И, чуть ли не самое главное.
Читать дальше →
Total votes 29: ↑28 and ↓1 +27
Comments 16

Открытые правоохранительные данные — статистика и данные по каждому преступлению

Reading time 2 min
Views 16K
Когда мы говорим про открытые данные, те которые публикуются не для проформы, не для каких-то пиар акций государства, а про те которые «настоящие», которые касаются качества жизни каждого из нас, которые касаются окружающей среды — человеческой, инфраструктурной и бытовой, то речь заходит о нескольких важнейших направлениях открытости государства.

Это такие направления как:
  • данные о состоянии окружающей среды: качество воздуха, состояние почвы, качество воды, результаты проверки продуктов питания, очагах болезней, загрязняющем шуме и многое другое.
  • данные о качестве образования (средние баллы ЕГЭ по школам), средние зарплаты выпускников ВУЗов и многое другое;
  • данные о качестве работы учреждений здравоохранения. Процент успешных операций на сердце, муниципальная статистика по видам болезни, данные по причинам смертности и многое другое
  • данные о деятельности правоохранительных органов. Это статистика с детальностью до подразделения и деперсонализированная информация по каждому преступлению


Практически все эти наборы данных описаны в хартии открытых данных большой восьмерки и все они считаются наиболее важными и приоритетными для граждан.

Остановимся подробнее на правоохранительных данных.

Их особенность такова что в разных странах по разному осуществляется выполнение правоохранительных функций. Если в России или в Великобритании полиция является единой структурой вертикального подчинения, то в США существует множество полицейских управлений на уровне отдельных штатов и отдельных графств.

Если в некоторых странах существуют отдельные ведомства по анализу криминальной статистики, то в других это всё является частью функций полицейских управлений и прокуратуры.

В США совсем недавно Барак Обама создал специальную инициативу Police Data Initiative как раз по повышению качества открытости полицейских департаментов.
Читать дальше →
Total votes 22: ↑20 and ↓2 +18
Comments 7

«Приоткрытые данные» / Заметки по следам совета по открытым данным 15 июня

Reading time 4 min
Views 7.4K
Вчера, 15 июня прошло заседание совета по открытым данным. Как я понимаю пока еще никто не написал о том что там происходило, особенно не языком пресс-релизов, а то что там было по факту, так что это сделаю я.

Я не буду останавливаться на том что такое открытые данные, уверен что все читающие это и так знают, поэтому сразу перейду к делу и речь пойдет про сам совет.

"Совет по открытым данным" — это название рабочей группы при Правительственной комиссии по открытости в которую входят 35 человек (см. состав рабочей группы) и задачей которой является регулярные совещания о том что дальше делать с открытыми данными.



Я, Иван Бегтин, являюсь заместителем председателя этой рабочей группы и участвую практически во всех её заседаниях. И единственный из всех в неё входящих кто пишет на Хабре.

Итак, совет 15 июня.
Читать дальше →
Total votes 24: ↑23 and ↓1 +22
Comments 18

Встреча в Минфине с разработчиками по теме открытых данных — 16 июня

Reading time 1 min
Views 5.3K
Друзья, 16 июня мы организуем очередную встречу коллег из Минфина России публикующих открытые данные с разработчиками кто уже использует или планирует использовать эти данные.

Будут интересные доклады и возможность спросить у сотрудников Минфина России о том какие новые открытые данные публикуются и как лучше публиковать те что уже публикуют.

Обсуждать будем:
  • то как Минфин России публикует данные и что может опубликовать в будущем
  • конкурсы для разработчиков вроде ранее прошедшего BudgetApps
  • исторические данные такие как данные по бюджетам Российской Империи и СССР с 1865 по 1991 годы

От себя могу сказать что на сегодня Минфин — это единственное ведомство проводящее такие встречи на регулярной основе.

Поскольку в самом ведомстве паспортная система прошу всех зарегистрироваться на сайте мероприятия и приходить с паспортом.
Читать дальше →
Total votes 8: ↑8 and ↓0 +8
Comments 4

Национальный план Германии по реализации Хартии открытых данных G8

Reading time 2 min
Views 3.9K


Буквально несколько дней назад Министр Внутренних дел Германии представил документ 'The Federal Government's National Action Plan to implement the G8 Open Data Charter' (Национальный план действий федерального правительства по реализации хартии открытых данных G8).

Эта хартия была принята на саммите G8 в Ирландии в июне 2013 года и основывается на следующих принципах:
  1. государственные данные публикуются как открытые по умолчанию, в то же время, с условием что приватность защищена;
  2. выпуск качественных, своевременных и хорошо описанных открытых данных
  3. выпуск столько данных в стольки форматах сколько только возможно чтобы сделать данные максимально удобными для повторного использования;
  4. предоставление экспертизы и прозрачности о сборе данных, стандартах и процессах публикации, через улучшение управления;
  5. консультации с пользователями и публикация данных в целях развития и стимулирования инноваций;


По этому плану действий Германское федеральное правительство берет на себя обязательства:
Читать дальше →
Total votes 10: ↑9 and ↓1 +8
Comments 0

День открытых данных 21 февраля пройдет по всему миру

Reading time 1 min
Views 2.9K


По всему миру 21 февраля пройдет Open Data Day — opendataday.org
это огромный хакатон-марафон и событие для всех кто работает открытыми данными или хочет узнать о них больше.

Мы, Информационная культура и OKF Russia, планируем провести мероприятие по открытым данным в Москве в этот день.
В ближайшее время напишем о том как и в каком формате его проведем.

Если Вы планируете провести хакатон по открытым данным, то этот день очень подходит для такого события.
Читать дальше →
Total votes 5: ↑5 and ↓0 +5
Comments 5

«Открытые финансовые данные: возможности их использования»

Reading time 2 min
Views 2.9K
Друзья, в качестве разнообразия анонс мероприятия, одного из тех, что мы регулярно проводим. Ранее мы ни разу не анонсировали его на Хабре, опасаясь оффлайнового хабраэффекта, но, может мы зря боялись?

Мы организуем семинар, на котором выступят представители Минфина России, Всемирного банка, специалисты по Linked Data и Ваш покорный слуга.

Также прошу всех в комментариях отметиться, с каким из ведомств вы бы хотели встретиться и пообщаться. В формате семинара ли, лекции или или встречи с разработчиками. А может быть в формате организованного ими или с их участием в хакатоне.

А я пообещаю попробовать договориться с ними, чтобы такую встречу организовать.

Теперь сам анонс.



Минфин России и НП «Инфокультура» приглашают на практический семинар «Открытые финансовые данные: возможности их использования», который состоится 30 января 2015 года в БЦ Ринко Плаза.
Читать дальше →
Total votes 4: ↑4 and ↓0 +4
Comments 4

О том, как устроены открытые данные в России

Reading time 9 min
Views 28K
Не секрет, что в России за последние годы, с одной стороны, стало больше открытых данных, с другой — накопилось немало критики.

Так неслучайно получилось, что тематика открытых данных — это то, чем я занимаюсь давно и знаю о большей части инициатив в этой области не по наслышке, а по собственному опыту участия. Здесь я постараюсь обойтись без ссылок на свои проекты, чтобы не нарушать правил сайта, их легко будет найти по их названиям в любом случае. Но постараюсь дать все ссылки на официальные ресурсы.

Поэтому, вместо предисловия, я представлюсь.

Меня зовут Иван Бегтин, я вот уже несколько лет продвигаю идею открытых данных в России, возглавляю небольшую некоммерческую организацию (Инфокультура) от лица которой и вместе с сотоварищами мы организуем соревнования, пропагандируем открытость данных среди госорганов.

Кроме всего прочего я вхожу в Совет по открытым данным при Правительственной комиссии по координации Открытого Правительства и ряд общественных и экспертных советов при органах власти и в курсе многих успешных (и провальных) государственных инициатив в этой области.

Ну и поскольку я, в том числе, в комментариях на Хабре читаю много вопросов, заданных явно или неявно, то на самые частые я отвечу в этой заметке, а также на те, что будут в комментариях.


Читать дальше →
Total votes 23: ↑21 and ↓2 +19
Comments 26

Собираем плохие данные — 2. 1.5 года спустя, про то как не надо публиковать открытые данные

Reading time 3 min
Views 12K
Не секрет, что российские органы власти в последнее время декларируют высокую степень открытости, публикуют данные и некоторые из них даже бывают полезными, но так было не всегда и далеко не везде.

Полтора года назад я приводил массу примеров неверного толкования открытых данных. В заметке «Собираем плохие данные» есть несколько примеров, когда за машиночитаемые открытые данные выдавали разделы на сайтах или PDF документы.

При том, что мониторить открытость государственных данных в России дело неблагодарное, и что методрекомендации того же Минэкономразвития — это победа формы над содержанием, но даже в таком раскладе можно было сетовать лишь на то, что госорганам облегчили жизнь по публикации данных, а не усложнили.

Надо ли делать полноценное обследование властей на предмет качества открытости данных — вопрос открытый. Рано или поздно это потребуется сделать даже при том, что займёт много времени.
Но самыми выдающимися примерами можно ознакомится сейчас. Ну и конечно — рейтинги фуфло, антирейтинги рулят. Худших надо знать в лицо.
Читать дальше →
Total votes 13: ↑9 and ↓4 +5
Comments 22

Information

Rating
Does not participate
Location
Москва и Московская обл., Россия
Date of birth
Registered
Activity

Specialization

Chief Technology Officer (CTO), Data Engineering
Lead
Python
Database
High-loaded systems
MongoDB
Git