Пользователь
0,0
рейтинг
26 ноября 2013 в 19:31

Разное → Открытые гос. данные. Made in Ukraine из песочницы



Думаю, каждый из нас хотел бы знать больше о том, в каких условиях он находится или планирует находиться, и в частности, как работает власть и государство. При этом, хорошо бы под рукой иметь наиболее объективную, полную и точную информацию.

Вопрос становится особенно актуальным, когда занимаешься такими важными вещами как выбор места для дома, офиса(работы) или путешествия.

Как сейчас...


Конечно, можно, перелопатив кучу разных ресурсов, опросив друзей, знакомых и жителей, составить определенное мнение. Но кроме потраченного время, по большей мере оно будет субъективным, и, скорее всего, неполным из-за естественных ограничений.

Возможно, вариант получше, это разного рода специалисты, агенты, риелторы и т.д., но у них очевидный конфликт интересов, и вытекающие отсюда проблемы.

О СМИ можно смело забыть: их в основном интересует попса и/или попсовая чернуха.

А если говорить про официальные (государственные) источники информации, то в одних случая то, что и как они предоставляют полным или удобным назвать нельзя. А в остальных случаях то, что предоставляется опутано бюрократическими и/или коррупционными схемами, которые простому жителю преодолеть не под силу. (Тут и далее фокус на Украине, но, думаю, все согласятся, что вопрос — интернациональный, а проблемы аналогичные.)

О проекте


В этих условиях и родилась идея создать проект CityScale.com.ua, прообразом для которого стали игры-симуляторы городов. Почему именно они, ну потому что уже достаточно давно в них решается(решена лучше, чем в реальных городах) проблема представления достаточно большего объема данных для пользователя(жителей).

Но в реальности представление данных это лишь вершина айсберга, а от глаз пользователя скрыта основная и не самая легкая работа по сбору, анализу и структуризации данных из различных источников, в основном, государственных.
И нередко работа эта бывает неинтересной и чуждой для ИТшника, но об этом в конце.

Если говорить о сборе данных, то основной упор сейчас сделан на самые актуальные вопросы: стоимость жилья, преступность, экологию, ЖКХ тарифы, которые представляются в виде интерактивных карт.
Также каждый пользователь может оставить свои отзывы о том или ином районе прямо на карте.

Пример №1 (кликабельно):
Пример карты ЖКХ тарифов на www.cityscale.com.ua

Пример №2 (кликабельно):
Пример карты преступности по регионам на www.cityscale.com.ua

Дизайн, конечно, звезд с неба не хватает, но как для на одного человека на проекте, думаю, неплохо.

Чего еще...


В процессе работы над проектом, не покидало желание реально изменить ситуацию, и в тоже время было понятно, что собственных сил для этого недостаточно. Тогда и было решено добавить возможность пользователям создавать стандартные карты по собственным данным.

Данная функциональность будет полезна, когда нужно быстро представить гео-данные, и позволяет сосредоточиться на решении проблемы, а не на его обеспечении. Так, например, можно упростить прототипирование(реализацию) проектов на подобии «УкрЯмы»(«РосЯмы») или «Help Kyiv», который был создан во время чрезвычайных снегопадов в конце марта.

Дальнейшее развитие мысли и знакомство с открытыми данными привели к оформлению миссии проекта, и созданию соответствующего раздела сайта. Где собранные, проанализированные и структурированные данные публикуются в машиночитаемом виде, чтобы их можно использовать для собственных исследований или проектов.

Данных пока не так много как хотелось бы, но мы работаем над этим.

Планы


В планах, привлечь к проекту больше участников, и создавать еще больше качественных данных, еще удобней и функциональней карты.
И продолжать развитие раздела открытых данных, в частности, как общественной платформы.

Открытые гос. данные в Украине


Отдельно хотел бы рассказать про открытость государственных данных в Украине, поскольку данный вопрос отнимает немалую долю времени работы над проектом.

Начну с того, что сейчас на государственном уровне не существует единой программы развития открытых гос. данных или аналогичной ей, да и в целом по стране движение развивается слабо (могу вспомнить лишь одно шумное тематическое мероприятие, но без реальных последствий).

В тоже время существует Закон Украины «О доступе к публичной информации»(укр.), который требует дальнейшего развития, поскольку содержит положения, позволяющие обойти Закон, лишние ограничения на данные, и устанавливает устаревший(бюрократический) порядок их получения. Так, например, есть не один закон о ГосРеестрах, которые монополизируют доступ к данным всякими полугосударственным организациям.

Ну и куда уже без таких «радостей» жизни как пассивность контролирующих органов, общая бюрократия и коррупционные схемы. Тут нужно отдельно сказать про постановление КМУ №1102 от 26 октября 2011 года(укр.), и, особенно, про его Приложение 3, большинство пунктов которого просто абсурдны, кроме того, что противоречат упомянутому выше Закону.

Лично пришлось столкнуться с такой ситуацией: нужно было получить максимально детальные данные об уровнях загрязнения окружающей среды. Для чего существует специальные госслужбы(было потрачено трех недель телефонных звонков и обращений, пока выяснил какие именно), система наблюдения и данные. Но представить данные служба согласилась, только в печатном виде(~ 2000 стр.) с запретом копирования, либо в нужном виде, но за деньги (тысячи грн.), на основании Закона Украины «Про гидрометеорологическую деятельность»(укр.) и постановления выше.

Трехмесячная переписка по данной проблеме с представителем Уполномоченного Украины по правам человека по вопросам соблюдения прав в сфере информационного права закончилось, ожидаемо, направление в суд для самостоятельного решения.

Говоря о других странах, например, в России дела с открытыми данными обстоят на порядок лучше, а про западные страны можно и не вспоминать. Хотя последний правительственный кризис в США показал, что и у них не все так гладко, и необходимы альтернативные(негос.) источники данных.

В конце хотел бы обратить внимание на то, что борьба за изменение сложившейся системы требует немало сил и времени. А ощутимые результаты можно получить только при наличии должной общественной воле и поддержке.

P.S.
Если вы готовы помочь проекту(особенно, юристы) или принять в нем участие(особенно, дизайнеры), пишите в личку или через контакты на сайте — обсудим.

UPD:
Спасибо всем за поддержку!
Александр @alPTR
карма
15,0
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое Разное

Комментарии (18)

  • +1
    К сожалению, хабраэффект произошел.
  • +2
    401 Authorization Required
    • 0
      Борюсь с хостером: у них «интересные» правила.

      Специально перешел на более дорогой тарифный план перед публикацией, и все-равно не смогло.
      • +1
        В общем, пока тех. поддержка хостера( freehost.ua ) ушла в игнор, сделаем перерыв на итоги стресс-тестирования оного.

        Тарифный план: Unix «Большой»;
        Пользователей: в день — 142, одновременно — 32;
        Ограничение ресурса http сервера(%): max — 9%;
        Ограничение нагрузки на сервер БД: max — 8 000 000 у.е. (использовано 39401 у.е.);
        «Полезные» функции: при превышении ограничений в два раза автоматическая — блокировка, со скрытой процедурой разблокировки, и при отсутствии текущих(ждать до след. дня) логов(скрипты, запросы) нагрузки;
        Статус: притворяется, что не может.

        Я, конечно, все понимаю(и даже подготовился морально), но так блокировать доступ…

        • +2
          У «Фрихоста» достаточно бюджетный хостинг, вряд ли там расчитывают, что клиенты будут создавать сколько-нибудь ощутимую нагрузку. Печально, в общем.

          Не хотите ли вы поделиться информацией о технической стороне проекта — какой фреймворк, хранилище данных и т.д.?
          • 0
            Как по мне, то описанная нагрузка и не является сколь-нибудь ощутимой.

            Другой вопрос, что конкретно не могут сказать как исправить ситуацию.

            Тем более, что ничего сверхтяжелого не используется(фреймворков нет).

            Стек: MySQL + PHP <-> JavaScript.
            • +3
              Может стоит взять VPS на том же digitalocean.com?
              С настройкой сервера помогу.
        • +8
          freehost.ua?
          Бегите!
          Был неоднократный опыт общения с поддержкой, бегите, сударь!
          • 0
            Аналогично hostpro.ua. Ушёл с них 5 лет назад когда сайт-визитка с посещением 5 человек в сутки начал падать в 500-ю ошибку из-за того что «сильно большую нагрузку создаёт на сервер». Переехал на iWeb (теперь Funio), месяц назад увидел у hostpro пакет с SSD, CDN, Memcashed и другими плюшками. Взял тестовый пакет, сделал дамп сайта с Funio (Drupal 7 + десяток модулей, ничего волшебного, визитка на 5 страниц) — два дня переписки с поддержкой так ничего и не дали. Тайт выборочно падает при отображении некоторых страниц т.к. не может сгенерить страницу за 30 секунд! Звездец! 30 секунд на практически статику с SSD. Мой текущий Funio справляется за 1.5с и я считаю что это медленно.
        • 0
          Фрихост не изменяет своим многолетним традициям: в случае чего — игнор :)
  • 0
    отличная идея. успехов.
    • 0
      Спасибо. Будем стараться.
  • +2
    Приветствую!

    1. К сожалению нету аккаунта на habrahabr.ru, поэтому не могу ответить лично.
    2. С клиентом в нашей тикетной системе мы данный вопрос обсудили, и показали ему наличие проблемы. Поэтому доказывать что либо здесь присутствующим не считаю необходимым.
    3. По сути проблемы:
    — Количество одновременных обращений к HTTP серверу этим сайтом, для формирования динамических страниц (не статические картинки) — 149
    — Количество одновременных «простых запросов» этого сайта на сервере баз данных 194

    Под «простыми запросами» понималось создание и удаление временных таблиц, с данными. Заполнение таблицы выполнялось путем математических вычислений и условий. Естественно, что приводить данные запросы я тут не буду. Поэтому говорить о простоте запросов не приходится.

    Сервер баз данных и HTTP сервер это два физически разных сервера.
    Сайт был заблокирован пр причине большой нагрузки на сервер баз данных. Характеристики сервера:
    2xE5-2609 (2.4 GHZ, с формулой 4х4), 64 GB RAM, raid 10 SAS HDD. load average на сервере без данного сайта порядка 1.3, с данным сайтом порядка 37.

    Лично я считаю, что сервер баз данных не должен иметь load average больше чем 2, в противном случае это отрицательно сказывается на скорости его работы. Естественно что один из самых дешевых тарифных планов виртуального хостинга не предполагает такую нагрузку. Поэтому на основании публичной оферты работа данного сайта была приостановлена. Клиенту было предложено перейти на VPS хостинг, в чем были готовы оказать помощь.

    Перед запуском любого проекта, на который возлагаются ожидания, стоит проводить его стресс тестирование, для того чтоб правильно подобрать тарифный план ну или как минимум посоветоваться с хостинг-провайдером. Я не понимаю почему среди клиентов хостинг-компаний бытует мнение что хостинг-провайдер обязательно хочет нагреться на клиентах. Никто же не ждет покупая малолитражку что она будет ехать так же как машина формулы 1, даже если на нее поставить антикрыло и обвес.

    Если у кого-то, кто тут ставит +1 за то что мы такие плохие есть какие то проблемы в работе хостинга пишите на boss@freehost.com.ua и мы постараемся их решить.
    • +2
      Повторюсь, суть претензий не в том, что заблокировали, а в том, что не предоставили возможности быстро исправить ситуацию.

      А теперь по порядку.

      После блокировки, были попытки прояснить причины больше, чем просто «большая нагрузка». Был запрос на получение логов выполнения скриптов и запросов. Ответили аж через 2,5 часа, что таких нет, хотя уже сегодня утром более-менее конкретные данные появились.

      По поводу VPS: просто сказали, что «при такой нагрузке на БД нужно выбирать облачный ВПС». Помощь в переносе никто не предлагал.

      При указанных характеристиках сервера БД, база данных размером в 50 Мб может его нагрузить только при наличии явных проблем, а не просто из-за кол-ва подключений. А чтобы их выявить нужен доступ к соответствующим логам.
      По предоставленным скромным логам стало видно, что упомянутые «простые запросы» это системные запросы MySQL, которые выполняются при пользовательских SELECT'ах.

      Стресс-тестирование было за неделю перед публикацией, но там поток был меньше.
      Для пущей наглядности см. скрин.

      Никто не говорил о том, что кто-то хочет нагреться.
      Речь шла о том, чтобы продиагностировать машинку, и если проблема не в ней, то хотя бы взять автобус на прокат. И все это по месту, а не ехать в салон, покупать автобус, потом оформлять его в ГАИ.

      Иными словами предложили бы обосновано подходящий тарифный план, с автоматическим переносом, я бы заплатил сколько нужно. А по факту мы блокируем, а разбирайся сам — это не поддержка.

      P.S.
      Ушел разбираться с VPS.
  • 0
    Круто. Желаю успехов!
    Не сочтите за рекламу, но я был искренне уверен, что кроме моего работодателя никто подобного софта вообще не делает. Хотя, конечно, я не специалист в этом вопросе.
    Возможно, будет полезно ознакомиться с открытой информацией по платному софту для управления городом/чрезвычайными ситуациями.
  • 0
    Информировать о проблеме перед какими-то действиями можно в том случае, если проблема не критична. К примеру, нагрузка в два раза больше допустимой, тогда высылается уведомление и клиенту дается время на решение проблемы. В случае, если количество обращений к БД нарушает работоспособность сервера и влияет на работу других пользователей, использующих этот же сервер, других вариантов кроме ограничения доступа к сайту быть не может. Я характеристики сервера и разницу в load привел специально чтоб было понятно, что действие по закрытию было сделано именно из-за очень большой нагрузки, а не по собственному желанию сотрудников.

    То что вам привели сегодня в письме, полностью доступно в панели управления, а также там можно увидеть и логи обращений по HTTP и список выполняющихся в данный момент запросов.

    Удачи в настройки VPS, если будут вопросы обращайтесь в тех. поддержку.
  • 0
    Продолжаем :).

    По совету общественности перешел на VPS от DigitalOcean.
    С нулевым опытом на настройку VPS ушло примерно 6 часов.

    Пока идет отладка, могут проявляться детские проблемы.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.