• W for Wikipedia

      Что такое «BigData»? Это те данные, которые нельзя просто так переварить. Или нельзя просто так приготовить. Или это вы думаете что нельзя.
      Особо сильный «перекос», в этом понимании бигдаты спрятался в web-картографии, в картах на различных сайтах.
      И так уж получилось — на протяжении нескольких лет я катался по различным конференциям, и рассказывал про организацию передачи данных с сервера на Карту. Иногда меня спрашивали — «а где же взять эти ваши много данных».
      Это не правильные вопросы, правильные вопросы это:
      — как данные хранить
      — какие данные, когда и почему передавать на клиент
      — что такое серверная кластеризация, как она выглядит и почему она нужна
      — что с данными делать
      — и зачем это все нужно %username%

      А насчет откуда взять данные… Есть один такой детский стишок

      Весь покрытый метками
      Абсолютно весь
      Остров Википедии
      В океане есть


      И на этом острове растет примерно десять миллионов геотегированных статей, которыми мы и воспользуемся.
      Но с флорой и фауной там не все так просто — статьи растут на разных языках, в разных местах, и их на само деле много…
      Поэтому мы, как настоящие герои, немного усложним задачу и добавим немного агрегатных функций, Левенштайна, Мorton кодов, esosedi и немного здравого смысла.

      Поехали!
      • +25
      • 12,5k
      • 7
    • Борьба с потерями пакетов в видеоконференциях

        Введение



        Когда говорят о передачи видео по сети, в основном речь идёт о видео-кодеках и разрешении. Собственно о передаче видео слышно не так и много. Здесь я бы хотел пролить немного света на проблему борьбы с потерями в сети при передачи видео в режиме видеоконференций. Почему потери — это так важно? Да потому что нельзя просто так взять и пропустить хоть один видео пакет (в отличии от аудио), т.к. любой приличный видео-кодек основан на том, что последовательные кадры отличаются не сильно и достаточно закодировать и передать только разницу между кадрами. Получается, что (почти) любой кадр зависит от предыдущих. И картинка при потерях разваливается (хотя некоторым это даже нравится). Почему видеоконференции? Потому что есть очень жесткое ограничение на реальное время, ведь задержка в 500мс на круг (туда-обратно) уже начинает раздражать пользователей.
        Какие же существуют методы борьбы с потерями видео-пакетов?
        Читать дальше →
        • +13
        • 9,1k
        • 3
      • Конференция 4SICS: уязвимый коллайдер, троян Havex и другие «русские угрозы»

          image

          Современные АСУ ТП всё чаще оказываются уязвимы перед хакерами — однако вендоры и пользователи не торопятся признавать и исправлять опасную ситуацию. Это наблюдение стало основной темой для дискуссий на международном саммите по безопасности промышленных систем управления 4SICS, который прошёл в конце октября в Стокгольме.

          «Несмотря на всю интернет-революцию, мы до сих пор недостаточно озабочены безопасностью, поскольку старая IT-парадигма говорит нам: мы функционируем автономно, ни к кому не подключены, у нас собственный хитрый софт, и никто не сможет нас атаковать. Но реальность давно уже изменилась», — так выразился один из ключевых спикеров мероприятия Стефан Лёдерс, руководитель отдела безопасности Европейского центра ядерных исследований (CERN).
          Читать дальше →
        • Orthogonal — модель мира с альтернативной теорией относительности

            В 2011-2013 гг. австралийский писатель Грег Иган (Greg Egan) опубликовал трилогию Orthogonal (The Clockwork Rocket, The Ethernal Flame, The Arrows of Time). В книгах описан удивительный мир, в котором нет жидкостей и электрических зарядов, обитают четырёхглазые разумные существа, способные менять форму и размножающиеся делением, использующие воздух не для химических реакций, а для охлаждения своего тела, а свет — для передачи нервных импульсов. Скорость света в этом мире непостоянна: фиолетовые фотоны движутся заметно быстрее красных. Поэтому звёзды выглядят не как белые точки, а как радужные полоски
            Читать дальше →
          • Тестирование Adobe AIR приложений в системе HockeyApp

              Приветствую, друзья!

              О чем статья


              В этой статье будет дано поверхностное описание системы тестирования мобильных приложений HockeyApp. Я расскажу как пройти путь от написания кода в ActionScript, до получения логов в системе HockeyApp. И познакомлю с ANE библиотекой FPHockeyApp. Если вы знакомы с системами тестирования приложений, можете сразу перейти к примерам использования библиотеки FPHockeyApp.

              Суть проблемы


              Если вы разрабатываете мобильное приложение в одиночку, то вы наверняка ощущали дискомфорт от необходимости постоянно подключать разные устройства к компьютеру, чтобы закачать новую версию разрабатываемого приложения, для дальнейшего тестирования. Если же вы работаете в большой команде, то процесс раздачи тестовых сборок тестеровщикам, при ручном подходе превращается в ад… Системы автоматизированного тестирования приложений, вроде HockeyApp, предназначены для решения этой проблемы. Как оно работает, читайте дальше.

              Читать дальше →
            • Эффект неисправного монитора для текста, картинок и SVG

              • Перевод
              • Tutorial
              Эффект Glitch Лукаса Беббера выглядит очень круто — как будто вы смотрите на текст на старом мониторе, который слишком часто роняли на пол и у него «плавает» вертикальная синхронизация и сведение.

              Реализация этого эффекта на CSS выглядит вполне убедительно. Мне пришлось немного поломать голову, чтобы выяснить, как он работает, и теперь я хочу объяснить это вам. Кроме того, я воспроизвёл этот эффект не только для текста, но и для растровых изображений и SVG, а так же написал несколько примесей Sass, чтобы облегчить работу с ним.


              Читать дальше →
            • Оптимизация образов Docker

              Образы Docker могуть быть очень большими. Многие превышают 1 Гб в размере. Как они становятся такими? Должны ли они быть такими? Можем ли мы сделать их меньше, не жертвуя функциональностью?

              В CenturyLink Lab мы много работали над сборкой различных docker-образов в последнее время. Когда мы начали экспериментировать с их созданием, мы обнаружили, что наши сборки очень быстро раздуваются в объеме (обычным делом было собрать образ, который весит 1 Гб или больше). Размер, конечно, не столь важен, если мы говорим про образы по два гига, лежащие на локальной машине. Но это становится проблемой, когда вы начинаете постоянно скачивать/отправлять эти образы через интернет.

              Я решил, что стоит копнуть поглубже и разобраться с тем, как работает процесс создания docker-образов, чтобы понять, что можно сделать для уменьшения размера наших сборок.
              Читать дальше →
            • Обзор JS-фреймворков. Путешествие через джунгли JavaScript MVC. Ч. 2

              • Перевод
              (Окончание перевода статьи Эдди Османи о сравнении и выборе библиотеки для проекта со значительной ролью JS на клиенте.)
              Содержание первой части:

              ■ Что такое MVC или, лучше сказать, MV*?
              ■ Когда нам нужен MV*-фреймворк JS?
              ■ Где же мы будем нуждаться в MV*, а где нет?
              ■ Проблема выбора: слишком много вариантов?
              ■ TodoMVC: общее приложение для обучения и сравнения
              ■ Предложенные нами критерии выбора фреймворка
              ■ Dojo и усложнение фреймворков на JavaScript
              ■ Коллекция TodoMVC (фреймворки, на которых сделаны реализации тестового приложения Todo)
              Читать дальше →
            • Обзор JS-фреймворков. Путешествие через джунгли JavaScript MVC. Ч. 1

              • Перевод
              (от 27 июля 2012)
              При написании нативного веб-приложения легко начать чувствовать себя богом, способным работать просто с библиотекой работы с DOM (такой как jQuery) и горсткой сервисных плагинов. Вскоре возникает проблема в виде груды вложенных возвратных функций jQuery и разбросанных DOM-элементов без всякой структуры вместо приложения.

              Короче, мы застреваем в спагетти-коде. К счастью, есть современные JS-фреймворки (библиотеки, задающие, кроме функций, правила организации кода --прим. перев.), помогающие поддерживать структуру и организованность в проекте, облегчающие ремонтопригодность в будущем.

              ■ Что такое MVC или, лучше сказать, MV*?


              Эти современные библиотеки дают разработчикам простой путь к организации кода, используя вариации паттерна проектирования, известного как MVC (Model-View-Controller). MVC разделяет задачи в приложении на 3 части:
              Читать дальше →
            • Исчерпывающее руководство по составлению почтовых рассылок

              • Перевод


              Несмотря на то, что большая часть общения онлайн перешла в социальные сети, почтовые рассылки по-прежнему остаются важной частью любой маркетинговой кампании.
              Читать дальше →