company_banner

Анонс Moscow Spark #2

    image

    Как мы и обещали, наше мероприятие становится регулярным – 27 июля состоится Moscow Spark #2! Moscow Spark #1, организованный группой компаний Rambler&Co, собрал больше 200 участников, и мы надеемся, что жаркая погода, которая когда-нибудь установится в московском регионе, не помешает нам собрать столько же (и даже больше) участников в этот раз. Тем более, что мы нашли новых, интересных докладчиков.

    1. Про аналитику и серебряные пули – Александр Подсобляев (Rambler&Co)
    В своем докладе я расскажу о том, как мы перезапускали Рамблер/топ-100, доступных инструментах на рынке и о нашем опыте переезда с архитектуры батч-обсчета данных на обсчет данных в реальном времени. Расскажу об архитектуре двух решений и их компонентах. Кратко обсудим особенности обработки данных с помощью Python в Hive, фундаментальные проблемы хранения агрегатов, кратко рассмотрим преимущества и недостатки альтернативного подхода. Подробно разберем способ обработки меняющихся событий с помощью PySpark, способы работы с различными компонентами системы из PySpark, возникающие при этом проблемы и их решение. Плюс посмотрим на результаты, скорость работы новой системы и некоторые подводные камни.

    2. Тензорные разложения для рекомендаций на Spark – Алексей Петров (Zvooq)
    В Spark.ML для рекомендаций присутствует реализация алгоритма ALS, который достаточно хорошо себя показывает в большинстве реальных примеров. В докладе я хочу представить свою реализацию на Spark алгоритма iTALS, который является обобщением алгоритма матричных разложений ALS для тензоров. Такой алгоритм позволяет учитывать контекст в рекомендациях, делать их более точными и гибкими. В докладе будет рассказано о результатах сравнительного эксперимента ALS и iTALS.

    3. Погружаемся в Catalyst – Павел Клеменков (Rambler&Co)
    Dataset и Dataframe стали предпочтительными интерфейсами работы со Spark. Во многом благодаря активной разработке оптимизатора запросов Catalyst. В докладе мы рассмотрим мотивацию создания Spark.SQL и поймем, почему он так критически важен для работы PySpark. А так же подробно разберем как устроен Catalyst изнутри и как можно расширить его функциональность.

    4. Динамическая аллокация ресурсов или как жить в условиях общежития? – Артём Пичугин (New Professions Lab)
    При помощи динамической аллокации ресурсов в Spark можно добиться того, чтобы задача получала дополнительные ресурсы, если таковые имеются в свободном пуле. Таким образом, иногда, можно использовать всю мощь кластера и быстрее проводить вычисления. В докладе я расскажу, как динамическая аллокация ресурсов помогла сделать возможной работу 30-40 студентов в условиях приближающегося дедлайна по лабораторным работам и жить всем в счастье.

    Мероприятие бесплатное, а регистрация обязательна – rambler-co-e-org.timepad.ru/event/533749
    С нас пицца и чай!

    Начало в 19.00
    Место: Варшавское шоссе, д. 9, стр. 1, подъезд №5. Мансарда Rambler&Co

    image

    Обязательно зарегистрируйтесь и возьмите с собой паспорт, чтобы вас пропустила охрана бизнес-центра!

    Приходите, будет интересно!
    Rambler&Co 89,90
    Компания
    Поделиться публикацией
    Похожие публикации

    Вакансии компании Rambler&Co

    Комментарии 4
    • 0
      Спасибо. Подскажите, онлайн трансляция или запись докладов будет?
      • 0
        Прямая трансляция и видео будут доступны в группе на facebook
        • 0
          Вы по-прежнему не планируете выкладывать презентации? По предыдущему митапу я так и не услышал ответа на этот вопрос.
          • 0
            Мы обязательно выложим все презентации. Дополнительно сообщим в группе Мансарда на fb, где они будут лежать.

      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

      Самое читаемое