Конференции Олега Бунина
161,05
рейтинг
13 октября 2015 в 17:07

Разработка → Alibaba vs. Facebook – там, где Запад сходится с Востоком



Конечно, мы не могли не воспользоваться декларируемым руководством страны поворотом на Восток. В Китае существуют свои социальные сети, свои поисковые системы, свои почтовые службы и, может быть, даже собственные технологии?
 
В мире много стран, продающих труд своих программистов, но очень мало способных самостоятельно разрабатывать крупные серьезные программные продукты. Свои поисковые системы, свои социальные сети и свой антивирус есть только у трех стран в мире — это США, Россия и… Китай!
 
Причем, если информационными продуктами и технологиями, произведенными в США, мы пользуемся каждый день, то что там в Китае — известно слабо.



Если взять Россию, то у нас существуют собственные разработки, широко используемые во всем мире: веб-сервер nginx, поисковый движок Sphinx, NoSQL-база Tarantool, видео-сервер Flussonic. Кстати, все эти разработки бесплатно имеют стенд на HighLoad++, на этих стендах участники конференции смогут получить консультацию. Пользователи «Тостера» по достоинству могут оценить возможность общаться с экспертами с помощью специальных тэгов по NoSQL, PostgreSQL, Erlang и в общем по HighLoad.
 
Вполне возможно, что такой же мир существует и в Китае! И на HighLoad++ мы об этом узнаем — к нам приезжает Лин Сяобин (Lin Xiaobin), докладчик из Китая, из крупнейшей компании Alibaba. Кстати, у вас нет знакомого переводчика с китайского?
 
Лин Сяобин расскажет об использовании в самом крупном проекте Китая базы данных MySQL! Да, да, большой проект еще не означает нестандартных инструментов.
 
Что подтверждает доклад из другой части света — Алексей Майков расскажет про MyRocks — это новый движок хранения на основе RocksDB. Как оказалось, основное хранилище данных в Facebook построено на базе базы данных MySQL, которая работает на тысячах серверов в разных датацентрах.
 
Тема MySQL, конечно, подробно разбиралась и на предыдущих конференциях. Вот несколько самых интересных докладов:
 



 
Драма выбора лучших докладов подходит к концу — в программу точно прошел доклад «Ужимай и властвуй: алгоритмы компрессии в базах данных». Кстати, это доклад Петра Зайцева, руководителя компании Percona, крупнейшего в мире консультанта по MySQL, выпускающего собственный форк этой СУБД, и организатора международной конференции по производительности баз данных Percona Live.



Ну и, по сложившейся традиции и пользуясь случаем, мы задали Петру несколько каверзных вопросов:

— Место MySQL в современном мире?

MySQL — это стабильная технология, которая используется многими компаниями как в сфере интернета, так и в более традиционном бизнесе. После того как MySQL стала одной из Oracle-технологий, мы видим, что многие крупные компании из разных бизнес-сфер готовы доверять ей в приложениях, критичных для бизнеса. MySQL хорошо поддерживается разными языками программирования, хостинг-провайдерами; с ней хорошо знакомы многие системные администраторы и разработчики, а значит – найти людей, которые могут с ней работать, весьма легко, что тоже снижает риски использования её для создания приложений.

С другой стороны, у MySQL есть и проблемы: то, что MySQL является Oracle-технологией, дает ей репутацию не совсем OpenSource-проекта, и несмотря на то, что Oracle вкладывает колоссальные инженерные ресурсы в развитие MySQL, некоторые задумываются над будущим этого проекта, особенно его OpenSource-варианта.

Зрелость и популярность технологии MySQL также привели к тому, что на рынке появилось много решений, которые базируются на MySQL: MariaDB, Percona Server, Percona XtraDB Cluster, а также Amazon RDS, Aurora, Google CloudSQL — Cloud решения базирующиеся на MySQL.

То, что MySQL это достаточно стабильная и надежная технология, также делает её менее интересной для нового поколения администраторов и разработчиков, которым интересны новые подходы и решения, это означает, что среди новых компаний не такой большой процент выбирают MySQL как, например, 10 лет назад. С другой стороны, мы видим куда больше компаний, которые не отказываются от MySQL полностью, но используют несколько технологий сразу — например, MySQL + MongoDB + Hadoop, фокусируясь на преимуществах, которые имеет каждая технология.

С технологической стороны я вижу основную проблему MySQL в том, что, в отличие от многих новых технологий, масштабирование в облаке и параллельная обработка данных должны делаться в ручную. Если это делать, то это работает хорошо, как показывает опыт Facebook, Twitter и многих других крупных пользователей MySQL. Новые технологии, однако, часто позволяют делать это куда более просто и автоматом — например, Cassandra, Hadoop, MongoDB.

— Успехи MySQL на российском рынке?

У MySQL много пользователей на российском рынке, особенно среди интернет-компаний — как самых крупных, так и более мелких. Что интересно, в России позиции PostgreSQL относительно MySQL куда более прочные, чем во многих других странах мира, что видно и по этой конференции.

— Почему именно данная тема доклада и что будет интересного?

Я буду говорить о компрессии в базах данных в целом и в MySQL в частности. Эта тема сейчас очень актуальна, так как, с одной стороны, с развитием облачных технологий и флеш-накопителей мы вновь интересуемся размером базы данных, а с другой стороны, быстрые процессоры со множеством ядер позволяют повысить производительность, применяя компрессию, или, по крайней мере, незначительно снизить её.

— Что будет происходить с MySQL в обозримом будущем?

Мы ожидаем MySQL 5.7 очень скоро. Oracle не говорит о точных планах, однако наиболее вероятно, что его анонсируют на Oracle Open World еще до Highload++ это очень интересный релиз, где есть много усовершенствований как для разработчиков, так и для администраторов баз данных, позволяющих более удобно администрировать систему и получить больше производительности

MySQL Group Replication — технология-конкурент нашему Percona XtraDB Cluster и технологиям Galera, сейчас находится на этапе тестирования. Когда её выпустят, я думаю, это даст толчок инновациям в синхронной репликации для MySQL.

Развитие технологий для Sharding тоже весьма интересно — здесь интересны как и MySQL Fabric и MySQL Router, решения от Oracle, так и ProxySQL, MaxScale, ScaleArc, решения от других компаний.

Я считаю, что развитие MySQL идет в правильном направлении — MySQL не пытается быть Hadoop, Cassandra, Sphinx или даже PostgreSQL, а развивается в том, чтобы быть лучшим MySQL. В этом, я считаю, сила OpenSource-технологий, что разным проектам и компаниям удается создать решения, которые имеют свои сильные стороны.

— Что-нибудь еще?

Нам в Percona интересна эта сфера, так как начиная с этого года мы расширили спектр своих решений, которые теперь включают в себя не только MySQL, но и MongoDB.

Стоит сказать о двух интересных трендах. Один технологический, другой — бизнес. С точки зрения технологий, в индустрии созрело понимание, что существует несколько подходов к модели данных, обработки консистентности, в связи с чем мы видим, что многие компании используют несколько технологий вместе, для тех целей, для которых они наиболее хороши. Такой подход позволяет получить наибольшую производительность и использовать максимум возможностей с одной стороны, но с другой стороны — обслуживать множество технологий достаточно дорого и сложно.

В связи с этим мы видим развитие мульти-модальных баз данных, которые позволяют использовать несколько моделей данных в одной базе данных — например, реляционные данные + документированное хранение + графы. Такой подход более ограничен в плане производительности и набора возможностей, но позволяет использовать меньше разных технологий. Например, в MySQL 5.7 добавлена поддержка типа JSON, которая позволяет создавать эффективные решения для хранения документов.

Бизнес-тренд — мы видим, что все больше и больше компаний верят в зрелость OpenSource-технологий — MySQL, PostgreSQL, MongoDB и т.д. и активно смотрят на перевод существующих приложений на эти технологии, или еще чаще — на использование этих технологий для создания новых приложений и систем (или новых версий старых приложений).

Со стороны Percona мы помогаем многим компаниям принять разумные решения и провести такую миграцию наиболее эффективным образом. Этот тренд означает, что в OpenSource базы данных будет вкладываться все больше и больше ресурсов, и их качество, производительность и возможности будут продолжать расти, сокращая разрыв (где он еще есть) с коммерческими базами данных.

Доклад «TokuDB internals» от Владислава Лесина раскроет внутреннее устройство нового движка хранения для MySQL. Чем разработчик высоконагруженных решений отличается от простого программиста? Второй просто собирает из кубиков готовый проект, а первый понимает при этом, как кубики работают, и может, опираясь на эти знания, собрать максимально эффективное и производительное решение.
И последнее: Для пользователей «Хабрахабра» конференция предлагает специальную скидку в 15%, всё что нужно сделать — это воспользоваться кодом "IAmHabr" при бронировании билетов.
Автор: @olegbunin
Конференции Олега Бунина

Комментарии (17)

  • +1
    Что-то мне подсказывает, что в этих проектах мало чего от MySQL и много чего самописного поверх.
    • +1
      Так в highload магии никакой нет. И в MySQL тоже. Под всеми бд лежат известные алгоритмы с известной сложностью. В случае хайлоада надо уметь взять входящую нагрузку и спроектировать архитектуру таким образом, чтобы не упереться в железо. Отдельно хорошо рассмотреть возможность масштабирования частей архитектуры горизонтально и предсказать какие это будут части. Но никакой магии.
      • 0
        «Спроектировать архитектуру таким образом, чтобы не упереться в железо».

        Ну да, в принципе, дело за малым :)
  • +1
    Свои поисковые системы, свои социальные сети и свой антивирус есть только у трех стран в мире — это США, Россия и… Китай!

    О России принято либо плохо, либо ничего. Выбиваетесь вы как-то из айтишного тренда…
    • +3
      Псаки, вы спалились и ошибаетесь.
    • +10
      IT — одна из областей, где про Россию можно и нужно хорошо!
    • +1
      Пффф. Возьмём список 5-и самых популярных антивирусов в мире.
      http://www.oszone.net/20091/microsoft_security_essentials_is_the_first
      2013 год, но не думаю, что с тех пор что-то сильно поменялось (новее найти не смог).

      MSE: США
      avast!: Чехия
      Avira: Германия
      Eset NOD32: РФ
      Norton: США
      • +1
        В Чехии и свой поисковик есть (seznam.cz).
      • 0
        Eset NOD32: РФ

        Это че обозначает?!
        • 0
          Это означает, что я ошибся, к сожаления. ESET NOD32 — это антивирус словацкой фирмы ESET. Я настолько привык видеть его на компьютерах своих друзей, что искренне считал его отечественным продуктом :)
          • 0
            Понятно. Русские вот они из всамделишных:
            Касперский
            ДрВеб
            Агнитум Аутпост
            Нано-ав
  • НЛО прилетело и опубликовало эту надпись здесь
    • НЛО прилетело и опубликовало эту надпись здесь
      • +2
        Можем поговорить о Мос Бирже в перерыве между докладами.
        Вас интересует что-то конкретное?
        • НЛО прилетело и опубликовало эту надпись здесь
    • 0
      Нет, спонсорский пакет для выступления не нужен.

      Напрямую приглашение спикерам не отправляли, но Московская биржа точно про нас знает — от них много участников каждый год. Уровень биржи, конечно, интересен.
  • +2
    за скидочку для хабровчан спасибо

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разработка