company_banner

Параллельные и распределенные вычисления. Лекции от Яндекса для тех, кто хочет провести праздники с пользой

  • Tutorial
Праздничная неделя подходит к концу, но мы продолжаем публиковать лекции от Школы анализа данных Яндекса для тех, кто хочет провести время с пользой. Сегодня очередь курса, важность которого в наше время сложно переоценить – «Параллельные и распределенные вычисления».

Что внутри: знакомство с параллельными вычислениями и распределёнными системами обработки и хранения данных, а также выработка навыков практического использования соответствующих технологий. Курс состоит из четырех основных блоков: concurrence, параллельные вычисления, параллельная обработка больших массивов данных и распределенные вычисления.



Лекции читает Олег Викторович Сухорослов, старший научный сотрудник Центра грид-технологий и распределенных вычислений ИСА РАН. Доцент кафедры распределенных вычислений ФИВТ МФТИ. Кандидат технических наук.


Concurrency (одновременность).


Области применения и проблематика. Способы реализации одновременных систем, процессы и потоки, программный инструментарий. Основы многопоточного программирования на примере языков C++ и Java. Типичные ошибки многопоточного программирования. Взаимное исключение и условная синхронизация. Модель памяти и низкоуровневые примитивы синхронизации. Альтернативные подходы к реализации одновременных программ.

Параллельные вычисления.


Области применения и проблематика. Современные параллельные вычислительные системы. Теоретические основы параллельных вычислений. Показатели качества параллельного алгоритма. Принципы разработки и типовые структуры параллельных алгоритмов. Методология PCAM. Системы параллельного программирования. Типовые модели программирования и шаблоны. Основы параллельного программирования на системах с общей памятью на примере технологии OpenMP. Основы параллельного программирования на системах с распределенной памятью на примере технологии MPI.

Параллельная обработка больших массивов данных.


Феномен Big Data. Модель программирования MapReduce. Принципы параллельной реализации вычислений. Область применения и примеры задач. Принципы распределенной реализации MapReduce на кластерных системах. Платформа Apache Hadoop. Интерфейсы прикладного программирования и реализация программ для Hadoop. Локальная отладка и запуск программ на кластере. Приемы и стратегии реализации MapReduce-программ. Высокоуровневые языки и инструментарии для работы с Hadoop. Практические примеры использования MapReduce. Ограничения модели MapReduce, расширения и альтернативные подходы.

Распределенные системы и вычисления.


Области применения, характерные особенности и виды распределенных систем. Проблемы построения распределенных систем. Теоретические основы распределенных вычислений, примеры распределенных алгоритмов. Способы взаимодействия распределенных процессов, сетевые протоколы. Технологии распределенного программирования. Знакомство с языком Erlang. Распределенные системы хранения данных, репликация данных, NoSQL-системы. Технологии распределенных вычислений, гриды, добровольные вычисления. Облачные вычислительные системы.


Update: все лекции курса «Параллельные и распределенные вычисления» в виде открытой папки на Яндекс.Диске.
Метки:
Яндекс 665,74
Как мы делаем Яндекс
Поделиться публикацией
Комментарии 31
  • –27
    Хочу лекцию «как впихивать всем подряд свой яндекс.бар и браузер с помощью сторонних пиратских приложений».
    • +4
      0. Мне кажется, вам в какое-то другое место, тут про знания.
      1. Вы хотите лекций, чтобы так делать? Потому, что мы так не делаем, это к каким-то другим компаниям.
      2. Чуть серьёзнее: можно пример пиратских приложений? Чтобы не голословно и как-то отвечать за свои слова. И «впихивания» без вашего согласия, если можно.
      • +4
        Пожалуй, с «пиратскими» я погорячился. Не буду клеветать, ибо вспоминаются исключительно официальные приложения. Извините. Но от того не легче. В своем ответе вы тут же пытаетесь выкрутиться, добавляя к «впихивания» фразу «без вашего согласия», какбе наперед, чтобы потом указать на то, что, в принципе, этот бар можно и не устанавливать, сняв автоматически поставленные галочки. Да, это так, но все же я перечислю небольшой спиоск: uTorrent, k-lite mega codec pack, eset nod32, skype, daemon tools, punto switcher, ArtMoney, Gom Player. Это так, сразу вспомнилось. А сколько их еще…
        В остальном мне очень симпатичен яндекс как замечательная организация, но из-за подобных действий он у меня в блек-листе, и никакими сервисами я принципиально не пользуюсь. Это несерьзено.

        И туда же:
        habrahabr.ru/post/124538/
        habrahabr.ru/post/129579/#comment_4291660
        habrahabr.ru/post/129579/#comment_4291921
        • +7
          У меня есть предложение обсуждать это в другом месте, всё же. Если хотите, можете мне написать личным сообщением, я отвечу на все вопросы и постараюсь разъяснить нашу позицию.

          Про список — к чему он?
          Бара уже много лет нет. Все ваши ссылки — на посты трёхлетней давности.
          • +9
            Я с вами согласен, что это не место для обсуждение этого, но и Raskaev тоже можно понять. Осадок от такого маркетинга проецируется на всю компанию в целом и на все ее продукты, а так быстро обратно вернуть репутацию не получится.

            P.S. Спасибо вам за столь качественные видео лекции в общественном доступе.
            • +1
              лучше публичное обсуждение. Мне тоже интересно, как можно додуматься так делать.
      • +7
        Спасибо, интересно.
        Ещё бы на эту тему порекомендовал книжку К.Ю. Богачёва «Основы параллельного программирования».
        • 0
          Отлично, спасибо за материал!
          По многопоточному программированию отличная книга C++ Concurrency In Action.
          С MapReduce в Hadoop недавно познакомился на курсе Udacity, правда он короткий.
          • 0
            У вас с именами файлов для скачивания просто беда ;(
            • 0
              Мы вас услышали ещё в прошлых постах. Полностью поправить сможем только после праздников, к сожалению.
              • +2
                А вот это было услышано? habrahabr.ru/company/yandex/blog/208034/#comment_7167108

                А то теория без практики усваивается плохо.

                Спасибо.
                • 0
                  Это тоже было услышано, но в чуть более широком смысле (записано как подтверждение потребности в полноценных удалённых курсах в целом).
            • 0
              Очень не дружественный интерфейс, для просмотра одновременно и слайдов, и видео… Столько места тратится просто впустую слева и справа, ну просто жесть… все понимаю, стандартизация интерфейса и прочее, но кнопочку добавить, которая бы включала режим просмотра, где полэкрана занимает видео, а полэкрана занимают слайды, можно и добавить…

              Хотя в любом случае, спасибо…
              • +1
                А есть возможность все лекции сразу скачать?
                • 0
                  Спасибо за лекции, занятно.
                  • 0
                    Я посмотрел лекции, возьмите на работу :)
                  • 0
                    Последний файл что-то не качается.
                    • 0
                      Попробуйте ещё раз, у меня всё ок.
                      • 0
                        Все-равно. Качаю PC-версию, ввожу каптчу и получаю ошибку 404 после некоторого раздумья.
                        • 0
                          Аналогичная ситуация, как и у Jenyay.
                        • 0
                          подтверждаю нескачиваемость последнего файла.
                        • 0
                          Последний файл так и не качается… Ни напрямую, ни через скидывание в Яндекс.Диск.
                          • 0
                            Перезалили в виде папке на Диске. Можно загружать оттуда любую отдельную лекцию, либо весь курс. Точно работает: disk.yandex.ru/public/?hash=OIQJqUtjWzNe0UepHjEiv1z2h75x5p9eL6Xjn0KTqxs%3D
                            • +3
                              Да, работает! Спасибо!
                              А может и лекции туда доложите, для полноты картины…
                              • 0
                                Вы имеете в виду остальные курсы? Они тоже есть.
                                Машинное обучение: yadi.sk/d/V9p7E6uAFjHcD
                                Дискретный анализ и теория вероятностей: yadi.sk/d/zQhVMBYUFiouw
                                • 0
                                  Оу, пардон, я хотел сказать о презентациях…
                                  Конечно, их можно вытаскивать из slideshare, но было бы удобно иметь всё в одном месте.
                                  Отдельное спасибо за человекопонятные названия файлов!
                      • +1
                        Спасибо

                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.