Компания
870,76
рейтинг
7 января 2014 в 15:30

Разработка → Параллельные и распределенные вычисления. Лекции от Яндекса для тех, кто хочет провести праздники с пользой tutorial

Праздничная неделя подходит к концу, но мы продолжаем публиковать лекции от Школы анализа данных Яндекса для тех, кто хочет провести время с пользой. Сегодня очередь курса, важность которого в наше время сложно переоценить – «Параллельные и распределенные вычисления».

Что внутри: знакомство с параллельными вычислениями и распределёнными системами обработки и хранения данных, а также выработка навыков практического использования соответствующих технологий. Курс состоит из четырех основных блоков: concurrence, параллельные вычисления, параллельная обработка больших массивов данных и распределенные вычисления.



Лекции читает Олег Викторович Сухорослов, старший научный сотрудник Центра грид-технологий и распределенных вычислений ИСА РАН. Доцент кафедры распределенных вычислений ФИВТ МФТИ. Кандидат технических наук.


Concurrency (одновременность).


Области применения и проблематика. Способы реализации одновременных систем, процессы и потоки, программный инструментарий. Основы многопоточного программирования на примере языков C++ и Java. Типичные ошибки многопоточного программирования. Взаимное исключение и условная синхронизация. Модель памяти и низкоуровневые примитивы синхронизации. Альтернативные подходы к реализации одновременных программ.

Параллельные вычисления.


Области применения и проблематика. Современные параллельные вычислительные системы. Теоретические основы параллельных вычислений. Показатели качества параллельного алгоритма. Принципы разработки и типовые структуры параллельных алгоритмов. Методология PCAM. Системы параллельного программирования. Типовые модели программирования и шаблоны. Основы параллельного программирования на системах с общей памятью на примере технологии OpenMP. Основы параллельного программирования на системах с распределенной памятью на примере технологии MPI.

Параллельная обработка больших массивов данных.


Феномен Big Data. Модель программирования MapReduce. Принципы параллельной реализации вычислений. Область применения и примеры задач. Принципы распределенной реализации MapReduce на кластерных системах. Платформа Apache Hadoop. Интерфейсы прикладного программирования и реализация программ для Hadoop. Локальная отладка и запуск программ на кластере. Приемы и стратегии реализации MapReduce-программ. Высокоуровневые языки и инструментарии для работы с Hadoop. Практические примеры использования MapReduce. Ограничения модели MapReduce, расширения и альтернативные подходы.

Распределенные системы и вычисления.


Области применения, характерные особенности и виды распределенных систем. Проблемы построения распределенных систем. Теоретические основы распределенных вычислений, примеры распределенных алгоритмов. Способы взаимодействия распределенных процессов, сетевые протоколы. Технологии распределенного программирования. Знакомство с языком Erlang. Распределенные системы хранения данных, репликация данных, NoSQL-системы. Технологии распределенных вычислений, гриды, добровольные вычисления. Облачные вычислительные системы.


Update: все лекции курса «Параллельные и распределенные вычисления» в виде открытой папки на Яндекс.Диске.
Автор: @anton
Яндекс
рейтинг 870,76

Комментарии (31)

  • –27
    Хочу лекцию «как впихивать всем подряд свой яндекс.бар и браузер с помощью сторонних пиратских приложений».
    • +4
      0. Мне кажется, вам в какое-то другое место, тут про знания.
      1. Вы хотите лекций, чтобы так делать? Потому, что мы так не делаем, это к каким-то другим компаниям.
      2. Чуть серьёзнее: можно пример пиратских приложений? Чтобы не голословно и как-то отвечать за свои слова. И «впихивания» без вашего согласия, если можно.
      • +4
        Пожалуй, с «пиратскими» я погорячился. Не буду клеветать, ибо вспоминаются исключительно официальные приложения. Извините. Но от того не легче. В своем ответе вы тут же пытаетесь выкрутиться, добавляя к «впихивания» фразу «без вашего согласия», какбе наперед, чтобы потом указать на то, что, в принципе, этот бар можно и не устанавливать, сняв автоматически поставленные галочки. Да, это так, но все же я перечислю небольшой спиоск: uTorrent, k-lite mega codec pack, eset nod32, skype, daemon tools, punto switcher, ArtMoney, Gom Player. Это так, сразу вспомнилось. А сколько их еще…
        В остальном мне очень симпатичен яндекс как замечательная организация, но из-за подобных действий он у меня в блек-листе, и никакими сервисами я принципиально не пользуюсь. Это несерьзено.

        И туда же:
        habrahabr.ru/post/124538/
        habrahabr.ru/post/129579/#comment_4291660
        habrahabr.ru/post/129579/#comment_4291921
        • +7
          У меня есть предложение обсуждать это в другом месте, всё же. Если хотите, можете мне написать личным сообщением, я отвечу на все вопросы и постараюсь разъяснить нашу позицию.

          Про список — к чему он?
          Бара уже много лет нет. Все ваши ссылки — на посты трёхлетней давности.
          • +9
            Я с вами согласен, что это не место для обсуждение этого, но и Raskaev тоже можно понять. Осадок от такого маркетинга проецируется на всю компанию в целом и на все ее продукты, а так быстро обратно вернуть репутацию не получится.

            P.S. Спасибо вам за столь качественные видео лекции в общественном доступе.
          • +1
            лучше публичное обсуждение. Мне тоже интересно, как можно додуматься так делать.
  • +7
    Спасибо, интересно.
    Ещё бы на эту тему порекомендовал книжку К.Ю. Богачёва «Основы параллельного программирования».
  • 0
    Отлично, спасибо за материал!
    По многопоточному программированию отличная книга C++ Concurrency In Action.
    С MapReduce в Hadoop недавно познакомился на курсе Udacity, правда он короткий.
  • 0
    У вас с именами файлов для скачивания просто беда ;(
    • 0
      Мы вас услышали ещё в прошлых постах. Полностью поправить сможем только после праздников, к сожалению.
      • +2
        А вот это было услышано? habrahabr.ru/company/yandex/blog/208034/#comment_7167108

        А то теория без практики усваивается плохо.

        Спасибо.
        • 0
          Это тоже было услышано, но в чуть более широком смысле (записано как подтверждение потребности в полноценных удалённых курсах в целом).
  • 0
    Очень не дружественный интерфейс, для просмотра одновременно и слайдов, и видео… Столько места тратится просто впустую слева и справа, ну просто жесть… все понимаю, стандартизация интерфейса и прочее, но кнопочку добавить, которая бы включала режим просмотра, где полэкрана занимает видео, а полэкрана занимают слайды, можно и добавить…

    Хотя в любом случае, спасибо…
  • +1
    А есть возможность все лекции сразу скачать?
  • 0
    Спасибо за лекции, занятно.
  • 0
    Я посмотрел лекции, возьмите на работу :)
    • 0
      Приходите: jobs.yandex.ru :)
      • 0
        Ага, подучу только python )
  • 0
    Последний файл что-то не качается.
    • 0
      Попробуйте ещё раз, у меня всё ок.
      • 0
        Все-равно. Качаю PC-версию, ввожу каптчу и получаю ошибку 404 после некоторого раздумья.
      • 0
        Аналогичная ситуация, как и у Jenyay.
      • 0
        подтверждаю нескачиваемость последнего файла.
      • 0
        Последний файл так и не качается… Ни напрямую, ни через скидывание в Яндекс.Диск.
        • 0
          Перезалили в виде папке на Диске. Можно загружать оттуда любую отдельную лекцию, либо весь курс. Точно работает: disk.yandex.ru/public/?hash=OIQJqUtjWzNe0UepHjEiv1z2h75x5p9eL6Xjn0KTqxs%3D
          • +3
            Да, работает! Спасибо!
            А может и лекции туда доложите, для полноты картины…
            • 0
              Вы имеете в виду остальные курсы? Они тоже есть.
              Машинное обучение: yadi.sk/d/V9p7E6uAFjHcD
              Дискретный анализ и теория вероятностей: yadi.sk/d/zQhVMBYUFiouw
              • 0
                Оу, пардон, я хотел сказать о презентациях…
                Конечно, их можно вытаскивать из slideshare, но было бы удобно иметь всё в одном месте.
                Отдельное спасибо за человекопонятные названия файлов!
  • +1
    Спасибо

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разработка