войти зарегистрироваться

HP

HP
хабраиндекс
107,81

Немного о том, как создавался «Аватар»

«Художники показывают свою работу, режиссер хочет побольше того или другого, и все это повторяется туда и обратно много раз. Это цикл, который двигает нашу работу и заставляет вещи выглядеть так, как они выглядят в итоге. Таким путем каждый маленький кусочек становится лучше и лучше, потом становится совершенным, а потом мы переходим к следующему кадру», – так описывает свою работу над фильмом «Аватар» Джо Уилки (Joe Wilkie), один из менеджеров студии спецэффектов Weta Digital из Веллингтона, Новая Зеландия. Именно здесь создавалась вся магия фильма «Аватар», которая покорила нас всех.



12 Мб на кадр, 288 Мб на секунду, 17,28 Гб на минуту. Все 162 минуты фильма, который мы увидели на экранах – огромный объем информации – это только маленькая толика того, что пропустил через себя новый дата-центр студии Weta. Собранный, как вы уже могли догадаться, на серверах HP: 34 стойки с 32 блейдами HP Proliant BL2x220c в каждой – 40 000 процессорных ядер и 104 Тб RAM, семь строчек в суперкомпьютерном рейтинге Top-500. Посмотрим немного на ту сторону фильма, что осталась за кадром.

Специалисты по блейд-серверам HP на студии Weta DigitalWeta Digital, неоднократно получавшая кинонаграды за лучшие спецэффекты, имеет очень впечатляющее портфолио. Но когда студия получила заказ на пост-продакшн от Джеймса Кэмерона, даже имеющегося в ее распоряжении испытанного блейд-кластера от одного из крупных вендоров оказалось недостаточно. Поэтому летом 2008 года Weta полностью обновила свой дата-центр площадью 950 м².

Чтобы накормить весь парк сдвоенных HP BL2x220c задачами, Weta пришлось установить оптоволоконную сеть стораджей на 3 Пб. А сами стойки с серверами, соединенные несколькими 10-гигабитными линками, пришлось поставить поближе друг к другу, чтобы достичь требуемой пропускной способности.

Кластер на блейд-серверах HP BL2x220c в студии Weta Digital

Что нечасто можно услышать от владельцев такого дата-центра сегодня, в Weta предпочли отказаться от распараллеливания задач с помощью виртуализации. Пол Ганн (Paul Gunn), главный системный администратор студии, говорит, что виртуализация бы только замедлила творческий процесс.

Дело в том, что процесс работы над фильмом в Weta строился так:
  • режиссер обсуждает с художниками свое видение какой-то сцены,
  • художники воплощают ее, каждый свою часть, в пакетах Maya или RenderMan и отправляют свою работу на рендеринг;
  • задачи от художников собираются в иерархическую очередь с помощью продукта студии Pixar под именем Alfred – системы, которая по порядку отдает их на свободные процессоры кластера, загружая их на 100% одной задачей;
  • сцена обсчитывается полностью точно к тому моменту, когда режиссер готов отсмотреть ее с художниками и дать свои замечания.
Работа по расстановке каждой сцены в очереди ложилась на плечи Джо Уилки, которого в студии называют «погонщиком рендеринга». В последний месяц перед премьерой фильма дата-центр Weta Digital обрабатывал в среднем по 1,3 млн. задач рендеринга в сутки – по 7-8 Гб данных в секунду, 24 часа в сутки!

«Это сложная система, и когда у вас приближается дедлайн на проект вроде «Аватара», вы действительно хотите, чтобы все работало как надо», – говорит Пол Ганн. Поэтому еще одной необходимой частью нового дата-центра стала система охлаждения.

Полностью водяная, со страховочными пассивными радиаторами на верху каждой стойки, система позволила на 40% сократить расходы на охлаждение дата-центра по сравнению с его аналогичными по плотности собратьями, которые охлаждаются стандартным воздушным способом. «Не хочу давать точных цифр, но когда мы говорим об охлаждении на 1 градус, речь идет о десятках тысяч долларов экономии», говорит Пол. Даже если он имел в виду новозеландские доллары, разница впечатляет.

На сегодня Weta Digital является обладателем мощнейшего кластера для 3D-рендеринга в мире. И существующий задел еще долгие годы позволит студии создавать шедевры, которым нет равных. Таким был «Аватар», и я уже не могу дождаться каким будет «Хоббит» режиссера Гильермо Дель Торо, выход которого ожидается в следующем году…
+190
13 января 2010, 16:12
63
Tigger

комментарии (175)

  • У меня вопрос: эффективнее была бы система, построенная на решениях от nvidia с их cuda?
    • возможно, если бы появилась пораньше :-)
    • врядли все их задачи на gpu можно перенести
      • На что еще можно перенести рендеринг, как не на gpu.
        • на гпу хорошо считать очень много простых задач, шейдеры например, а очень много сложных, скажем, какой-нибудь рей-трейсинг лучше на чем-нибудь помощнее :)
          • Видел на утубе vray final gather на CUDA, почти в реалтайме идет.

            Вот оно
            • а на блейд-сервере ещё быстрее было бы. просто какая-нибудь Тесла наверное была бы дешевле такого серверного массива %)
        • насколько я знаю, рэй-трэйсинг мало эффективен. Так что блэйд сервера пошустрее вполне могут быть.
          • Рэйтрейсинг позволяет делать самую качественную картинку, не прибегая к полигонам и прочей фигне. Картинка получится такой, какой бы её увидел человек, т.к. просчитываются именно отражения лучей.

            Быстрей всего было бы на много-много параллельных HD 5970, но собрать и ЗАРГУЗИТЬ такусю систему — очень тяжело, а вот использовать в этом плане отточенные и привычные технологии, которые еще не подводили, и с которыми известно, как нужно работать — было самым разумным решением.
            • "… т.к. просчитываются именно отражения лучей."

              а также преломления, простите за занудство :)
              • Ну да, суть в том, что мы получаем картинку не излученного, а 100% отраженного (преломленного, и чего только не сделанного) света в соответствии с заданными параметрами материалов. Почти как в природе ;)
                • а может просто классические фильмы надо смотреть, где люди снимаются??? и мультики — те которые анимационные, от слова анимация…
                  • А может все же ну их нафиг? Нельзя же вечность смотреть «прибытие поезда...» ( goo.gl/WiVt ) — надоедает и не прет уже :)
            • > Рэйтрейсинг позволяет делать самую качественную картинку

              Неправда, radiosity даёт более качественную картинку.

              «Большинство визуализированых моделей, включая трассировку лучей, принимают упрощенную пространственную модель, высоко оптимизированную для света, который входит в наш 'глаз', чтобы прорисовать изображение. Можно добавить к модели отражение и тени, для достижения более реалистичного результата. Однако, отсутствует важная деталь! Когда поверхность имеет легкий рефлексивный компонент, это не только видно в нашем изображении, это также отсвечивает свет на поверхностях вокруг него. И наоборот. Фактически, свет расходится вокруг и сталкивается с окружающей средой, пока вся его энергия не будет поглощена.»
              • Вы по своему оба, конечно, правы. Вот только для кино ни то ни другое не важно. Это все важно для больших статических картинок, в кино другие требования, и «правдоподобность преломления луча в воде» там не особо важна, ее никто не увидит, просто не успеет :).
          • Я думаю, имелось ввиду «насколько я знаю, рэй-трэйсинг мало эффективен на gpu», так что минусовать — это лишнее.
        • Raytracing плохо ложиться на GPU, к сожалению.
          Все что есть — маркетинг.
          • см. коммент выше. ( habrahabr.ru/company/hp/blog/80581/#comment_2385997 )
            • Это я и называю маркетинг.
              Заменить этим «боевые» рендереры нельзя, много ограничений как архитектурных, так и по точности.
              • эээм… ну… мне это казалось очевидным. Просто сам факт того, что нынешние GPU с этим вполне справляются не может не радовать.
          • Спорить не буду, просто дам ссылку на небольшую статью по Pantaray. Надеюсь, вы поменяете свое мнение :)
            • Повторюсь, я это называю «Маркетинг».
              На GPU выполняется не все, а лишь часть расчетов.

              Ускорение в 25-100 раз — 100% маркетинг, по сравнению с качественным CPU кодом отрыв не может превышать 5-10х в сравнении с 4-х ядерниками с векторными инструкциями (при том, что и цена и энергопотребление растет существенно).
              • NVIDIA Tesla как-бы не совсем обычный GPU — специально спроектирован для работать с большими массивами данных (что было очень важно для Аватаровских объемов) и флоат-поинт вычислений. Да и Jacopo Pantaleoni не такой уж заурядный архитектор рейтрейсеров, чтобы свой опыт за красивыми маркетинговыми лозунгами прятать. Хотя, соглашусь, что несколько «маркетинговых» процентов добавили тоже.
                • Tesla — это обычная видеокарта, на которую просто тыкнули в 2-4 раза больше памяти (страшно тормозной по меркам GPU). Нормальная скорость вычислений — только с 32-х битной точностью (= слишком низко для ray-трейсеров). В 64-хбитных вычислениях скорость падает в 10 раз (=ниже скорости квадкора).
    • Нет. Задача рендеринга немного другая. И ситауция, когда сдача сцены через час, а программа говорит рендеринга отчего-то говорит что internal error: 345678. Stack fault в этом случае совершенно неприемлима.
      Пока решения на CUDA это эксперименты, не готовые в продакшн. А тут — продакшн.
    • это детский сад
    • Или на массивах их Playstation :-)
      • кстате да, Cell думаю с этим бы юыстрее справился, но не тот Cell который в PS, а тот который в IBMовских мегакластерах
        • На самом деле мифическая проихводительность Сell'а — несколько преувеличена, т.к. грамотно загрузить их очень тяжело, да и написать программу с таким распараллеливанием — тоже задача не из легких.

          Как думаете, почему на пк и х-бокс 360 игры выходят чуть быстрее (верей их делать намного проще), чем на сони?
          • технически из-за движка. под х-бокс написано много больше игровых движков и MS постарались, чтобы порты делать было не так уж и просто (пример CryEngine). Однако ребятки из SquareEnix создали движек которые позволяет создавать нормальные платформонезависемые игры с графиков приблеженной к CG сценам.
            Да и вообще какая это игра вышла на сони позже чем на хбокс? они или выходят в один день или совсем не выходят, ну и если разработчик упертый японец (или студия получила нефиговый откат) — выходит только на PS3.
            И да: #2 www.top500.org/system/10377
    • Проблемса в том, что они используют Pixar RenderMan, он не использует гпу, насколько я знаю, микрополигональный рендерер который рейтрейс не очень хорошо обрабатывает, в отличии от entalRay. Но в силу того что уже отлаженный пайплайн, в таких конторах сложно переходить на другой софт.

      В своё время был конфликт во время создания похожего рендерера как у Пиксар, их бывшим сотрудником и он позже ушел в Нвидиа. Теперь у Nvidia есть Gelato, клон Рендермена. Потому вряд ли. У большинства контор рендерят на HP, раньше на базе AMD процессоров, сейчас не знаю.
  • Тру. Сейчас немного посчитал. 12 мегабайт — это около 9245x5200 пикселей Jpeg. Ну или в два раза меньше RAW. Наконец-то дали оценить качество IMAX :)

    Интересно, где монтируют киношники? Final Cut?
    • 2560×1600×3 / 1024 = 12 000 килобайт, что наталкивает на мысль, что разрешение было таким.
      • Ну, теоретически тогда уж 2720x1530, если считаем 12 мб = 12 582 912 байт. Но разрабы, я думаю, не дураки, сжимали.
        • Я думаю, разрабы не дураки и по этой причине не сжимали. Для их работы пригодно только сжатие без потерь. Никакой png не подойдет из-за скорости сжатия. Если сжатие и применялось, то очень легкое, например как на ntfs томах, котрое помогает немного уменьшить объем информации, что способствует увеличению скорости доступа, но серьезным сжатием это не назовешь.
      • Так как рендерили стерео, то могло быть и (1920*1080*3)*2 / 1024 = 12M
    • Никакие jpeg-и там не используются. На сколько я знаю, рендеринг выводится в 32bit exr, либо, на худой конец, в 24bit png.

      Во всяком случае, лично я (это хобби) рендерю в exr, потом удобно тогда экспозицию настраивать.)))
      • Ну так какое разрешение у .exr размером в 12 мегабайт?
    • Сейчас разочарую: в Аймаксе крутят растянутый HD (Аватар).
      12 МБ – стандартный размер 2K DPX 10 bit (2048х1556). Это стандарт. Но в данном случае похоже пресс-центр HP немного недопонял, так как Аватар снимался на HD (1920x1080, 8 МБ на 10-битовый кадр), при этом в стерео. То есть в реале примерно 8,7*24*2=417 (МБ/с).
      Ну и справедливости ради… любая мало-мальски серьёзная превью-машина о двух ксеонах сборки года 2005 спокойно тянет «288 мегабайт в секунду».
    • Может быть, имелись в виду не отрендеренные кадры, а, собственно, модели, текстуры и т.д.?
    • Resolution in various media:

      Digital:

      720×480 (520 lines): D-VHS, DVD, miniDV, Digital8, Digital Betacam (pro)
      720×480 (400 lines): Widescreen DVD (anamorphic)
      1280×720 (720 lines): D-VHS, HD DVD, Blu-ray, HDV (miniDV)
      1440×1080 (810 lines): HDV (miniDV)
      1920×1080 (1080 lines): D-VHS, HD DVD, Blu-ray, HDCAM SR (pro)
      2048×1080: 2K Digital Cinema
      4096×2160: 4K Digital Cinema
      10,000×7000 (7000 lines): IMAX, IMAX HD, OMNIMAX
      en.wikipedia.org/wiki/Image_resolution

    • На Final Cut не похоже. Adobe тоже руку приложил к созданию.
    • tyr
    • tyr,
    • 13 января 2010, 16:32
    • #
      • +17
    а тут один из дизайнеров На'ви рассказывает штуки про создание персонажей
    www.zbrushcentral.com/showthread.php?t=079195
    • Читал, офигенно.)))
  • По-моему, больше спецэффектов и огромной проделанной работы над фильмом, впечатляет только отдача от результата в виде колоссальных сборов. Вдохновляет.
  • «Художники показывают свою работу, режиссер хочет побольше того или другого, и все это повторяется туда и обратно много раз. Это цикл, который движет нашу работу и заставляет вещи выглядеть так, как они выглядят в итоге. Таким путем каждый маленький кусочек становится лучше и лучше, потом – совершенным, а потом мы переходим к следующему кадру»


    Гугл транслейт одобряэ
    • Нет, это хьюман транслейт, причем довольно точный) Вы уж извините, вот так вот говорят люди в Новой Зеландии)
      • Нет, перевод конечно не гугл транслейт, но думаю, что hellt намекает, что по-русски так не говорят, и местами наблюдается перевод слово-в-слово. Например, «it goes back and forth» — «все это повторяется туда и обратно», «In that way» — «таким путем» и т.д.
        На хабре, правда, уже где-то в комментах обсуждалось, что калька с английского может придавать своеобразный окрас. Но и переводить, например, «shit» дословно тоже было бы странно. Так что вопрос сложный.
        Кстати, в оригинале не «каждый маленький кусочек», а «each tiny bit», имхо более поэтично :)
    • НЛО прилетело и опубликовало эту надпись здесь.
  • НЛО прилетело и опубликовало эту надпись здесь.
    • В Википедии вычитал — здесь. Вроде бы насчет копирайтов они с United Artists уже договорились, но вот что могут еще отложить — это факт. Но мы дождемся!
    • Хватит читать новости!
      Мы требуем фильм :)
  • Пра-пра-прадедушка матрицы…
    • Вернее, Матрицы.
  • а как были созданы персонажи?.. синяки эти. главная героиня и герой… переносили мимику на 3д модели?
  • Вот парочку занимательных видео о создании сабжа:
    rutube.ru/tracks/2792356.html?v=66180569aea77cd1674e8fe0c3277fcb
    rutube.ru/tracks/2792364.html?v=dd91cef7a1ee78c03f89f4b4d25617b0
  • «В 1995 году Джеймс Кэмерон написал 114-страничный сценарий для фильма «Аватар», но его реализация неоднократно откладывалась вследствие несовершенства компьютерных технологий» (из Википедии)
  • Спасибо, интересно было узнать. Фильм по мне действительно красив и хорош.
    • Nesp
    • Nesp,
    • 13 января 2010, 16:46
    • #
      • +14
    А вот как создавался сценарий аватара:
    img192.imageshack.us/img192/7948/avatarbfv.jpg
    • Очень вероятно
    • А вот для тех кто не силён в английском :)
      bit.ly/8Y50V9
      • НЛО прилетело и опубликовало эту надпись здесь.
  • Впечатляет.
    Top#7 супер-компьютер используется для кино-продакшена.

    Когда спросят зачем нужны супер-компьютеры, скажу для того, чтобы нарисовать Аватар.
    Даешь, хлеба и зрелищ.

    А то всякие метео-прогнозы, обработка данных коллайдера.
    • Нет, не Top 7. Просто дата-центр Weta разделен на 7 частей, каждая из которых занимает свою отдельную сторчку в рейтинге Топ 500 — со 193 по 449.
  • Хабр положил www.wetafx.co.nz/
    • хорошо бы авторам статей, спровоцировавших хабра-эффект, отписываться о том что, это они стали причиной «атаки».

      а то нехорошо это как-то,
      на ддос похоже, хотя на самом деле — признак заинтересованности читателями хабра.
  • Лучше бы в сюжет столько вложили, а то он дубовый совсем.
    • Аватар позиционировался, как фильм для всей семьи. А учитывая его популярность — он понятен всем слоям населения, в независимости от возрастных и образовательных критериев.
      Понятно, что для каждого человека можно найти нишевый фильм, который по мнению этого одного человека будет лучше Аватара.

      В целом получился хороший фильм для всех, в котором на самом деле скрыто достаточно многое для думающих людей, например, единение с природой народа Нави — это то, что заставляет очень сильно задуматься. Так как такого единения человека с природой, к сожалению, в нашем мире быть не может. Я бы даже сказал, что люди не живут с природой, они с нею воюют, что особенно хорошо видно на примере людей в Аватаре.

      Мне жаль, что многие люди, так поверхностно делают свои выводы.
      • Ну глубины там не более чем в мультике для пятилетних.

        Было бы гораздо прикольнее, если бы была описана планета-организм и единой ЦНС. Зачатки такого вроде проскакивали, но ниасилили.
        • «на самом деле скрыто достаточно многое для думающих людей»
          • Например?
            • «например, единение с природой народа Нави — это то, что заставляет очень сильно задуматься. Так как такого единения человека с природой, к сожалению, в нашем мире быть не может. Я бы даже сказал, что люди не живут с природой, они с нею воюют, что особенно хорошо видно на примере людей в Аватаре.»
              • Единение Нави с деревом и отношение человека с природой Земли относятся примерно также как апельсин с картошкой, да оба круглые, но картошка на дольки не разделяется.
              • Улитка На Склоне — на американский манер ;)
        • > Ну глубины там не более чем в мультике для пятилетних.

          :-)

          ну «для пятилетних» это слишком, конечно, но не без доли истинности.

          «Аватар» ≈ «Танцущий с волками» × мульт-фикшн.
          • аватар это вроде покахонтас перерисованный.
        • НЛО прилетело и опубликовало эту надпись здесь.
        • Солярис?
      • Да наплевать мне что вам жаль. Причем тут жалость? Фильм просто сезонный, а что касается сюжета то он пафосен до невозможности картинные фразы, линейность сюжета все выдает в этом фильме пустышку прикрытую дорогими технологиями.
        • Титаник мб тоже сезонный?
    • Вы артхаус хотели увидеть? Вам после просмотра драмы не кажется, что мало веселья было, к примеру?
    • Считаю что Аватары просто необходимы. В бюджет этого фильма входит создание новых технологий, которые потом используют другие фильмы, а потом всё плавно перекочёвывает и в нашу обычную жизнь. Технологии распознования лица мало ли в какой бок ещё могут выстрелить, да там просто куча всего было разработано специально для этого фильма.

      Это как формула 1. Гонки ради технологий. Нам от этого только лучше. И пофиг на сюжет :)
      • Новые технологии УЖЕ используются в других фильмах ;) Изначально, технология для съемки и показа 3D-фильмов (начиная с Дети шпионов 3D и т.п.) была разработана благодаря Кэмерону именно ради Аватара. А до него лишь «обкатывалась» на других фильмах… Когда я прочитал в статье об этом, был слегка в шоке даже. Лишь тогда осознал глобальность и грандиозность проекта.
      • Есть где ни будь описание того что за технологии использовались?
        Я тут читал немного… писал один дяденька что это была смесь текущих достижений
        оптическая и инерционная системы + HMC
    • Зачем сюжет в… демонстрации 3D-графики?
    • > Лучше бы в сюжет столько вложили, а то он дубовый совсем.

      То, что дубовый — +1. Но сколько в дубовый сюжет не вкладывай, он лучше не станет. :-)
  • Столько мощностей, а хабра-эфекта не выдержало:
    «Database Error: Unable to connect to your database. Your database appears to be turned off or the database connection settings in your config file are not correct. Please contact your hosting provider if the problem persists.»
    • ну да, будут они веб-страницу на супер-компьютере хостить.
      • Вообще то могли бы и раскошелится на сайт
        • они подрядчики, не каждый день к ним всё-таки хабр ходит
        • А смысл? Потратить десятки тысяч Джорджей Вашингтонов, чтоб переждать пару часов любопытства юзернеймов?
          • учитывая, что сайт у них скорее всего для понта, и ребята из голивуда не вбивают в гугл «где отрендерить фильм».
  • Дополню со своей стороны. Как раз на днях написал пост про используемые в WETA стораджи.
    blog.aboutnetapp.ru/archives/487
  • Так, а сколько на таком мейнфрейме занял ренд всего фильма?
    • Джеймс Кэмерон говорил, что рендеринг каждого кадра занимал 10-30 часов, в студии говорят, что несколько часов. Предположим, что время равно 20 часам. Вспоминаем, что рендеринг каждого кадра системой Alfred отдавался в работу одному отдельному процессору. Посчитаем сколько бы занял рендеринг, если бы он выполнялся сразу «на беловик», непрерывно:

      24 (кадра в секунду) х 60 х 162 х 20 (часов на рендеринг) / 40000 (примерное число процессоров) = 116 часов 39 минут.

      В реальности же, вместе со всеми подготовительными работами, дата-центр был загружен почти на полную с самого лета 2008 года)
      • Не кадра, а shot-а, наверное. Это киношный жаргонизм. «Шот» это сцена. Она разная бывает по размерам, от этого и разброс, состоит она из разного количества кадров. От «крупный план: главный герой поднимает голову, и его глаза расширяются от ужаса» до «караван идет среди песков, караванщик чиркает спичкой, закуривает и бросает спичку на песок» это все будут «шоты».
        • это и есть кинокадр
          • Ну есть и такое название, путаница в том, что для большинства «кадр» это статическая картинка *****x***** пикселей, которых в секунду — 24 штуки.
            Shot это не этот кадр.
            • lingvo.yandex.ru/en?text=shot&st_translate=on

              9)
              а) кино; тлв. кадр

              достаточно?
              • Вы все не о том. Вы мне про перевод слова, а я вам про значение термина в кинопроизводстве. Это жаргонный смысл.
                Грубо говоря, shot это то, на что хлопают «кинохлопушкой» перед камерой. Некий сюжетный квант, существующий и снимающийся как самостоятельный объект.
                Но не тот «кадр», которых «24 в секунду».
                • с определением кинокадра я полностью согласен
      • А еще кадров там нужно втрое больше обычного (для гладкости картинки) и для каждого глаза отдельно, чтоб потом собрать 3д, итого почти 700 часов.
  • Интересно, а реализовывали ли они какую-либо систему бэкапа?
    • У них есть (была, по крайней мере, во времена LOTR) большая ленточная библиотека Sun StorageTek L700 с лентами LTO.
      Но вообще там достаточно непростой механизм движения данных в процессе их жизни, посмотрите ссылку про стораджи выше.
      Там же есть ссылки на статьи, в которых была найдена информация, которая не вся вошла в пост.
  • > Чтобы накормить весь парк сдвоенных HP BL2x220c задачами, Weta пришлось установить оптоволоконную сеть стораджей на 3 Пб.

    Дополню, что эта «оптоволоконная сеть стораджей» — 10G Ethernet по оптике, на коммутаторах Foundry, ныне Brocade ServerIron.
    Стораджи — NAS NetApp FAS6080, отдающие данные на рендерферму по протоклу NFS.
    • И тут пролезли :)
      • Ничего лучше под NFS с таким уровнем нагрузки и за такую цену пока нет.
        До них был период на Bluearc Titan 2000, но при упомянутой переделке датацентра все же вернулись к NetApp (он его использовали первоначально, несколько лет, по «Кинг-Конга» включительно).
        • NFS? вы что, шутите?
          • Почему вы считаете, что я могу с этим шутить?
          • На самом деле NFS действительно очень широко, если не монопольно, царит в области суперкомпьютеров и вычислительных кластеров.
            В первую очередь потому, что позволяет очень просто обеспечить доступ «много клиентов к одному стораджу». Пример — 3D-модель, которую обсчитывает ферма рендеринга, состоящая из многих сотен или даже тысяч процессоров. Каждому нужно прочитать данные этой модели, сделать свою работу, и положить просчитанный кадр в общую «ленту». Совместный доступ к данным возможен только пр использовании сетевых файловых систем, таких как NFS, или кластерных файловых систем, которые весьма недешевы, либо достаточно сыры для продакшна, или есть под весьма ограниченный набор платформ.
            NFS в этом смысле имеет большие преимущества, так как:
            1. весьма проста в реализации, и есть повсюду, написана для всех мыслимых платформ и OS, и стандартизована общепринятым стандартом RFC.
            2. «Взросла», и все ее глюки давно посчитаны и известны. Простота же реализации и открытость весьма положительно сказывается на возможности их выловить.
            3. Как следствие первого и второго имеет весьма высокую производительность при низких «накладных расходах».
            4. Работает поверх TCP/IP, который ходит повсюду, в том числе по 10Gbit Ethernet, одному из самых быстрых на сегодня каналов передачи данных, оборудование для которого уже широко распространено и _сравнительно_ недорого (сравните, например, с ценой соответствующего по быстродействию и конфигурации Infiniband или 8G FC) для оборудования такого класса.
            • «все ее глюки давно посчитаны и известны»

              Ну вот разве что, но я не очень представляю себе, как надо пользоваться NFS в продакшне, чтобы не наступить на них.

              Я до относительно недавнего времени трудился чиф девелопером одной крупной системы массового обслуживания и мы наступили на серьезные грабли с NFS. После изучения вопроса и общения с FreeBSD core team узнали много интересного и нового про NFS. Про взаимные блокировки, которые принципиально невозможно разрулить и которые возникают на постой. Про то, как они кладут целые кластера одним только своим появлением. Про то, как они не уходят при ребуте серверов. Про другие недостатки самого протокола. Тогда, насколько я помню, вообще кто-то из core team поставил вопрос исключения NFS из FreeBSD в силу того, что пользоваться ей в серьезном продакшне практически невозможно.

              Удивлен, узнав про использование NFS на таком уровне. Там или какая-то другая NFS из другого мира, или же она там используется таким образом, что грабли бьют не сильно больно.
              • Просто надо пользоваться NFS не из FreeBSD, например :)
                Не все NFSы одинаково полезны, это факт.
                Тем не менее при правильном использовании NFS на сегодня одна из лучших сетевых файловы систем. Собственно тот факт, что в этом сегменте работы практически не ведутся (NFS, CIFS, ну может еще три-четыре экспериментальных) говори о том, что NFS хороша и всех устраивает.
                Ну и еще NFS развивается, конечно. Посмотрите на NFS4.1 AKA pNFS. Напрямую под HPC проект заточен, в этом году пройдет утверждение в RFC.

                Так что из того факта, что кто-то в core team FreeBSD не разобрался с NFS говорит только об уровне core team FreeBSD, а не о недостатках NFS. ;)

                Кроме HPC могу указать пальцем на крупнейшую в мире инсталляцию Oracle (9i, 10g, 11g, RAC), так называемый Oracle on Demand в датацентре самого Oracle, также на Linux поверх NFS, и на несколько весьма крупных инсталяций VMware (десятки тысяч виртуальных машин).
                • «Просто надо пользоваться NFS не из FreeBSD»

                  Я не в восторге от FreeBSD, но реализация тут не причем. Там есть недостатки в самом протоколе, которые приводят к возникновению взаимных блокировок. А вот то, что FreeBSD не умеет их разруливать и подхватывает при ребуте — это уже да, проблема реализации.
                  • Ну там совершенно точно не FreeBSD в качестве сервера NFS, это да, факт. Там вот эти самые NetApp FAS, работающие как NAS-ы.
                    Очень неплохие на своем месте штучки.
                    Много кто на них в таком качестве живет. Yahoo, Flickr, Facebook.
      • А, привет minnus :) Не разглядел ;)
        • Да, привет, Роман :)
  • Впечатляет
  • интересно какая ось всем этим управляет? или кластерная система?
    • > задачи от художников собираются в иерархическую очередь с помощью продукта студии Pixar под именем Alfred – системы, которая по порядку отдает их на свободные процессоры кластера, загружая их на 100% одной задачей;

      На самих процессорах Linux, под которым бежит приложение рендера, если правильно помню.
      • Да, стоит Linux.
    • Судя по тому что у них 7ое место в топ 500, то либо bsd либо линух.
      • уже писали: не седьмое место, а семь мест в различных областях. не выше сотого каждое.
        • А, ну тогда хз. Да и удивился больно круто для киношников такой суперкомп.
      • Не 7-е, а 193-197, 274 и 449.
    • Unix там конечно, какой только не совсем понятно
    • И мне честно говоря интересна сама ОС. Если кто нибудь знает, скажите плиз
      • Вам версию ядра Linux надо знать? ;)
        Там просто ядро, под которым, не удивлюсь если даже в single mode, пускается командлайновая утилита, которой на вход подают сцену. И таких утилиток 40 тысяч, на каждом процессоре по одной, каждая генерит один кадр.
        • С подобной процедурой знаком немного по Колорингу, довелось… там не 40 тыс, если система кластерная, просто UNIX based и UNIX Sertifited ОС в Киниматографе не мало… это я точно знаю, а вот названия и т.д. Копать нужно… вот и спрашиваю вдруг кто че знает.

          Linux же может использоваться только для управлениями отдельных операций на UNIX, но скорее всего, Xsan от Apple… хз. мне интересно вот и спросил. ваш ответ не полон. Но спасибо
          • Это не тот кластер, что обычно под этим словом понимают. Это именно render farm, там все гораздо проще. Основная ответственност лежит на управляющем компе-диспетчере, распределяющем задания, а выполняющие процесорв просто тупо молотят вычисления, и все. Прочитали модель сцены со стораджа, посчитали, записали на сторадж результат, получили новую сцену и пошли считать.
            • Ну это я понимаю… говорю ж сталкивался… вот распределения задач — что за ОС/ядро, вывод картинок на что и так далее… если разбираетесь в этом, и не сложно будет ответить, может в хабрапочту?
              • Ну выше же написано.
                Диспетчер — самописанная в Pixar система Alfred.
                На процессорах рендерфермы — ядро Linux с единственной задачей в виде программы рендера.
                Стораджи — NFS NAS, к которым подключены все системы рендера, берущие с них модель, и складываюшие на них отрендеренные картинки.
                Канал передачи данных TCP по 10G Ethernet.

                Аналогичная схема используется почти всеми, отличия только в реализации.
  • /зануда

    34 стойки x 32 блейдами = 1088 PC

    Up to two (2) Intel Xeon 5400 Series 4 core CPUs per server node

    1088 x 2 x 4 = 8704

    и даже с HT 8704 x 2 = 17408

    Часть процов ушло на откаты.

    /зануда
    • А вы правы! Поправил в тексте процессоры на процессорные ядра. Хотя, как говорится, «да какая разница!» :)
      • /суперзануда

        17408 — max количество виртуальных ядер.

        Если вы имели ввиду 7е место в топе то

        — 7 местО (о упало)
        — по ссылке 4096 ядер. 40960 — Rpeak (GFlops).

        /суперзануда
        • выше уже неоднократно говорилось
          не 7-ое место, а 7 различных мест
          193, 194, 195, 196, 197, 274 и 449
        • Нет, я не имел) Имел в виду 7 мест (без о) в топе из 500 мест. Смотрите вот здесь: www.top500.org/site/systems/2343
  • Странно, нигде (в рускоязычных источниках) я не встречал что при создании аватара Аватара использовался модо 401 (новости на сайте: 1, 2). Использовался он в основном для моделинга, но надо сказать что и рендер у него приличный. Использовался он потому что модо очень удобен и прост. Кстати, модо также использовался при создании Района №9 и Валли (да и много где ещё). Такие проекты не могут создаваться в одной только программе, всегда используются несколько и модо в авангарде.
    Я очень люблю модо :)

    В любом случае всеми любимый 3д макс (я про страны СНГ) используется всё реже и реже.
    • «Район 9» тоже делали на WETA Digital, кстати. Когда отлежится сайт зайдите в порфолио, там много интересного.
    • думаю так или иначе в таких монстрах как WETA используется огромное количество софта, и модо в том числе, так что особенного тут ничего нет.
      впрочем, говоря про моделлинг я бы не стал использовать слово «авангард» :)
  • У них в работе сейчас всего три фильма, но какие люди их снимают: Спилберг, Кэмерон, Джексон. Вся большая тройка Голливуда! Это офигенно, наверное, работать в Weta.
    • Ссылочка: www.wetafx.co.nz/in_production

      И кстати, чтобы не спрашивали, почему «Аватар» у них ещё числится «в процессе»: доделываются сцены, которые не вошли в кинотеатральную версию, но которые были в сценарии и появятся, скорее всего, в режиссёрской версии фильма.
    • И им постоянно нужны новые люди: www.wetafx.co.nz/jobs :)

      Как сейчас помню, как по ТВ рассказывали про нашего парня из Владивостока, который подал резюме в Weta и участвовал потом в создании Властелина колец. В частности — тех красавцев орлов.
    • да, должно быть офигенно. но наверное как повезёт. шеф года 4 назад рассказывал о своём знакомом аниматоре из weta (он русский), который всё рабочее время занимался лицевой анимацией кинг конга. 8 часов в день с перерывом на обед, месяцы напролёт он занимался лицевой анимацией долбаной обезьяны
      • Живописно описали. Я прям представил себе картинку: «уже на третий месяц иначе как fukin monkey они Кинг-Конга не называли».
      • Да наверное это все тот же Сергей Невшупов.

        www.cgtalk.ru/exc.php?id=nevshupov
        • Лицом Кинг-Конга занимался Петр Сёмка. Он же делал лицо и эмоции главной героини Аватара — Нейтири.
      • Нет, вру, он был первый, сейчас еще упоминают:
        Ник Габченко (Харьков)
        Дмитрий Краснокутский (Владивосток)
      • А он сходил потом на премьеру? :)
      • На всякий случай, вот список наших ребят на Weta Digital:

        Сергей Невшупов
        Дмитрий Краснокутский
        Николай Габченко
        Петр Сёмка
        Антон Огнев
        Алексей Пузиков
        Георгий Аревшатов
        Наталья Цыганок
        Андрей Коваль
        • Пользуюсь случаем передаю привет Леше и Сергею :)
    • про Гильермо Дель Торо забыли!
  • Фантастика.
  • впечатляет
  • Не могу представить, что будет в будущем.
    • Просто немножечко подождём)
  • В последний месяц перед премьерой фильма дата-центр Weta Digital обрабатывал в среднем по 1,3 млн. задач рендеринга в сутки – по 7-8 Гб данных в секунду, 24 часа в сутки!

    Последний месяц он самый напряженный. Хорошо, что успели к запланированной дате :)
  • молодцы, не зря старались!
  • Достаточно интересное видео о том, как происходили съемки и чем были экипированны актеры. Как раз то, что было до рендеринга.
  • … А через 7 лет у каждого школьника на столе будет стоять компьютер, сравнимой мощности. И сцену из Avatar он будет рендерить как пример.
    • финальную сцену из Титаника сделали 15 лет назад — сможет школьник такое сейчас сотворить? не все в производительность упирается
    • Пусть школьник через 7 лет будет играть в риалтайм игру с графикой Аватара.
  • Вот еще свеженькое о процессе создания Аватара (англ), какие технологии, программы и т.д.:
    features.cgsociety.org/story_custom.php?story_id=5434
    features.cgsociety.org/story_custom.php?story_id=5434&page=2

    и тут немножко (рус):
    3dyuriki.com/2010/01/12/film-avatar-interesnye-fakty-processa-sozdaniya/
  • Свежее видео making-of фильма Аватар (как они на Гаваи летали, жили в диком лесу, чтобы прочувствовать всю прелесть природы и т.д.):

    Part 1: www.youtube.com/watch?v=o47vlm603QM

    Part 2: www.youtube.com/watch?v=11DLOVLj8xo

    Part 3: www.youtube.com/watch?v=uXX_yaDVLk8

    Part 4: www.youtube.com/watch?v=Gf-D66t2AjM

    Part 5: www.youtube.com/watch?v=n7D8mtVjaG8
  • Статья ни о чем… реклама HP.
    А обсуждение крайне интересное…
Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.