Этот год для компании станет «годом Cluster-mode», несмотря на то, что поддерживающая этот режим работы версия Data ONTAP, собственная внутренняя OS, которая работает во всех системах хранения NetApp, в версии 8.0 вышла еще в 2008 году, по настоящему ее возможности по созданию «многоузлового кластера хранения» начинают реализовываться только сейчас.

Но для начала немного истории.
О перспективах развития систем хранения в направлении «облачных» систем начали говорить уже несколько лет назад, хотя тогда еще не вошло в IT-лексикон это модное слово, и тогда говорили о GRID-системах, идущих на смену «классическим» сетевым системам хранения.
Нет ничего удивительного в том, что NetApp, как компания традиционно много внимания уделяющая перспективным направлениям в отрасли, занялась темой «облачных» кластерных систем одной из первых. И вот что из этого получилось.

А сегодня я хочу показать вам сделанную недавно одним из моих коллег подборку фотографий, в популярном среди гиков жанре unboxing, с пришедшей к ним недавно системы FAS2040A с дополнительной дисковой полкой DS4243. Кстати сказать, это именно тот самый проект, о котором я писал свой предыдущий (так удивительно малопопулярный в этом блоге) пост.
Пару месяцев назад оборудование было доставлено заказчику, и я попросил его пофотографировать некоторые основные этапы распаковки и установки, чтобы показать их вам.

В данном случае, так как NetApp FAS2040A с дисковой полкой DS4243 прибыл гораздо раньше всей остальной кухни (за что большой респект за оперативность дистрибуторам и партнерам, вот учились бы некоторые), мы начали с него, и именно поэтому на фото нет кроме него пока ничего. Но тут, в конце концов, не блог компании Cisco ;). По состоянию на сегодняшний день проект уже полностью развернут и запущен в «опытную эксплуатацию».

Итак, вот что вы получаете, когда к вам прибывает новый сторадж NetApp.

Про теорию я уже поговорил в данном блоге достаточно, и пообещал повернуться к практическим вопросам и конкретным реализациям, на примере которых мы посмотрим, как все то, что я уже рассказал «играет» на практике. Так что «ближе к телу», как говорил Мопассан ;). Сегодня я расскажу о практическом проекте, который я недавно завершил, участвуя в нем как архитектор и консультант. Мне показалось, что получившийся проект достаточно интересен, в качестве типового для задач построения серверной виртуальной инфраструктуры, имеет множество возможностей для дальнейшего роста, и возможно кто-то захочет взять его за основу своего решения сходной области.

Вводная информация по проекту была такая.
Организация рассматривает возможность создания большого внутреннего «частного облака», на котором планируется оказывать внутренние IT-услуги в разветвленной организационной структуре компании, аренды приложений, SaaS, развертывания системы виртуализации десктопов (на базе VMware View и/или Citrix Xen Desktop) и так далее. Базовой системой для организации «облака» планируется решение VMware. Специально, для невнимательно читающих, особо выделю, что речь идет про внутреннее частное «облако», со своими, специфическими задачами и требованиями, НЕ про услуги веб-хостинга.

В предыдущих постах этого блога я постепенно рассказал про наиболее значимые возможности систем хранения NetApp, пришла пора разбавить сухую теорию практическими делами. Здесь и далее я собираюсь писать о том, как все эти фенечки работают для тех или иных решений, для виртуальных инфраструктур, баз данных, высокопроизводительного файлового сервиса и прочих традиционных областей применения NetApp.
Я отдаю себе отчет в некоей провокативности заголовка, однако постараюсь защитить свою позицию текстом статьи. Если же вы придерживаетесь другого мнения о «идеальном» хранилище для VMware ESX, или, шире, для любого средства серверной или десктопной виртуализации, то буду рад обсудить это в комментариях.

Хотя системы серверной и десктопной виртуализации и не являются единственным рынком систем хранения NetApp (например в этом году Ларри Элиссон сделал нашумевшее заявление, что, по его сведениям, до 60% бизнеса NetApp это хранение баз Oracle (рус.)) но таков нынешний тренд рынка, что продукты VMware, MS Hyper-V, Xen, и аппаратные решения под них — это самый передовой, технологичный и быстро растущий сегмент программного и серверного рынка. Ничего удивительного, что NetApp им так плотно занимается почти с самого момента появления этой отрасли на свет. Ведь так получилось, что идеи и принципы, заложенные в системах хранения NetApp удивительно хорошо совместились технологически с тем, что сейчас делают вендоры систем виртуализации в своей области.

Прежде чем мы начнем рассматривать подробно основные «фишечки» NetApp в этой области, давайте просто перечислим то, что является самыми интересными и «цепляющими» возможностями систем хранения NetApp, конкретно в этой области (линки ведут на предшествующие статьи на Хабре, посвященные рассказу об этой возможности).

Месяц назад компании Cisco, NetApp и Microsoft объявили о разработке совместных облачных платформ в рамках инициативы Hyper-V Cloud FastTrack. Эта инициатива призвана объединить производителей аппаратного обеспечения и облачную платформу Microsoft с целью максимально быстрого и лёгкого построения подобных решений.
Давайте теперь более подробно рассмотрим компоненты данного решения в исполнении NetApp и Cisco. Решение построено на гибкой унифицированной архитектуре (Unified Architecture). Как правило, основными компонентами решения Hyper-V Cloud Fast Track — с точки зрения аппаратного обеспечения — являются следующие элементы:
1) сервера x64-архитектуры (Рекомендуется подобрать несколько одинаковых серверных узлов и объединить их в кластер)
2) системы хранения данных (желательно чтобы эти системы обладали возможностями виртуализации дискового пространства)
3) коммуникационное оборудование для передачи IP и SAN трафика (это могут быть как конвергентные устройства, так и отдельные устройства под IP трафик и SAN трафик соответственно)

В нашем конкретном случае схема выглядит так:

Итак, допустим, вы с интересом читаете все статьи о интересных фичах NetApp, и может быть даже придумали чем они могут быть вам полезны, но увы.
— Где же вы были год назад, — вполне резонно можете сказать вы мне — Когда мы покупали систему хранения от (вставьте название какого-нибудь вендора)? А теперь все, «я другому отдана и буду век ему верна». Ну или не век, а до конца срока оплаченной поддержки, обычно. Отчего вы не рассказали про все эти ваши возможности раньше, до того, как мы купили эту нашу систему хранения?
— Не беда, — скажу я вам в ответ, у NetApp есть и на такой случай что предложить.

В 2007 году, консалтинговое агентство Forrester провело опрос 250 IT-специалистов, с целью оценить риски аварий для IT, как внутри датацентра, так и вне его, например риски природных аварий и катастроф.

После обработки и публикации результатов стало понятно, что привычное средство обеспечения отказоустойчивости в виде, например, традиционного «дублирующего, избыточного контроллера и RAID» может защитить всего от 31% всех возможных отказов.

На графике вы видите также такие IT-дизастеры как отказы электропитания (" — что случилось с вашим электричеством? — Оно моргнуло." ), проблемы с ПО ("…и будет закрыто"), человеческие ошибки ("как ты сказал имя тома, который надо было размонтировать и грохнуть?"), ошибки сетевых настроек (" — а какой интерфейс использовать? — попробуй eth0."), а также и разнообразные природные (и не очень) катаклизмы, такие как пожары, наводнения и так далее.

Таким образом становится ясно, что традиционные средства защиты работоспособности данных защищают его, увы, недостаточно, сколько бы «девяток» вам ни обещали в рекламе. И когда стоимость потери или простоя данных становится весьма существенной, встает вопрос поиска решения, обеспечивающего большую надежность, чем решения традиционные.

А еще NetApp участвовала в строительстве Звезды Смерти. :)
Deathstar — «Звезда Смерти» — так исторически называется вычислительный кластер, используемый подразделением 3D-моделлинга LucasFilm, компании ILM — Industrial Light and Magic.

С 2007 года системы хранения NetApp используются для хранения данных, используемых всем IT-комплексом LucasFilm, куда входит ILM (Industrial Light and Magic), их 3D modelling and rendering студия, видеопроизводство и монтаж, подразделение LucasArt (видеоигры), а также вебсайт Starwars.com.
Емкость хранения на сегодня превышает петабайт данных.

Овечка Долли из заголовка — это ставшее нарицательным имя первого успешного клона высокоуровневого живого существа, созданного наукой. И хотя в биологии клоны пока еще область экспериментальная, в IT и в области хранения данных тема клонов обосновалась крепко и широко.
Возможность быстро (и что немаловажно — экономично, с точки зрения занимаемого пространства и времени) создать полную копию тех или иных обширных данных — задача сегодня очень востребованная. Такой клон данных можно было бы использовать для задач тестирования, разработки, и прочих экспериментов, когда нежелательно или прямо невозможно делать это на «боевых данных».

Когда мы платим за свет, воду газ, задумываемся ли мы, откуда все эти блага берутся? Нет. И это естественно. Нам важно, чтобы свет был, а откуда он берется – нам не интересно, нам нужен ресурс.

Концепция облачных вычислений имеет схожую схему, она состоит в том, чтобы взглянуть на IT со стороны бизнеса, получить наибольшую прозрачность ИТ-ресурсов, абстрагироваться от восприятия IT как «кучи греющегося и пылящегося железа». Настал тот самый хабрамомент, когда следует упомянуть о принципиальных особенностях технологии – абстракции. Когда мы абстрагируемся от конкретной модели сервера, от конкретных «железок» в его конфигурации – мы получаем свободу работать на любом оборудовании (естественно, следует помнить, что от типа архитектуры процессоров мы не избавимся).

А вот абстрагироваться от конкретной системы хранения данных или же виртуализовать ее – эту уже не столь тривиальная задача. Эта задача может решаться разными способами: