18 января 2011 в 09:15

NetApp AutoSupport — «Позвоните родителям!»

image

Впервые начавших использовать NetApp иногда сильно поражает вид «человека с толстой сумкой на ремне», курьера компании UPS, в понедельник утром принесшего коробку с новым жестким диском на замену вышедшему из строя в их системе вечером, после окончания рабочего дня, о факте чего админы, иногда, еще и сами не знали.
Админы не знали, а отдел поддержки NetApp уже узнал из сообщения системы Autosupport, обработал заявку, проанализировал ситуацию, и отправил жесткий диск на замену.


Autosupport это специальная служба собственной OS NetApp Data ONTAP, работающей внутри этих систем хранения
Эта служба, в случае обнаружения нештатных событий, а также еженедельно в случае нормальной работы, собирает с работающей системы хранения и отсылает в сервисный центр служебную диагностику и логи. На основании анализа этих логов, сервисная служба видит обстановку, принимает меры, высылая запчасть со склада на замену неисправной, а также может предпринять упреждающие и корректирующие действия, а на расширенных уровнях поддержки также дает рекомендации по оптимальной настройке системы или разрабатывает процедуры, например миграции данных или оптимизации производительности.

Autosupport отсылает эти логи в виде обычного plaintext e-mail, с приаттачеными zip-файлами (логи также в plaintext), что очень удобно, например, в случае необходимости, контролировать эту отправку имеющимися на предприятии средствами контроля и обеспечения безопасности, так как можно вполне тривиально настроить работу через локальный SMTP-релэй с полным контролем. (Есть также возможность отправлять логи по http или https).

image

Помню сколько мучений было с аналогичными сервисом call home одной из «больших» систем [другого вендора], которая норовила за тем же самым регулярно звонить встроенным модемом (!) по диалапу (!!) из Комсомольска-на-Амуре в Голландию (!!!), и при этом слала туда, с секретного военного предприятия, на территорию страны-члена НАТО, что-то внешне совершенно бинарное. То, что секретчики завода с*али кирпичами и выедали админам мозг — это очень деликатное описание ситуации.:)

Конечно же можно (нужно!) также настроить, чтобы письмо autosupport также приходило и дежурному админу, или в корпоративную alert-систему (и, например, с отсылкой уведомления в SMS дежурному), чтобы своевременно узнавать о событиях в жизни хранилища.

Если же даже такая отсылка сообщений Autosupport в сервис NetApp невозможна (такое бывает при установке переключателя активности в службе безопасности компании в положение «параноидально»), то в этом случае сисадминам придется вручную отправлять логи в поддержку (это тоже поддерживаемая возможность). Обратите внимание, что в этом случае сроки сервисного обслуживания исчисляются не с момента выхода из строя детали, а с момента уведомления сервиса таким письмом, со всеми необходимыми данными, ответственность за оперативность в этом случае ложится на административную службу клиента.

Все системы NetApp поставляются с официальной вендорской hardware warranty на 3 года (может быть расширена до 5 лет), по которой, в течении этого срока, компания осуществляет за свой счет доставку замены для вышедших из строя частей, по месту установки оборудования (onsite delivery)
Onsite delivery не означает выполнения процедуры замены, и если, например, вы, по каким-то причинам, не можете извлечь по описанной в документации процедуре сбойный жесткий диски из дисковой полки, и заменить его на доставленный, то операцию onsite replacement, за какие-то дополнительные деньги, осуществляет ваш местный партнер NetApp. Однако, вопреки прискорбной практике enterprise-индустрии, NetApp не навязывает подобных услуг своим клиентам, как это, увы, делают многие наши конкуренты. Системы хранения NetApp традиционно являются customer serviceable, и если у вас достаточно прямые руки, чтобы вынуть hotswap диск с горящей красной лампочкой и заменить его на исправный, или заменить любую другую меняемую на месте установки системы деталь (на птичьем языке сервисников мы зовем это FRU — Field Replaceable Unit), то вы можете делать это и сами, сэкономив на недешевых обычно услугах российских сервисных служб, и не лишаясь за это гарантии вендора.

В Москве и Санкт-Петербурге, то есть в городах размещения сервисных складов, также доступна платная опция апгрейда сервиса до 24x7x4h, то есть четыре часа круглосуточно. Однако помните, что круглосуточный сервис накладывает определенные обязательства и на вашу компанию, так, например, вы должны иметь возможности и процедуры принять ночного курьера с запчастью по адресу, указанному как «адрес доставки» в сервисном контракте.

Часто приходится слышать, в особенности от клиентов, уже попробовавших «сервис» ряда, подчас довольно именитых, вендоров: «Ну, эти ваши Next Business Day — это все сказки, это работает только в штате Калифорния, или еще каком месте „там“, в России это невозможно!»
Автор блога, посвященного технологиям NetApp в России, не так давно попробовал проанализировать по имеющимся записям в сервисной базе Autosupport оперативность сервиса в России. Если с Москвой все обычно и так хорошо, то что же с заМКАДьем?
Вот какие данные удалось найти (отмечу, что это не специально выбранные данные, это первые попавшиеся события в кейсах автосаппорта, связанные с доставкой запчастей):

Организация в городе Сургут, Тюменской области, эксплуатирует FAS3020 (6 полок дисков, 84 штуки) с октября 2007 года.

22 января 2009 года, четверг, в 08:06 PST (Pacific Standard Time, “среднекалифорнийского”, в кейсовой системе NetApp время записывается “американское”. PST это GMT-8), то есть в 19:06 московского, или 21:06 местного, сургутского, система сообщает о выходе из строя диска. («нерабочее» время возникновения события, в случае режима поддержки NBD, автоматически переносит его на следующий рабочий день, прим. track) Автоматически заводится кейс.

Через минуту, 08:07 он обработан сотрудником поддержки, и заведен RMA (Return Materials Autorisation), то есть отдана команда на доставку.

В 20:54 того же дня, то есть в 23 января, 7:54 утра пятницы московского или 9:54 пятницы местного делается отметка в кейсе, что кастомер уведомлен, и контакт доставки подтвержден.

23 января 2009, в 03:56 PST или 16:56 местного делается отметка, что диск отправлен.

По UPS tracking number можно отследить подробности доставки:
Delivered on: 26.01 (понедельник), 14:26, местного времени.

Другой обнаруженный случай “немосковской” onsite dielivery.
Калуга. Также FAS3020, 2 полки дисков, с июля 2008.

10/15/2009 02:05:22 PST  — отказ диска зарегистрирован в кейсе.
10/15/2009 05:33:10 PST – RMA заведен, получено подтверждение об отправке из UPS.
10/17/2009 03:34:17 PST — “customer requests case be closed on NOW: Hi Disk is replaced. Ok to close”


Как видите, оперативность доставки близка к заявленной.

Обратите также внимание, что доставка происходит со склада растаможенных запчастей, в Москве и Петербурге, на которых постоянно поддерживается достаточный ремкомплект для всех проданных на территории России систем, и этот склад практически независим от периодических «взбрыков» таможни, странностей и причуд которой давно нахлебались досыта все имеющие дело с ввозом из-за рубежа. Доставку же из-за рубежа до склада, и дальше по России, осуществляет известная и авторитетная (и недешевая, кстати) курьерская компания UPS.

PS. Хотел еще парой слов рассказать про «расширение» AutoSuport, службу My AutoSupport, персональный web-dashboard состояния и анализа конфигурации и производительности системы хранения, а также средство «проактивного», то есть упреждающего контроля. Но понял, что парой слов не обойтись, этот продукт стоит отдельной статьи.

PPS. На традиционном «фото для привлечения внимания» в начале статьи — задняя часть контроллера системы FAS3140, видны установленные как карты расширения ввода-вывода две четырехпортовых карты Gigabit Ethernet и карта портов SAS для подключения новых дисковых полок стандарта Wide SAS.
Автор: @track
NetApp
рейтинг 49,14
Компания прекратила активность на сайте
Похожие публикации

Комментарии (25)

  • 0
    А все же что именно посылается в логах? Кто может гарантировать отсутствие там конфиденциальной информации?
    • +6
      1. Вы всегда можете проконтролировать это любыми средствами, все данные открыты (plaintext и gzip, открытые протоколы smtp и http, либо закрытый https, если необходимо пересылать через публичные сети).

      2. Вы можете отключить автоматическую отсылку, но для обеспечения hardware warranty и сервиса придется делать это вручную. Кроме того не будет доступа к ряду приятностей, типа того же proactive analysis. Лично я считаю, что снижение надежности работы не стоит того, тем более, что свыше 200 тысяч систем сейчас используют autosupport по всему миру вот уже в течение 19 лет, и никаких «уязвимостей» за это время не было обнаружено.

      Максимум privacy-related в отсылаемых данных — это имена сетевых шар или имен LUN-ов. И если вы не называете шары в виде \\filer1\Nuclear_bombs_Invoiсes_for_NKorea\ то ничего более приватного там в логах нет. Точно нет паролей и binary data.

      Ну то есть вот в качестве примера, аттачи в приведенном письме:
      ems(enterprise messaging system) — что-то типа messages + syslog юникса
      rc.conf
      exports (файл экспортов NFS-а)
      hosts
      resolv_conf
      nsswitch
      cm_stats (какие-то счетчики производительности в виде xml-файла)
      quotas
      leak_data (какие-то счетчики, что-то связанное с анализом на утечки памяти в OS)
      shelf_log_esh (логи дисковых полок)
      volhist (история монтирования-размонтирования NAS-томов)
  • +8
    Спасибо за ссылку на мой скромный блог. Пошел включать кэширование в вордпрессе ;-)
  • +4
    долго вчитывался в первое предложение…
  • 0
    Если в системе хранения NetApp(например в FAS2020) вышел из строя диск, можно ли использовать диск подходящего объема и формата купленный в магазине(Fujitsu/Toshiba/Seagate)? Или нужен диск купленный/полученный в NetApp?

    Можно ли заполнить дисковую полку NetApp дешевыми Seagate/WD SATA по 1Гб… или нужны фирменные диски по 1000$?
    • 0
      Конечно же нельзя. Сервис оказывается на систему в целом, а как можно оказывать сервис на неизвестно что, например на диски, которые куплены «на стороне»? Никак.
      Как можно дать гарантию работоспособности на оборудование, которое видишь в первый раз в жизни?

      Именно поэтому все вендоры, скажем так, Tier-1, что серверные, что систем хранения, продают свои сервера и системы хранения только лишь со своими собственными компонентами, даже если это просто диски, процессоры, DIMM памяти, и так далее.

      Если же вам край как надо использовать диски и прочее «с базара», то вам нужно покупать северные «конструкторы». У серверных брендов это, например Supermicro, у стораджей такое тоже есть, например Xyratex или Infortrend. Разумеется, даже в этом случае есть определенные требования по совместимости (списки так называемых Compatibility lists).
      Однако уровень сервиса там будет уже другой. «На следующий день» уже не заменят. Да и сервис не вендорский, а партнерский, российский. И если «таможня встала», то курим, ждем, всей Москвой.

      Так что тут приходится выбирать — или «хороший, надежный сервис», или «подешевле».
      • НЛО прилетело и опубликовало эту надпись здесь
        • 0
          1. Можно стать «сервис-провайдером» (забыл как точно этот статус называется), в этом случае ваша компания становится как бы «посредником», получая за это скидку с цены сервиса на проданные системы.
          2. Можно указать адресом доставки на проданные системы вас, а не customer site. Доставка производится по указанному в профиле системы адресу.

          Часто такое делается для всяких value added сервисов, например, как я написал выше, если у клиента нет своих админов на сайте, или они какие-то дополнительные сервисы от вас покупают, например на сервера и телеком тоже.
          • +2
            RSP — Registered Service Provider оно называется.
        • 0
          Или, например, как часто бывает в России, кастомер сайт где-то за четырьмя рядами колючки, бабушками с берданками и пропускной проходной. :)
      • 0
        Спасибо за ответ.

        >Однако уровень сервиса там будет уже другой. «На следующий день» уже не заменят.
        Тут я не согласен… можно просто держать в запасе пару SAS 300Гб по 6000 руб и десяток SATA 1Тб по 3000 руб. Соответственно замена будет произведена сразу, после реакции системы мониторинга.
        • +1
          Ну то есть если вы готовы на такой вариант, то покупайте Xyratex/Infortrend/Axus, только и всего. Они на такой вариант согласные.
      • 0
        в этом описании больше лукавства, чем правды!
        действительно IBM или HP не рекамендует ставить не свои диски или память! но при этом они не блокируют технически возможность ее туда ставить и гарантию на motherboard не анулируют.
        с системами хранения все по другому — ни в netapp, ни в emc нельзя поставить диски, которые продаются где-то еще!
        хотя диски отличаются только тем, что они отформатированы чуть по другому и firmware там стоит особенный.

        но самое свинство — что netapp бегает по всему интернету и пытается вычистить все упоминания процедуры превращения диска за $70 в диска за $600 =)

  • +2
    По опыту отправок UPS или DHL — совсем не безоблачная ситуация, особенно в регионах, особенно если это не крупный город.
    Рекламка симпатичная, но жить в стране иллюзий не стоит.
    Если вы сами гарантируете доставку — это одно, если вы говорите «надежная доставка UPS», это совсем другое.
    У меня были ситуации (с DHL), когда приняв груз в понедельник в Питере на адрес в Сочи, в пятницу раздавался звонок о том, что доставка по указанному адресу осущствлена быть не может, типа перепутали и этот адрес выходит за зону обслуживания.
    Кроме того, не стоит забывать, что бывают случаи, когда самолеты не летают по объективным причинам.
    Поэтому просьба одна — рекламировать сервис, не перегибая палку, если вы не можете гарантировать то, что декларируете.
    О том, что вы со своей позиции отрабатываете инциденты быстро и автоматом — и верю и знаю. Единственное узкое место — доставка. И об этом тоже надо предупреждать. Не всех могут устроить склад в Питере и в Москве.
    • +1
      Думаю, что о работе DHL и UPS надо писать в отдельном блоге, а этот блог — компании NetApp. :)
      Тем не менее мой личный опыт таков, что из имеющихся курьерских служб, в России, UPS — лучшая. (я имел дело по 24х7 сервису как с UPS у NetApp, так и с DHL у другого вендора, DHL, если честно, вообще кусок прикола;).
    • +1
      > бывают случаи, когда самолеты не летают по объективным причинам.

      Все верно, именно поэтому в России Next Business Day трактуется как Best Available Flight в документах. Что ж поделать, страна такая, большая.
      • 0
        Вот если бы вы в блоге так написали сразу, то я вопрос и не поднимал бы.
        :)
        Просто было написано именно Next Business Day :)
        А так — здорово, молодцы. Все бы так работали бы…
        • 0
          Ну вот, тем не менее, вот я нашел два случая «немосковской» доставки NBD, и это был действительно NBD.
          Случаи, разумеется, разные бывают, но вот в логах саппорта два факта таких нашлось. Больше просто из доступных мне (я не все, конечно, вижу, только относящееся к моей компании) «немосковских» доставок по автосаппорту не было.
  • +3
    а при чём тут «позвоните родителям»?
    • +1
      Ну а кто у стораджа родитель? ;)
      Вот и звонят «Папа, вышли денег диск». :)
      • 0
        не. Здравствуй мамо, вышли сало :)
        • +2
          Наоборот.
          «Вышли сало, здравствуй мама»
  • 0
    У меня где то в столе валяется распечатанный на А4 номер SMARTNET от CISCO.
    5NBD REPLACE между прочим.
    Скоро справим ВТОРОЙ год как едет по открытому тикету(до сих пор открыт).

    Русская таможня это миракл итить.
    • 0
      Я, как представитель фирмы-интегратора, могу сказать, что на такой случай приходится держать собственный ЗИП. И, вообще, «итить» — это про таможню да, но не только про русскую :)
    • 0
      Да, к сожалению у Cisco (увы, она такая не одна) нет российского растаможенного склада, по крайней мере для «рядовых» заказчиков и базовых уровней саппорта.

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное