Компания
180,06
рейтинг
24 июня 2014 в 10:00

Разное → Как я возил робота, чуть не поседел и залил кровью серверную

Это история одного из самых запомнившихся случаев в моей инженерной практике. По понятным причинам я поменял имена, места и некоторые узнаваемые детали, чтобы нельзя было точно определить заказчика и других участников истории.


Вот так выглядит ленточное хранилище (наше было поменьше) и библиотечный робот (наш такой же). Китаец в комплект не входит.

Часть 1. Коробка


Помню, стояли последние дни ноября. Уже думая об окончании рабочего дня, я планировал свой вечер, когда вдруг мне сообщили, что в славном сибирском городе N у нашего заказчика сломалась ленточная библиотека. Запчасть сразу же отправили транспортной компанией, но вот уже 3 дня, как она все еще была в пути. Транспортная компания невнятно объяснялась и хмыкала в телефон, а заказчик стал не в шутку нервничать. Прогнозы были неопределенные, поэтому было принято решение везти еще одну запчасть своими силами на самолете. Сотрудник склада вручил мне габаритную коробку весом килограмм десять, обклеенную штрих-кодами и стикерами, и радостно хлопнул меня по плечу со словами: «Только не вздумай в багаж сдавать — помнут».

Коробка меня, безусловно, беспокоила, но не меньшее беспокойство мне внушал пакет с сухим молоком, который в последний момент мне вручил менеджер проекта. «У них там какие-то траблы с молочкой сейчас… из-за непогоды что ли… ребята местные просили 2 кг им привезти. Тебе ж не сложно?» — сказал он. По выражению его лица и характерному жесту ладони, как бы прикрывавшей мне рот, было ясно, как он сейчас хотел, чтобы я оказался сговорчивым или даже немым.

Важное отступление


Эта история произошла несколько лет назад, в мою бытность инженером, когда я много летал по стране, и, просыпаясь в очередной гостинице, иногда не мог сообразить, в каком я сейчас городе. 4-5 командировок в месяц накладывали свой отпечаток на уклад жизни. И олицетворением этого уклада был мой всегда готовый к очередному путешествию рюкзак.

Часть 2. Библиотекарь


Я вылез из такси, и неожиданно у здания аэровокзала меня остановил сотрудник милиции. «Ваши документы!» — выплюнул он, и чувство глубочайшего удовлетворения почему-то разлилось по его лицу. Дул злой промозглый ветер, мешая мне разобраться с карманами и сумками. Я, как смог, извлек свои документы и протянул блюстителю правопорядка. По идее, молодой человек, который путешествует только с ноутбуком, большой коробкой и пакетом с белым порошком, не должен вызывать каких-то подозрений, поэтому я изобразил на своем лице искреннее недоумение. «Что у вас в коробке?» — спросил он равнодушно. Видимо то, что в пакете было не что иное, как сухое молоко, он уже своим профессиональным чутьем определил, и поэтому пакет его больше не интересовал. А вот коробка пока не поддавалась его проницательности. «Это робот», — сказал я.

В этом момент у меня возникло ощущение, что его равнодушное лицо подменили, ибо оно осветилось изнутри неподдельным интересом, как будто в недрах его шапки с кокардой дополнительно подключился модуль с функцией человеческого любопытства. Я понимал, что поторопился с ответом и надо было как-то ситуацию скорее исправлять. «Это робот… для библиотеки», — добавил я еще менее уверенно, продолжая наблюдать за подключением остальных модулей ехидства, злорадства и алчности. «Говорите, робот для библиотеки… Робот-библиотекарь что ли?»

Часть 3. Досмотр


Я продвигался к зоне посадки, вспоминая, как только что разделался с кокардой. «Обошлось, — думал я, — а мог бы и на самолет опоздать».

«Багаж на ленту, куртки, ремни и обувь снимаем, телефоны выкладываем…» — властно и бездушно командовала женщина в униформе. Водрузив свой скарб на ленту, я сам без звука и писка прошел через рамку металлоискателя. Было видно, что коробка с роботом не дает покоя сотруднице службы безопасности аэропорта, которая гоняла ее туда и обратно через рентген. «А что это?» — наконец вымолвила она, когда все сравнительные образы в ее голове иссякли. Я мял в руках пакет с молоком, обдумывая свою тактику, чтобы сейчас не повторить эпизод с кокардой. Но вдруг ее коллега, сидящая с ней по соседству, бегло глянула на монитор и произнесла: «Да это же робот для библиотеки L200. За эту неделю уже третий раз везут, сезон поломок у них пошел. Проходите, молодой человек!». Моему изумлению не было предела, но вместе с тем я был страшно благодарен благоволившему мне провидению, а также технической грамотности сограждан, работающих в аэропортах.

Часть 4. Усадьба


Ржавая «Волга» со скрипом мчала меня из аэропорта в гостиницу. Из тридцати человек сомнительного вида таксистов, встречавших ночной рейс перед зданием местного аэропорта, этот показался мне самым сдержанным. Во всем его сутулом и прокуренном облике чувствовалось какая-то добропорядочность и даже благородство. Впрочем, облик таксиста часто бывает обманчив, и он всю дорогу недоумевал, почему я живу в Москве, но так и не знаю, как дела у Аллы Борисовны Пугачевой. «Ты живешь с ней в одном городе, и не знаешь?!» — не унимался мой таксист. Он недолюбливал меня за невежество, но вместе с тем не хотел ударить в грязь лицом перед столичным гостем. К дверям отеля мы подкатили лихо и с визгом тормозов, завершив крутой пируэт, непозволительный для автомотоагрегата с таким почтенным возрастом. Дверь машины, казалось, распахнулась сама, или просто отвалилась. Услышав мой вопрос: «А вы мне дадите чек?», таксист замахал руками и напрочь забыл разговорные навыки.

Я вошел внутрь здания, озираясь на безвкусно украшенные стены и колонны, все с каким-то серым налетом, словно пыли. Здание было старинной постройкой, возможно, бывшей усадьбой. На ресепшене девушка безучастно красила ногти. Уверенный в своей, как клиента, правоте, я решительно достал свой паспорт и шлепнул его на стойку. Мадам нехотя отвлеклась от ногтей, презрительно глянула на мой паспорт и буркнула: «В долг не даем». «Чего… ?» — в голове моей понеслись междометия и прочие признаки крайнего негодования. «У меня здесь номер забронирован», — старался быть вежливым я. «Это казино! Вход в отель с другой стороны двора». Кто же знал, что оба заведения имеют одинаковое название? И еще я успел тогда подумать, что все это время таксист вез меня, видимо, думая, что я прилетел из Москвы в этот неприветливый зимний край прокутить содержимое коробки за картами и рулеткой.

Часть 5. Спать или не спать?


Гостиничный номер встретил меня шикарными гардинами до пола и затхлым запахом сырости. Я присел на край кровати, располагавшейся в нише стены, нежно опустил перед собой заветную коробку с роботом и от неожиданности поздоровался с пауком в углу. Работы у заказчика были намечены на 9 утра, на часах было 6 местного. В голове моей все еще гудели двигатели Ил-62 и другие прелести многочасового перелета. Я мысленно прикинул перспективы поспать пару часов и проснуться свежим, и принял правильное решение просто не ложиться. Физиологически у меня дело клонилось к позднему ужину, даже ночному кефирчику, поэтому я поправил на коробке наш фирменный зеленый скотч и пошел в душ.

Часть 6. Семен


Когда к 9 утра я прибыл с роботом и сухим молоком к заказчику, на проходной меня встречал представитель ИТ-отдела, который сказал, что его якобы зовут Семен. Семен без умолку говорил обо всем вокруг, то и дело вытирая рот рукой. По его виду и простоватым манерам было понятно, что в отделе роль встречающего ему достается чаще других, как самому малограмотному специалисту, но очень общительному человеку. Без сомнения, Семен вызывал доверие у людей, и, как позже выяснилось, обладал прекрасным, почти неукротимым аппетитом.

На этаже творилась суета, и пахло краской. Бурно жестикулируя, Семен объяснял, что это новое здание и сейчас здесь оборудована вторая площадка. И тут у меня зазвонил мобильный телефон. Это был менеджер проекта. «А ты уже добрался до заказчика? Слушай, помоги им там. Мы им сейчас кластер настраиваем. Наш Леша у них уже неделю. Что-то не получается. Тебе ж не сложно?»

Часть 7. Кластер


В сопровождении Семена я вошел в машзал. Повсюду были расставлены коробки разных размеров с надписями Dell, Cisco, EMC. Многие из них уже были вскрыты, вокруг лежали провода, рельсы для монтажа оборудования в стойки, кипы документации и электрики. Электрики не просто лежали, они копошились с проводами под фальшполом и негромко переругивались. В центре этого творческого хаоса возвышался старший специалист отдела Николай. Он проводил рабочее совещание. Скрывшись от совещания, за грудой коробок томился наш Алексей, щурясь в монитор своего ноутбука и тайком завтракая булкой. Семен тоже захотел булку, но ему надо было участвовать в совещании, поэтому он просто пыхтел.

С первых слов Николая я понял, что времени на запуск комплекса оставалось в обрез, меньше суток. С появлением второй площадки руководство поставило задачу реорганизовать одну из самых важных информационных систем. База данных — ядро этой информационной системы — должна была стать кластеризованной. Теперь она хранилась на двух системах хранения, между которыми осуществлялась синхронная репликация данных. А кластерное ПО отслеживало состояние всего комплекса и могло автоматически отреагировать на сбой, случись что-либо нехорошее на основной площадке. Подготовительные работы были почти закончены, но много времени было потеряно на поиск и устранение битых оптических линков между площадками, которые прокладывала подрядная организация. А еще предстояло закончить монтаж серверов, обновить на них операционную систему и микрокоды, а также все протестировать. Запуск комплекса в промышленную эксплуатацию был намечен на ночь — единственное время, когда можно останавливать ответственные финансовые системы.

Часть 8. От рассвета до заката


Я плохо помню, как прошел этот день. Помню только, что коллеги мне сразу заявили, что ленточная библиотека в свете сложившихся обстоятельств подождет, и сейчас мои руки важнее в другом деле.

Целый день мы монтировали серверы, крутили гайки, прокладывали кабели, подключали адаптеры. В перерывах мы вроде даже обедали и ходили гулять в лес. Затем я ставил операционные системы, накатывал патчи, колдовал с микрокодами. Иногда микрокоды колдовали со мной, и чтобы не дремать, я вспоминал, как в самолете стюардесса мастерски жонглировала чайником, сетуя на турбулентность, и раздавала чай опасавшимся кипятка пассажирам. Наступала ночь, из окна было видно, что над лесом взошла большая оранжевая луна.

Часть 9. Час Х


«Час Х настал» — бодро сказал, зевая, Николай, коротко посовещавшись с кем-то по местному телефону. «Настал, настал», — повторили ему из трубки, которую он еще не успел положить, и захихикали. Это были «прикладники», которые тоже дежурили в эту ночь и по завершении наших работ должны были убедиться, что все заработало.
На часах стрелки показывали полночь. Мы подошли к самому ответственному моменту, когда должны были переключить репликацию данных на другую систему хранения, дождаться завершения синхронизации и поднять кластер на второй площадке. Этим процессом полностью командовал Алексей, известный в наших кругах специалист по системам хранения. Еще некоторым было известно о его иррациональных повадках… Он, причмокивая, копировал в скрипт идентификаторы томов, сверяясь со списком, который ему предоставил заказчик. Через полчаса, когда эта кропотливая работа была закончена, Леша потрогал для верности клавишу enter, и убедившись, что она настоящая, нажал ее. Все тревожно чего-то ждали, и всеобщее молчание нарушал только треск люминисцентных ламп. Меня клонило под фальшпол и я наяву видел сон, но не помню, про что.

Часть 10. Без названия


Я очнулся, потому что синхронизация закончилась, но все были почему-то не рады. Кластерные службы не поднимались. Меня призвали из страны грез, чтобы я посмотрел в логи. Сквозь туман в моем сознании до меня стало доходить, что проблема была с дисковой подсистемой. Группа логических томов импортировалась с ошибкой и данные были недоступны. Причины были пока не понятны, зато начинала вырисовываться перспектива отката на старую конфигурацию, т.е. план «Б». В семь часов утра система должна была быть работоспособной, поэтому на раздумья времени не было. Тогда я еще и предположить не мог, что трагические события той ночи только начинали разворачиваться.

Я помедитировал еще пять минут и предложил делать откат на старую систему. Нехотя мои коллеги согласились, удрученно думая, что утром будут докладывать начальству. Мы переключили направление репликации и дали команду импорта дисковой группы на старом сервере. Я уже успел успокоиться и мечтал добраться до гостиничной кровати с чувством исполненного долга. И вдруг я услышал возглас: «А тут оно тоже не стартует». И внутри у нас все оборвалось…

Часть 11. Акелла промахнулся


Туман окончательно развеялся в моей голове. Говорят, что в экстремальной ситуацию организм человека мобилизуется. Я бешено соображал, что можно предпринять. Со стороны систем хранения все было в порядке. Убедившись в этом, мой коллега Алексей махнул рукой, расписавшись в своем бессилии, и пошел смотреть фильм на ноутбуке. Я уже говорил про его иррациональные поступки. Но формально к нему придраться было не за что.

Причина проблем вырисовывалась довольно четко. В дисковую группу ранее заказчиком были добавлены дополнительные тома, однако их забыли добавить в список дисков, которые реплицируются. При старте кластера дисковая группа была импортирована, но метаданные были обновлены только на части дисков, а новые оставались в режиме «только чтение». Теперь конфигурация дисковой группы была окончательно рассогласована, а данные недоступны ни с новой СХД, ни со старой.

Когда речь идет о финансовых данных огромной организации, их потеря равносильна катастрофе. Я сразу вспомнил похожую историю, когда на заре своей инженерной карьеры оказался с ремонтом у одного заказчика — серьезной структуры, легализовавшейся в 90-е. Они обсуждали, что их админ что-то по неосторожности удалил. «И что с ним случилось?» — между прочим спросил тогда я. «Ну, он пока сидит здесь в подвале, третий день уже. Ждем генерального, он решит, что с ним делать», — на полном серьезе отвечал мне бритоголовый сотрудник с тяжелой цепью на бычьей шее.

Часть 12. Хинди


Вы когда-нибудь чувствовали, как на голове шевелятся волосы, собираясь поседеть? Прикидывая, что мы потеряли базу данных, я даже думать не хотел, что будет утром.

В таких ситуациях, как наша, положено немедленно звонить в техподдержку производителя. Она, в такой час, понятно, англоязычная. Я примерно набросал для себя ключевые слова и набрал номер. Два гудка и мне ответил английский баритон. Я сходу рассказал, кто мы и что у нас случилось. Баритон терпеливо выслушал мой монолог и спросил: «What is first name?». Я оторопел, но, собравшись, с мыслями, ответил. Затем последовали вопросы про last name, customer name, city, location, serial number и так до бесконечности. Время неумолимо убегало. Закончив анкетирование, баритон попросил меня записать номер обращения и сказал ждать звонка специалиста. Специалист мне не звонил, он через 5 минут мне написал на электронную почту. Он написал, что он принял в работу мою заявку, но его смена закончилась, поэтому мне надо снова перезвонить диспетчеру и попросить назначить заявку на другого специалиста. Не понятно, почему некоторые считают, что работать не любят именно в России. Кажется, это заблуждение.

И вдруг случилось чудо. Мне перезвонил другой специалист, но он оказался из Индии. Второй глобальный центр технической поддержки был там и они сами приняли мою заявку. Я был рад ему как родному папе, но радость моя длилась недолго: мы друг друга не понимали. Было ясно, что он вроде говорит по-английски, но легче от этого не было. Иногда некоторые звуки его речи наводили меня на отдаленную мысль, что он имеет ввиду. Но в конечном счете наше общение свелось к переписке. Я напрягал память, вспоминая все лучшие моменты из индийского кино и пытаясь дать ему прочувствовать глубину нашего горя. Время шло. Индия, как и положено, пела и плакала, но помочь нам тоже не могла.

Часть 13. На рассвете казнь


В 4 часа утра мы поняли, что других вариантов не остается, кроме как восстанавливаться из резервной копии. Все взгляды устремились на ленточную библиотеку. Николай даже ползал перед ней, вытирая пол галстуком. «Сколько будет база с ленточки разматываться?» — спросил я местного бакапщика. «Часа три, наверное, — неуверенно ответил он, — но мы никогда не проверяли». Нам срочно нужно было заменить в библиотеке робота, потому что три часа у нас были с большой натяжкой. Никогда я еще так быстро не вскрывал упаковку и не завинчивал винты. С роботом, залитым кровью, было покончено, он встал на место. Кровью его залил я, поранив палец из-за спешки, но на перевязку времени не было. Шелкнул тумблер и библиотека осветилась изнутри светом, робот пришел в движение и начал калибровку. Мы столпились около библиотеки и глядели через окошечко, мысленно помогая ему двигаться и считывать баркоды с кассет. Он делал это медленно, с наслаждением, а мы, прижавшись, к стеклу, скрежетали зубами. «Проинициализировалась!» — сказал бакапщик, имея ввиду библиотеку. И добавил: «запускаю восстановление». Робот подумал секунду, потом резво метнулся к нужному ряду кассет, уверенно выхватил нужную, повернулся вокруг направляющей оси и поехал в сторону драйва.

В это время Алексей в углу за коробками восхищался фильмом и очередной булкой. Фильм шел без звука, но волнение на лице моего незадачливого коллеги было неподдельным. Инженеры часто возят с собой по длительным командировкам подборку любимых фильмов, которые хороши даже без звука. Ибо настоящее искусство, как, например, фильмы с Чарли Чаплиным можно смотреть и так.

Вдруг из библиотеки послышался звук глухого удара. Робот довез кассету до драйва, но не смог определить, где у драйва отверстие, и стал биться об его стенку, пытаясь ее куда-то вставить. Это было полное фиаско, и отчаяние охватило вас. К сожалению, механические запчасти крайне чутко реагируют на транспортировку, поэтому бывают случаи, когда новая запчасть сразу классифицируется как DOA (dead on arrival).

Часть 14. Надежда


Холодный пот катился градом по моему лбу и застилал мне взгляд. Я медленно нажимал на клавиши, перепроверяя каждую. У нас оставалось меньше часа до начала рабочего дня, и все наши попытки уже казались тщетными, как вдруг меня осенила мысль. «А вы давно последний раз диагностику со старого сервера собирали?» — спросил я у коллег. «Вчера вечером, а что?» — отвечал мне добродушный проголодавшийся Семен. «Там может быть есть вывод команды, которая отражает конфигурацию дисковой группы до изменений, и по этому выводу мы ее можем попробовать руками пересоздать».

И сейчас я занимался тем, что руками запускал команды, которые заново размечали диски на служебную область и область данных». «Ты это делал раньше когда-нибудь?» — спросил меня, выползая откуда-то Николай. «Нет, только статью читал, это шаманство, но надо пробовать», — ответил я. В другой раз мне бы сразу отсекли руки, если бы узнали, что я только что грохнул всю дисковую группу. Но сейчас это был единственный наш шанс, поэтому возражений не было. Мы все, находившиеся в этой комнате, были одновременно и приговоренными, и заговорщиками. Надежда в человеке не умирает никогда.

Я закончил с разметкой и набрал команду, которая согласно документации должна была заново создать дисковую группу, но не инициализировать пространство, т.е. не затирать имеющиеся данные. «Делаешь — не бойся, боишься — не делай», — вспомнил я Конфуция и запустил команду. Она, к моему удивлению и радости, выполнилась и не выдала ни одной ошибки. Я вывел конфигурацию, все логические тома были на своих местах, с нормальным статусом. Осталось проверить наличие данных. В нашем запасе было еще 15 мин. В помещении уже минут 40 трезвонил телефон, но на него никто не обращал внимания. Кто бы это ни был, ответить им пока было нечего. «Давайте запускать кластер» — предложил я, и сам удивился своему голосу.

В библиотеке робот неистово колошматился об драйв, видимо, надеясь его рано или поздно взять измором. Алексей поглаживал ноутбук, впечатлившись концовкой фильма. Семен терпеливо скучал, размышляя о том, правильную ли профессию он выбрал, а в перерывав мечтал о шоколадке. Кто-то еще храпел за стойками, то и дело подергиваясь во сне. Остальные действующие лица сосредоточено смотрели в монитор, на котором, без прикрас, была отражена вся наша жизнь. «Запустилось!» — выдохнул Николай и схватил трезвонившую трубку. Это были «прикладники», они уже мылили веревки и звонили прощаться. «Проверяйте приклад!» — гаркнул Николай и отряхнул галстук.

Часть 15. Коробка


Я сидел на коробке и счастливо улыбался, думая, как сейчас из всех жилых домов этого прекрасного города ручейками тянутся люди в бушлатах, ушанках и валенках. Они собираются в очередь к банкоматам, а те также радостно и надежно их обслуживают. И во всей этой картине было какое-то правильное человеческое счастье.

У нас все заработало, и за 2 минуты до начала рабочего дня система была запущена. Коллеги молча благодарили меня, пожимая руку и качая головой. Все, что произошло той ночью, мы собирались унести с собой, не выдавая никому.

Мне еще продолжал писать индус, все еще предлагая какие-то безумные идеи. В это время в машзал открылась дверь и просунулась чья-то заспанная физиономия. Это был охранник с проходной. Он молвил: «Там курьер приехал. Говорит, робота какого-то привез. Робота-библиотекаря вроде...».

Начинался новый прекрасный рабочий день.
Автор: @adubskiy
КРОК
рейтинг 180,06

Комментарии (134)

  • +76
    Теплая ламповость этой истории подарила мне хорошее начало рабочего дня.
    Вы рассказали это с такой теплотой и душевностью, что мне казалось, делали это лично для меня, спасибо :)
    • +3
      Хорошо сказано. Я прочувствовал историю всей душой. Благо подобные танцы по лезвию с кластером и хранилками у меня тоже были. =)
    • +5
      я веб-разработчик, но мне знакомо вот это чувство:
      Мы переключили направление репликации и дали команду импорта дисковой группы на старом сервере. Я уже успел успокоиться и мечтал добраться до гостиничной кровати с чувством исполненного долга. И вдруг я услышал возглас: «А тут оно тоже не стартует». И внутри у нас все оборвалось…

      очень знакомо…
      • –2
        госпади, даже не прикладник…
  • +27
    Очень сильно. А потом еще говорят, что у админов скучная монотонная работа за экраном монитора. Хотя, наверное, в каждой профессии так. Мы не замечаем маленьких подвигов бухгалтеров, сталеваров и специалистов типографии.
  • +54
    Вот так современная литература потеряла еще одного писателя.
    • +14
      От чего же. Разве, не имея этот прекрасный жизненный опыт, он бы смог описать так подробно и понятно нам эту историю? Как раз не потерян, ведь никто не мешает ему начать писать в любое время и совсем не обязательно начинать это делать в 20 лет.
      • +2
        Наверно я неправ.
        Историй у людей много, просто не все их рассказывают. И еще меньше их записывают, а со временем забываются детали и сама история. А автор почти мини рассказ написал.
    • НЛО прилетело и опубликовало эту надпись здесь
  • +15
    Прочитал на одном дыхании. Это прекрасно!
  • +27
    Вам нужно писать!
  • +30
    Прочитал этот экшн запоем. Зачётное чувство юмора и стиля изложения!
    Предлагаю подумать над собранием очерков «Записки инженера» :)
    • +10
      Спасибо. Мои коллеги тоже уже пишут про работу инженерной службы вообще и запомнившиеся истории с некоторых выездов. Будет у нас в корпоративном хабе.
      • +2
        Просьба: снабжайте такого рода произведения уникальным тегом, наприер, «Записки инженеров КРОК». Потому что, например, я хабр не мониторю прям уж постоянно, а потом найти уже будет сложнее.

        И советую все же писать, правда, если только если чуствуете в этом потребность — тогда получается все как по маслу, слова с оборотами нужные находятся и результат получается отличный.
        Я вот решился написать книжку, что называется по мотивам EVE, и получалось что пока был настрой дело двигалось, а потом замотался и теперь никак не идет. Поэтому я благоразумно нажал на тормоз и поставил все пока на паузу (

        P.S.
        Я вообще когда дошел до «В библиотеке робот неистово колошматился об драйв, видимо, надеясь его рано или поздно взять измором», то натурально так заскулил — ну не ржать же во весь голос как лошать в общественном транспорте. А так как ехал в электричке на меня еще как на дибила народ посмотрел. Ну а что я — читаю я — не видно что ли — сделал морду кирпичём, что не касаемо меня что вокруг типа — чё вы все на меня смотрите. Я просто в подобных ситуациях был, когда до утра два часа, а утром уже надо, поэтому реально могу оценить переданную атмосферу. Это потом когда вспоминаешь почти все смешно, а когда делаешь такая бурная гамма эмоций в процессе — азарт, надежда, разочарование, когда «внутри все обрывается» и безбашенные решения ибо кажется, что хуже уже всё равно уже просто быть не может…
  • +1
    Это шедеврально :) Мой день будет с самого начала под впечатлением об этой чудесной истории о крутых Инженерах!
  • +2
    Блин, как роман прочитал, спасибо!
  • +4
    Потрясающе, замечательный слог!
    Пишите еще =)
  • +9
    Без человеческой крови железки не работают…
    • 0
      Не так, От человеческой крови железяки сходят с ума…
      • +2
        Смотря какая кровь… 0-1 группа не приводит к безумствам железок.

        У меня вон новый велик как-то умудрился испить моей крови в самом начале, и ничего не сошел с ума!
        • 0
          Кровь 0 группы? это как?
          А по поводу второго — так то велосипед бездушный, а то робот-манипулятор — сложная механико-электрическая конструкция :)
          • 0
            • +1
              Если бы она имелась ввиду, то было бы указано "0-А группа не приводит"
              • +4
                Думаю, Alexeyslav имел ввиду O(I) (свою группу, вряд ли у него сразу 2 группы крови)
                • 0
                  Имел в виду именно две группы… разве они не с нуля начинаются?
                  • +2
                    Давайте как медик поставлю точку в споре. Есть две классификации. Одна даёт номера: 1,2,3,4. Вторая отражает генетическую информацию группы крови:0, A, B, AB. Где, 0 — первая группа, у которой нет ни A, ни B. AB — 4 группа, у которой есть и то, и то. Отсюда следует, что у родителей с 2 и 3 группой крови могут быть только дети с 4 группой. A0 x B0 = AB
                    • 0
                      Ой, туплю. Ещё у них может быть 0 — первая группа.
                      • +2
                        А еще вторая или третья
                        A + 0
                        0 + B
                        • 0
                          Пора спать) вы правы, чёрт возьми) я уже не говорю о такой экзотике, как Бомбейский феномен
                    • 0
                      Тогда что означает запись 0(1)Rh-
                      • +1
                        Первая группа крови, резус-фактор отрицательный (нет белка резус-фактора)
                    • +2
                      1я группа 0(I) — 00
                      2я группа А(II) — A0, AA
                      3я группа В(III) — B0,BB
                      4я группа AВ(IV) — АВ
                    • 0
                      общем групп крови чуть ли 2 десятка, просто редкие
                      • +1
                        Нет, по агглютининам и агглютининогенам — 4 группы. По резус факторы еще 2. Итого 8 основных разновидностей. A0, AA и тому подобные — это генотип, а не фенотип, то есть на выходе один и тот же белок, но разные гены. Это важно в плане передачи признаков потомству.
                        Вообще существуют и другие факторы, но их обычно не учитывают, так как они несущественны при переливании небольших объемов
                        • 0
                          еше агглютиногены: А1, А2, А3, А4, А5, Аz, A0, M, N, S, P, Di, Ln, Le, Fy, Yt, Xg и другие, всего более 200, наличие или отсутствие которых необходимо часто учитывать при переливании крови
                          • 0
                            Я не спорю. Просто это имеет смысл лишь при очень массивных переливаниях. Или при очень частых. Цельную кровь сейчас почти не вливают. Обычно отдельные фракции типа эритроцитарной массы.
          • 0
            Наверное, это не 0, а О, она же 1.
            • 0
              Тогда фраза не имеет смысла: «1-1 группа не приводит...» Ну и написано всё же 0, а не О.
              • +1
                0 по одной классификации, 1 по другой. Это как роутер и маршрутизатор.
                • +1
                  Как фаервол и брэндмауэр)
              • +2
                Это одна группа и есть, просто записано как «0-1», а не «О(I)».</vanga mode>
          • 0
            Велосипед вообще тоже довольно сложная механическая конструкция…
  • 0
    Как это прекрасно :)
  • +22
    <шутка>Суть повествования не раскрыта, что в итоге с сухим молоком то?</шутка>
    • +4
      Кстати да, очень интересно. Какой в нем сакральный смысл был? Не зря же оно столь часто упоминается.
      • +3
        Сакральный смысл мне кажется в том что могли люди в серых кителях забрать автора с молоком «до выяснения» и «пока анализы не докажут что это молоко», чего автор естественно опасался.
      • +5
        Присоединяюсь. Если в первом акте на стене висит ружье — то до конца представления оно обязательно должно выстрелить.
    • +1
      Как что… развели и съели в процессе. Что с ним еще можно сделать, это же считай концентрат сгущенки — очень энергетический.
  • +1
    На одном дыхании! Класс. Особенно про Семёна в конце 14-той части прикольно =)
  • +4
    Классно! Прям как-будто рядом стоял при разметке дискового пространства. Очень волнительно!
  • +2
    Спасибо автору за очень интересный случай из жизни.

    Доставил момент:
    И что с ним случилось?» — между прочим спросил тогда я. «Ну, он пока сидит здесь в подвале, третий день уже. Ждем генерального, он решит, что с ним делать», — на полном серьезе отвечал мне бритоголовый сотрудник с тяжелой цепью на бычьей шее.


    Хорошо что сейчас так вопросы не решают:).
    • +22
      Сейчас про это просто не треплют первому встречному :)
  • +2
    Спасибо! Вы сделали сегодняшний день лучше!
  • +2
    С таким даром к написанию рассказов вы вполне и книгу можете осилить. Было бы интересно почитать.
  • +2
    О, прям накатили воспоминания в сервисе интегратора 8 лет назад. :)
  • +3
    Романтика!
  • +1
    Ах, как в старые, добрые, ламповые времена, когда можно было до помутнения зачитываться такими историями в бумажных IT-журналах, которые бережно хранились в аккуратных стопках и дарили истинный азарт и наслаждение :-)
    Спасибо за чудесное начало дня!
  • +17
    Пошел переделывать бэкапы… Так, на всякий случай…
    • +1
      Когда делаете бекапы — лучше ещё и убедиться, что с них всё нормально восстанавливается.
    • НЛО прилетело и опубликовало эту надпись здесь
      • +1
        Коллегу из соседнего региона за такую мелкую ошибку уволили сразу. Не назвал бы это мелкой ошибкой :)
        • 0
          Не путайте объем косяка с его значимостью
      • 0
        Слова это хорошо, вопрос как?
        Я придумал одну процедуру для Bacula (еще не реализовал):

        После завершения полного рзервного копирования, развернуть копию (автоматически) на друой машине, и сравнить скриптом файлы в оригинале и развернутой копии. Так как ночь выходного дня, с файлами это прокатит, но если что-то по серьезнее, я пока не придумал как это проверять ((
  • +2
    Отлично написано!
    Интересно, а маны и комменты автора так же легко и захватывающе читать?!..
  • +8
    Прочел одним глазом, глядя другим как мигрирует сервер на другой сервер. Острота ощущений и погружений получилась — никакое 3D кино и рядом не валялось.
  • 0
    браво! отличный рассказ!
  • +1
    Неужто у вас монтажники и админы ходят в датацентрах в гаслтуках?
  • +7
    Чем-то «хроники тестировщика» напомнило.
  • +1
    А своими руками вместо робота кассету вставить было нельзя?
    • +1
      «у нас оставалось меньше часа до начала рабочего дня» Мне кажется, что времени на разворачивание из бэкапа всё равно бы не хватило, поэтому и не вставили.
    • +10
      Не все так просто. База большая, размазана по нескольким кассетам. Плюс восстановление идет сначала с полных копий, потом накатываются инкрементальные. Вся эта последовательность известна бакапному софту и он командует роботу, какую кассету брать, и драйву, насколько ее мотать. Человеку такая последовательность труднодоступна и это в любом случае крайне не быстро.
      • 0
        Спасибо.
        Я до этого считал что бэкап записан на 1, максимум 2-3 заранее известные кассеты, в известной последовательности.
        А теперь вы побудили меня начать изучать вопрос ленточного хранилища.
        • 0
          На хабре уже были статьи про «ленту» (или те, где эта тема так или иначе затрагивалась, хотя бы в комментариях) и некоторые из них довольно занятны. Найдёте без труда. Среди них есть и статьи (одна точно есть) в корпоративном блоге «КРОКа».
      • +1
        Так пусть бы робот кассеты носил а человек только вставляет…
      • НЛО прилетело и опубликовало эту надпись здесь
  • +6
    Это прекрасно! Вы не поверите, после предложения «Надежда в человеке не умирает никогда.» в офисе пропало электричество! Я не шучу. Включили его минут через 7, благо UPS на последнем издыхании смог поддержать сервер с виртуалками.
    Все же есть какая-то магия в Вашем рассказе!
    • НЛО прилетело и опубликовало эту надпись здесь
      • +2
        Это в SOHO сегменте такое нужно, а в больших компаниях такое даже не предусмотренно, там UPS только до момента запуска генератора.
        • +2
          А в больших компаниях происходит большой ОЙ, когда внезапно выяснится, что из-за ошибок проектирования и регламентных работ сепараторы на топливной магистрали полные воды (ДТ гигроскопично) и дизеля либо не заводятся, либо хлебнув воды встали. Или много еще реальных сценариев умирания дизелей можно привести…

          P.S. Если мне память не изменяет, то про ошибку проектирования и воду в дизелях толи ДЦ, только корпоративного ДЦ была даже на хабре статья.
          • 0
            В большихсерьезных компаниях регламент запуска дизеля раз в месяц плюс сезонные ТО по замене масла/фильтров/топлива.
            • +1
              Регламент не спасает от ошибок и ошибок проектирования и проведения регламентных работ. Попробую сегодня найти ту статью, но там и регламент был и все, кроме того, что для тестов и для реальной работы использовались разные баки топлива и в пусковом баке ДТ было нормальным, а в рабочих с водой, из-за чего после пуска и переключения на основные баки сепараторы переполнились и дизеля хлебнули воды.
              По нормальному, топливо из основных баков должно было перекачиваться в пусковой, а из него уже попадать в двигатели. В этом случае при любом сценарии регламентных работ проблема с основной соляркой выяснилась бы на них, а не после того, как на основные баки переключились при работе под нагрузкой.

              По этому в серьезных компаниях, где особо критичны процессы бывают и аккумуляторы, которые позволят корректно завершить работу без ущерба если дизеля не запустились.
              • +1
                Мы все по честному проводим, с отрубанием вводов здания, и минут 15 на дизеле гоняем.
                Правда на одном объекте трудно победить местных тетенек, которые любят чайники в бесперебойные розетки втыкать. Смотришь на экран ИБП, время резервирования с 90 минут эдак так до 60 падает, а через пару минут обратно — значит чайник закипел :)
                • 0
                  Отрубить бесперебойные розетки, не занятые бесперебойным оборудованием не дают?
                  • 0
                    На каждую розетку автомат не повесишь. Обычно закладывают на каждое рабочее место 2 розетки с бесперебойным питанием и одну «для чайников». А автомат один на этажную группу например.
                    • 0
                      при чем здесь автомат? я про то, что можно бы физически отрезать не используемые компами розетки от бесперебойника, и подключать их лишь когда новый комп ставят. В большой конторе компы и такие розетки все равно через айтишников идут.
  • 0
    Было что то подобное в практике, только масштаб учебного заведения с терминальным доступом. Массив тоже пришлось переделывать.
  • +2
    К таким ситуациям так по философски и поэтично можно относиться только спустя определенный промежуток времени. Можно себе представить какой стресс автор перенес во время такой командировки.
    • +2
      Стресс скорее был у местных, приходящий специалист обычно мало чем рискует, тем более упрекнуть его не в чем.
      • +2
        Как показывает практика, обычно, «козлом отпущения» делают человека со стороны. К сожалению, мне трудно представить, что если бы все таки базу потеряли, кто-нибудь из компании встал и сказал, что это его вина. Скорей всего пытались бы свалить всю вину на интегратора. Никого не хочу обидеть, но на моей практике по-другому не бывало.
  • 0
    А с роботом-то что? И с молоком…
    А то рассказ отличный, но тут как с некоторыми фильмами и сериалами — оставляют зрителя со своими мыслями, додумывать детали, концовку и ждать продолжения)
    • НЛО прилетело и опубликовало эту надпись здесь
      • +2
        Так нового же привезли)
  • +4
    Захватывающая история, отличный слог! Вам надо книжки писать.
    Также, мой внутренний Шерлок подсказывает мне, что действие проходило в одном из центров обработки данных Сбера.
    • 0
      Скотч все палит.
  • +6
    Мне одному кажется, что весь этот зрелищный факап произошёл по вине тех людей, которые планировали эту миграцию? И у которых были только очень приблизительные представления о сроках, буферах, методе критической цепи и прочих методах, которые только и позволяют не накостыливать экстренные решения в последний момент ценой техники безопасности?

    Ну то есть представим, что все железки встали в строй за неделю до миграции, а не в последний день. Ну и там что специалисту дали отоспаться, прежде чем что-то куда-то подключать, ломая логические тома…
    • +4
      Очень похоже на банальное «соблюдение сроков план-графика любой ценой» от менеджера проекта.

      Если бы руководство действительно подозревало чем всё может кончиться, то раздало бы всем профилактических пенделей, но работы бы отложили.
      • +8
        … А теперь руководство будет в полной уверенности, что «профессионалы» спасут в любой зажопной ситуации, «ведь в прошлый раз тоже все говорили, что нельзя так, что не уложимся, и, видите, ничего! Все заработало же! Значит можно!»
      • +1
        Ну где-то это я и имел в виду.
        «Соблюдение план-графика любой ценой» это же и есть недостаток управления.
        Хотя казалось бы, тезис о том, что «план это объект управления», и его соответствие реальному состоянию дел должно быть приоритетнее его неизменности — этот тезис должны бы вколачивать на первом курсе любой управленческой школы, эмбиэй-шмембиэй…
  • +4
    Молоко-то дошло до адресата?
  • +3
    Читал медленно и нервно. Ощущения как будто рядом стоял. Очень надеялся, что все получится.
  • –17
    Судя по всему для вас пишет «пейсатель»? Очень похоже на него
  • +2
    Чудесный слог у автора, большое вам спасибо за пост :)
  • +2
    А в Кроке так принято, что инженер, который кластеры настраивает, иногда и коробки таскает?
    • +3
      Да, если он сильный инженер.

      А слабых инженеров в КРОКе не держат.
  • +4
    Люто, неудержимо плюсую все, до чего могу дотянуться. Спасибо!
  • +1
    История великолепно изложена, читается только в путь, у автора прекрасный слог.

    Но что-то меня в ней напрягает. Точит меня изнутри мысль… А можно было бы избежать? А правда старт новой системы требовался кровь из носу через сутки (до поломки в смысле(? Если бы не торопились с запуском, возможно ошибки бы не допустили?
  • НЛО прилетело и опубликовало эту надпись здесь
    • +2
      Это объясняется просто… фейл не вылился бы в историю.
  • 0
    Спасибо огромное за рассказ. Вспомнились и мои приключения… Похожи — до невозможности.
  • НЛО прилетело и опубликовало эту надпись здесь
  • 0
    Уах, сердце буквально замирало! Прям какой-то админский триллер, брр… Спасибо огромное, один из лучших постов, прочитанных мной на Хабре;) Кто-нибудь знает еще подобные истории?
  • 0
    Потрясающе, на одном дыхании. Будто читал продолжение серии «Звездный лабиринт». Спасибо.
    Очень рад счастливому концу =)
  • 0
    Господи, как знакомо — когда за час до начала торгов ты успеваешь залить боевой дамп, быстро поднять систему и бегло посмотреть что все вроде как стартануло правильно.
    • 0
      я надеюсь, вы не с московской фондовой биржи? =)
      • 0
        Нет, но, экстрима хватало и у нас.
  • +1
    Уф, адреналин… я словно перенесся в то время и «летал» там вместе со всеми, столько эмоций от чтения я давно не испытывал. Интересно(или нет) какого быть Алексеем!? Но зато я в очередной раз убедился, проблема не приходит туда где с ней не могут справяться. Огромное спасибо, прекрасный рассказ.
  • 0
    Зачем китайцу видюха?
  • –2
    Реквестирую аудио вариант.
    • +2
      Голосом Николая Дроздова.
  • 0
    Аж до мурашек) Ощущений больше, чем от просмотра фильма!
  • 0
    Спасибо. )
  • +3
    В рассказе недостаёт Ойры-Ойры и Корнеева.
  • 0
    По стилю чем-то напомнило "последний герой труда" DIHALT`а. Спасибо, очень понравилось.
  • 0
    Удивительный рассказ! Спасибо за хорошее начало рабочего дня, вы прекрасно пишете :)
  • 0
    Это просто бесподобно! Одна из лучших статей, прочитанных мной на хабре. Спасибо.
  • 0
    Автор, это было 8 или 9 лет назад?
  • +6
    Вдруг из библиотеки послышался звук глухого удара. Робот довез кассету до драйва, но не смог определить, где у драйва отверстие, и стал биться об его стенку, пытаясь ее куда-то вставить. Это было полное фиаско, и отчаяние охватило вас.

    Не сразу, но вспомнилось
    Скрытый текст
    image
    • 0
      Хорошо, что догадались тестировать на изолированной системе.
  • +1
    Статья — огонь, читал взахлеб. Спасибо.
  • 0
    Феерично так
  • 0
    похоже на vxvm split brain… Но группу инитить стемно конечно
  • 0
    У Вас отличный слог. Получил истинное художественное наслаждение от прочтения статьи. Спасибо, что поделились с миром этой интереснейшей и крайне экстремальной историей.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное