Приезжали тут представители одной западной корпорации в очередной раз. Выпили. Спросили про наши варварские особенности IT. Ну я и рассказал пару баек. Чухна не поверила, говорит, мне повезло, и это всё статистический выброс. Мне так почему-то не кажется — подобных историй у каждого с чемодан.
Один раз коллега из L2-поддержки говорит: забери сумочку на объект, раз уж в тот же город едешь. Ок, говорю, не вопрос, конечно заберу. Приезжаю в офис с портфелем, а там стоят три охранника и этот вот товарищ из L2. У них с собой сумка чёрная спортивная, здоровенная. Открывается с трудом, но всё равно открываю, заглядываю — а там одна-к-одной плашки оперативной памяти для серверов-молотилок одной компании, условно «на три буквы».
Примерно прикидываю ценность «сумочки»: говорю, что, друг, тысяч триста долларов тут, да? Не, говорит, тут полмиллиона. Езжай давай. Вот парни тебя до входа в аэропорт проводят, а дальше ты уж сам. Из аэропорта прибытия я не выходил, пока встречающий не забрал сумочку.
У одного университета в регионе был дорогой импульсный лазер, и все знали, что он — самое ценное, что там есть. В один прекрасный день какие-то товарищи разжали решётку на окне (сделали петлю между прутьями, вставили арматурину и крутили как рычаг, пока не образовалась достаточная дыра). И украли программатор вместо лазера, потому что он выглядел явно куда внушительнее, был подключён к компьютеру.
Стоимость программатора копеечная, но такого больше нет. Он там чуть ли не со времён советских ЧПУ-станков, которые на перфокартах. А лазер обратно совместим с ним и с новыми дорогими системами. Тогда схема была такая: они моделировали деталь на компьютере, отдавали в программатор, он отдавал на лазер. Мы приехали настраивать прямую связь. Рисовали круги, квадраты и более сложные фигуры, реверс-инжинирили формат. В итоге получилось, но всё равно не полностью хорошо. Насколько я знаю, украденный программатор так и не всплыл, и в итоге они достали где-то такой же через пару лет после модернизации одного из производств в области.
Был и такой случай: на большой системе хранения данных вылетели сразу два диска из RAID. Производитель 4 дня мучился, а потом констатировали потерю данных. Админ пострадавшей страховой, получив свободу, отнёс эти диски в лабораторию восстановления и получил обратно один исправленный, а потом методом зубила и какой-то матери, игнорируя предупреждения, всё же сделал ребилд и собрал консистентные данные. Вот именно на этот случай чухна наша и обиделась, кстати. Говорят — мы там все профессионалы, не могло такого быть.
Похожий случай был ещё у одного моего знакомого — индус из глобальной техподдержки сломал массив, а когда локальная команда начала спрашивать, какой идиот это сделал, их поставили перед фактом. Надо сказать, что они свою ошибку признали, но помочь уже не смогли и никакой компенсации, конечно, не было. В индуса они поверили, индусов все хорошо знают.
Или вот: у одного моего знакомого админа была такая история. Он пришёл в крупную госкомпанию (в регионе), начал с инвентаризации. Нашел флешовую СХД, которая нигде не числится. Массив свежий, 3 года от производства, 2 года от закупки. Стоит как довольно большой кусок от самолёта. Кое-как подняли историю, выяснили, что предыдущие спецы то ли не купили поддержку, то ли просто что-то забыли, и в результате передачи с баланса на баланс в другой город железка осталась без сопровождения. Поднять бэкап на неё не смогли, просто даже LUN’ы не объявили. В итоге бэкап шёл в гуглосервисы (это у российской-то госкомпании), а куча денег налогоплательщиков тихо простаивала в серверной.
В ещё одной госкомпании в горячем южном регионе очень не хотели платить за услугу бэкапа. Просто физически мы не могли объяснить их руководителю, почему нужно платить за работу, когда нет поломки. Вот, типа, будет проблема — он заплатит эти несчастные 3750 рублей в месяц, а пока он не верит, что это надо. Естественно, по закону жанра, они цепляют через бухгалтерию вирус, кладут свою RDP-ферму с 1С, теряют базу на винлокере с ключом на 1024. Этим же днём звонит руководитель и говорит, что всё упало, и он уже готов заплатить эти 3750 рублей. Как всё починят.
Ещё один раз видел, как в довольно крупной компании перепутали IP тест-сервера и продакшн-сервера. И несколько месяцев гоняли тесты прямо на реальных данных клиентов. Осознали проблему в тот момент, когда один из клиентов увидел странное движение по счёту (в минус). Откаты были эпохальными — надо было поднять всю историю тестов и вернуть, фактически, руками, как было.
Или вот была история. У клиента (госучреждения) упала одна из петель массива. Приехали из ЕМС по поддержке, диагностировали проблему с LCC-картой. В итоге после плясок с бубном выяснилось, что замена LCC карты не помогла. Базу надо было поднимать очень быстро — шли серьёзные финансовые потери у клиента.
Российский айтишный парень, который был на объекте, не согласился с диагнозом потенциального противника и предложил другое решение. Был IO-модуль из другого машзала, поставили его в ходе отработки этой версии. Всё сразу поднялось. Но поскольку делали не по плану, EMC послали всех в… Ну, в общем, отказались менять неисправный IO-модуль на новый. Говорят, проблема не в нём, и танцы с бубном ни к чему были, только запчасть потратили. А денег он стоит немалых.
К счастью, руководитель написал прямо письмо на их (клиента) главного, что если проблема не в модуле, то он обратно поменяет его на тот, что был. Только база опять упадёт, скорее всего. Сделают прямо завтра. И отправил команде страховой, приложив письмо ЕМС. EMC на следующее утро согласовали замену сразу и пообещали привезти новый IO за 24 часа.
Ну и, конечно, лучшее, что происходит в жизни — это когда разработка накатывает релиз где-нибудь 30 декабря, а в это время до кучи кто-нибудь обновляет либо прошивки роутеров, либо ревизию Oracle. Праздники становятся намного радостнее. Причём SLA 24 часа от производителей этой чёртовой прошивки означает «вам позвонит индус и задаст 100 тупых вопросов, ничего не поймёт, но скажет, что проблема на вашей стороне».
Тоже было.
Один раз коллега из L2-поддержки говорит: забери сумочку на объект, раз уж в тот же город едешь. Ок, говорю, не вопрос, конечно заберу. Приезжаю в офис с портфелем, а там стоят три охранника и этот вот товарищ из L2. У них с собой сумка чёрная спортивная, здоровенная. Открывается с трудом, но всё равно открываю, заглядываю — а там одна-к-одной плашки оперативной памяти для серверов-молотилок одной компании, условно «на три буквы».
Примерно прикидываю ценность «сумочки»: говорю, что, друг, тысяч триста долларов тут, да? Не, говорит, тут полмиллиона. Езжай давай. Вот парни тебя до входа в аэропорт проводят, а дальше ты уж сам. Из аэропорта прибытия я не выходил, пока встречающий не забрал сумочку.
У одного университета в регионе был дорогой импульсный лазер, и все знали, что он — самое ценное, что там есть. В один прекрасный день какие-то товарищи разжали решётку на окне (сделали петлю между прутьями, вставили арматурину и крутили как рычаг, пока не образовалась достаточная дыра). И украли программатор вместо лазера, потому что он выглядел явно куда внушительнее, был подключён к компьютеру.
Стоимость программатора копеечная, но такого больше нет. Он там чуть ли не со времён советских ЧПУ-станков, которые на перфокартах. А лазер обратно совместим с ним и с новыми дорогими системами. Тогда схема была такая: они моделировали деталь на компьютере, отдавали в программатор, он отдавал на лазер. Мы приехали настраивать прямую связь. Рисовали круги, квадраты и более сложные фигуры, реверс-инжинирили формат. В итоге получилось, но всё равно не полностью хорошо. Насколько я знаю, украденный программатор так и не всплыл, и в итоге они достали где-то такой же через пару лет после модернизации одного из производств в области.
Был и такой случай: на большой системе хранения данных вылетели сразу два диска из RAID. Производитель 4 дня мучился, а потом констатировали потерю данных. Админ пострадавшей страховой, получив свободу, отнёс эти диски в лабораторию восстановления и получил обратно один исправленный, а потом методом зубила и какой-то матери, игнорируя предупреждения, всё же сделал ребилд и собрал консистентные данные. Вот именно на этот случай чухна наша и обиделась, кстати. Говорят — мы там все профессионалы, не могло такого быть.
Похожий случай был ещё у одного моего знакомого — индус из глобальной техподдержки сломал массив, а когда локальная команда начала спрашивать, какой идиот это сделал, их поставили перед фактом. Надо сказать, что они свою ошибку признали, но помочь уже не смогли и никакой компенсации, конечно, не было. В индуса они поверили, индусов все хорошо знают.
Или вот: у одного моего знакомого админа была такая история. Он пришёл в крупную госкомпанию (в регионе), начал с инвентаризации. Нашел флешовую СХД, которая нигде не числится. Массив свежий, 3 года от производства, 2 года от закупки. Стоит как довольно большой кусок от самолёта. Кое-как подняли историю, выяснили, что предыдущие спецы то ли не купили поддержку, то ли просто что-то забыли, и в результате передачи с баланса на баланс в другой город железка осталась без сопровождения. Поднять бэкап на неё не смогли, просто даже LUN’ы не объявили. В итоге бэкап шёл в гуглосервисы (это у российской-то госкомпании), а куча денег налогоплательщиков тихо простаивала в серверной.
В ещё одной госкомпании в горячем южном регионе очень не хотели платить за услугу бэкапа. Просто физически мы не могли объяснить их руководителю, почему нужно платить за работу, когда нет поломки. Вот, типа, будет проблема — он заплатит эти несчастные 3750 рублей в месяц, а пока он не верит, что это надо. Естественно, по закону жанра, они цепляют через бухгалтерию вирус, кладут свою RDP-ферму с 1С, теряют базу на винлокере с ключом на 1024. Этим же днём звонит руководитель и говорит, что всё упало, и он уже готов заплатить эти 3750 рублей. Как всё починят.
Ещё один раз видел, как в довольно крупной компании перепутали IP тест-сервера и продакшн-сервера. И несколько месяцев гоняли тесты прямо на реальных данных клиентов. Осознали проблему в тот момент, когда один из клиентов увидел странное движение по счёту (в минус). Откаты были эпохальными — надо было поднять всю историю тестов и вернуть, фактически, руками, как было.
Или вот была история. У клиента (госучреждения) упала одна из петель массива. Приехали из ЕМС по поддержке, диагностировали проблему с LCC-картой. В итоге после плясок с бубном выяснилось, что замена LCC карты не помогла. Базу надо было поднимать очень быстро — шли серьёзные финансовые потери у клиента.
Российский айтишный парень, который был на объекте, не согласился с диагнозом потенциального противника и предложил другое решение. Был IO-модуль из другого машзала, поставили его в ходе отработки этой версии. Всё сразу поднялось. Но поскольку делали не по плану, EMC послали всех в… Ну, в общем, отказались менять неисправный IO-модуль на новый. Говорят, проблема не в нём, и танцы с бубном ни к чему были, только запчасть потратили. А денег он стоит немалых.
К счастью, руководитель написал прямо письмо на их (клиента) главного, что если проблема не в модуле, то он обратно поменяет его на тот, что был. Только база опять упадёт, скорее всего. Сделают прямо завтра. И отправил команде страховой, приложив письмо ЕМС. EMC на следующее утро согласовали замену сразу и пообещали привезти новый IO за 24 часа.
Ну и, конечно, лучшее, что происходит в жизни — это когда разработка накатывает релиз где-нибудь 30 декабря, а в это время до кучи кто-нибудь обновляет либо прошивки роутеров, либо ревизию Oracle. Праздники становятся намного радостнее. Причём SLA 24 часа от производителей этой чёртовой прошивки означает «вам позвонит индус и задаст 100 тупых вопросов, ничего не поймёт, но скажет, что проблема на вашей стороне».
Тоже было.