Пользователь
0,0
рейтинг
15 апреля 2014 в 17:49

Разработка → HP iLO 2 уязвимо для Heartbleed — защищаемся и обновляемся!

Heartbleed не страшен для iLO 2 с точки зрения проникновения в систему, однако, некоторые сканеры этой уязвимости (или попытка её эксплуатации) наглухо вырубают iLO 2 интерфейс у серверов Hewlett Packard.

В пятницу 11 апреля я таким образом потерял доступ к трем сотням серверов с iLO модулями 2-го поколения (iLO интерфейсы публично доступны, т.к. это хостинговые сервера).
Основная масса серверов — это блэйд-сервера, однако «под раздачу» попали и несколько DL серверов.

Ни iLO 3, ни SuperMicro IPMI, ни что-то еще на соседних IP адресах не пострадали.

Симптомы:
1) последняя версия iLO 2 v.2.23 уязвима;
2) пропадает даже PING до iLO 2;
3) корзина (Onboard Administrator) перестает видеть сервер, не знает его тип, не знает его текущее состояние, выделяет питания для него с запасом (внимание! этот момент может повлечь выключение ряда серверов, если включен Dynamic Power Capping);
4) как ни странно, iLO 2 на DL серверах продолжили отвечать на PING, однако это максимум чего от них можно было добиться;
5) перезагрузка сервера средствами OS не приведет его к загрузке, т.к. (видимо) он застревает на стартовой диагностике компонентов;
6) штатный shutdown не помогает — сервер конечно глушится, но iLO 2 не оживает;
7) изнутри работающего сервера (из OS) ни резетнуть, ни пообщаться (через hponcfg например) с модулем iLO 2 невозможно, модуль не отвечает;
8) лечится ситуация ТОЛЬКО полным отключением питания от серверов DL (через управляемые PDU или руками), или чуть более удобно (но фактически с тем же эффектом) для блэйд-серверов командой reset server XX через Onboard Administrator;
9) Cold Restart тоже не помогает.

Самое неприятное — это то, что в случае с высоконагруженными блэйд-корзинами, модули OA потеряв связь с серверами, не будут знать их потребности по питанию, и начнут выделять им заведомо большие значения (в 2-3 раза выше реального потребления). Это приведет к тому, что OA посчитает, что питания не хватает и может вырубить некоторые сервера (или не дать запуститься). По крайней мере, это справедливо, если у Вас включено динамическое управление распределением питания.

HP не сразу признали проблему, и изначально сообщали лишь о факте того, что только Onboard Administrator (ver. >= 4.11) уязвимы для Heartbleed, а про iLO было сказано в c04239413, что все Окей. Даже использовали выражение NOT Impacted by «HeartBleed».
Да, с точки зрения проникновения в систему iLO не является уязвимым, но, к сожалению, iLO 2 оказался как раз Impacted, и еще как!

Официальной позиции HP по проблеме вырубания iLO 2 в результате сканирования на Heartbleed пока нет.

Благо, к понедельнику сотрудник HP Oscar A. Perez осчастливил нас beta версией прошивки 2.25 и выложил ее для тестов.
Скачать можно отсюда.

После hard reset пострадавших серверов и обновления прошивки до 2.25 beta, пока полет нормальный.

Если у вас iLO 2 публично доступны из интернета, то не ждите когда потеряете связь до серверов и не сможете им управлять в критической ситуации (или просто после планового рестарта) — обновитесь хотя бы до 2.25 beta.
Как вариант — временно ограничить публичный доступ к iLO 2 до выхода и применения официального релиза патченой прошивки.
Barmaley @Barmaley
карма
4,0
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое Разработка

Комментарии (17)

  • 0
    Кейс в HP заводили, что говорят?
    • 0
      У меня на серваки с iLO 2 уже все кэйрпаки и гарантии закончились, не могу кейс открыть.
      Но на форуме представители HP общаются, и адекватно реагируют.
      Причем, именно те, которые имеют непосредственно отношение к решению проблемы.
      Думаю, что и без кейса вопрос решится.
      В принципе, уже и решился.

      Проблемой остается только необходимость рестарта питаловом сотен серверов. А на это, похоже, решения не будет :(
      • 0
        Самое плохое, что с февраля (вроде) все обновления доступны только при активном кэйрпаке или гарантии
        • 0
          Да, действительно, для многих девайсов это так, но почему-то не для всех.
          Для софта под G1/G5/G6 доступ есть и без кэйрпака.
          А для G7/G8 обычно гарантия еще действует 3-х летняя.
          • 0
            надо будет проверить после выхода исправления
  • +1
    фигасе…
    • 0
      Да уж.
      Неприятные ощущения были, когда я словил три сотни алертов о пропадании связи и переходом всех серверов в состояние Failed.
      Это аккурат совпало с некоторым шаманством вокруг перепрошивки MAC адресов и настроек одной сетевухи в той же сети.
      Около суток потребовалось, чтобы убедиться, что это не какой-то паразитный трафик глюкавой сетевухи все обрушил, а некое внешнее воздействие.

      У любого админа в такие моменты появляется несколько новых седых волос :-)
  • +2
    Апдейт от Oscar A. Perez:

    Unfortunately, there is no way to reboot iLO2 in this case.

    Thanks to the bug I found in this RSA SSLC library, iLO2 webserver is stuck in a tight infinite loop. And since the iLO2 webserver runs at higher priority than every other iLO2 service like SSH, IPMI, PCI Channel Interface, etc., the RTOS isn't giving any CPU time to lower priority services and threads.
    Only higher priority threads like the TCP/IP stack can run. This is why you see iLO responding to pings and even establishing TCP/UDP connections but, beyond that you will not see the application layer responding.


    h30499.www3.hp.com/t5/HP-BladeSystem-Management/OA-Heartbleed-update/m-p/6448768/highlight/true#M1020
  • 0
    Ага, старинный спор, можно ли выставлять ssh/ipmi голой задницей в интернеты получил внезапный аргумент.
    • 0
      Печально то, что не все iLO/IPMI/RAC системы можно закрыть фаерволом
      • 0
        Да, и за reverse proxy тоже хрен поставишь :(
  • +2
    iLO интерфейсы публично доступны, т.к. это хостинговые сервера

    Ужас, я не думал, что кто-то еще так делает.
    Как называется Ваша компания, чтоб знал, чьими услугами не пользоваться?
    Вы хоть понимаете, что при появлении какой-либо уязвимости, злоумышленник получает доступ даже не рута?
    IPMI/KVM/iLO должны быть в сети, не маршрутизируемой в Интернет.
    И доступ к ним должен быть после авторизации — VPN/Proxy/etc.
    • 0
      Согласен, тем не менее проблема всёравно актуальна.
      Сканеры безопасников теперь надо отключать для подсетей с ilo.
    • 0
      Вы хоть понимаете, что при появлении какой-либо уязвимости, злоумышленник получает доступ даже не рута?

      Что? Прям при любой уязвимости и сразу доступа рута, и даже больше? Как страшен мир! Не смешите.

      Число уязвимостей в различных реализациях VPN и проксей не сильно отличается от числа найденных уязвимостей в iLO/IPMI/KVM.

      Что касается iLO2, то все найденные почти за 10 лет security уязвимости касались OpenSSL, который используется и в VPN, и в Proxy, которые Вы почему-то считаете панацеей.

      Ваши суждения весьма наивны хотя бы потому, что в IPMI/KVM/iLO по-определению число уязвимостей гораздо меньше (ввиду примитивности их реализации) чем в том ПО (включая OS), которое установлено на этих же серверах самим пользователем.
      • 0
        Все это, конечно, не отменяет того, что если есть возможность поставить порты управления за дополнительный экран (VPN, firewall, IDS, proxy и т.п.), то это делать надо.

        Да и про целесообразность забывать не стоит. Взломов серверов напрямую, не знаю, наверное в миллионы раз больше, чем взломов серверов через средства удаленного администрирования.
  • 0
    Для информации www.linux.org.ru/forum/security/10364401
  • 0
    Ветку на форумах HP почему-то то ли удалили, то ли ограничили к ней доступ.

    Здесь актуальная инфа и ссылка на патченую прошивку:
    h30499.www3.hp.com/t5/HP-BladeSystem/iLo2-lost-connection-to-blades/m-p/6447738/highlight/true#M19486

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.