devops, validation engineer
0,5
рейтинг
6 июня 2013 в 20:18

Администрирование → Hetzner сообщил об обнаружении бэкдора в своих системах

Только что Hetzner совершил массовую рассылку для всех клиентов выделенного хостинга, сообщая об обнаружении бэкдора в своей сети, и о том, что значительная часть данных пользователей могла быть скомпрометирована, в том числе вся информация, хранящаяся в веб-панели Robot (данные по кредитным картам, впрочем, не пострадали).

Согласно письму, зловред проник в сеть компании через дыру в системе мониторинга Nagios, и поражал запущенные процессы веб-сервера Apache и sshd (терминал), при этом не изменяя сами бинарники, что и позволило бреши столь долгое время находиться незамеченной. По словам техников, ничего подобного им раньше не попадалось.

Для оценки произошедшего была нанята отдельная секьюрити-компания, которая помогает местным администраторам разобраться в произошедшем, и полностью вычистить сеть от всех копий зловреда. Все компетентные органы были оповещены, расследование на данный момент еще не завершено.

Перевод письма-рассылки
Дорогой клиент,

В конце прошлой недели технические инженеры Hetzner обнаружили т.н. бэкдор в одной из наших внутренних систем мониторинга (Nagios).

Немедленно начатое расследование показало, что интерфейс администрирование для выделенных серверов (Robot) также был скомпрометирован. Имеющаяся у нас на данный момент информация предполагает, что часть нашей базы данных по клиентам была скопирована извне.

Как следствие, мы сообщаем, что клиентская информация, хранившуюся в Robot, следует считать скомпрометированной.

Насколько мы знаем, зловредная программа, которую мы обнаружили, является неизвестной и ранее нигде не появлялась.

Зловредный код, примененный в бэкдоре, заражает исключительно RAM. Первичный анализ предполагает, что зловредный код непосредственно внедряется в запущенные процессы Apache и sshd. Таким образом, вирус не только не изменяет бинарные файлы сервисов, которые он поразил, но и не перезапускает их.

Благодаря этому, стандартная процедура, как, например, изучение чексумм или проверка при помощи утилиты rkhunter, не способна выявить заражение.

Чтобы помочь нашим штатным администраторам, мы обратились за помощью к независимой компании по обеспечению безопасности, предоставив им детальный отчёт о случившемся. На данный момент анализ произошедшего еще не завершён.

Пароли для доступа в панель Robot хранятся в нашей БД в виде SHA256-хэша с солью. В качестве меры предосторожности, мы рекомендуем сменить ваши пароли в Robot.

Что касается кредитных кард — то мы храним лишь три последних цифры номера карты, её тип (MasterCard, Visa, etc. — прим. пер), и дату её действия. Вся остальная информация хранится у нашего поставщика платёжных услуг, и связана с нашими системами через случайно сгенерированный номер карты. Таким образом, насколько мы можем судить, данные по кредитным картам скомпрометированы не были.

Технические инженеры Hetzner непрерывно работают над локализацией существующих брешей в защите, равно как и над предотвращением возникновения новых, чтобы обеспечить максимально возможную безопасность наших систем и инфраструктуры. Безопасность данных для нас очень важна. Для ускорения дальнейшего раследования, мы обратились в соответствующие правоохранительные органы.

Более того, мы постоянно находимся на связи с федеральным управлением криминальной полиции (Federal Criminal Police Office, BKA — прим. пер.).

Как само собой разумеющееся, мы будем держать вас в курсе событий и сообщать обо всей новой информации.

Мы очень сожалеем о случившемся, и благодарим вас за понимание и доверие.

Для того, чтобы помочь вам с запросами по безопасности, мы разместили специальную страницу с вопросами и ответами — wiki.hetzner.de/index.php/Security_Issue/en.
(оригинал — pastebin.com/czHJDtif)
Яков @ksenobayt
карма
137,0
рейтинг 0,5
devops, validation engineer
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Спецпроект

Самое читаемое Администрирование

Комментарии (94)

  • –21
    Начинаю подумывать о том, что таки существует некая Вселенская Справедливость (она же Карма). Не прошло им бесследно то, что выгноняют людей без суда и следствия (ибо им легче потерять клиента, чем разбираться в ситуациях не-автоматически) :)
    • +8
      Глупости, на моем счету уже 20~30 абуз, причем подтвержденных (размещение детской порнографии, с целью отправки абузы, 3-4 обращение в Роспотребнадзор и абузы от них, абузы от какого-то общества защиты детей германии, куда тоже отправляли письма посетители моего сайта, абуза по поводу размещения вируса, который на самом деле — текст исходник батника, абузы за статьи об изготовлении наркотиков и так далее и тому подобное). И ничего. Переписываюсь с саппортом по каждой абузе, реагирую (почти) вовремя и уже два года самой большой проблемой был трехдневный даунтайм, когда я забыл сменить данные карты.
      • +3
        За вами уже выехали
      • +2
        20-30? У меня на одном из серверов около 150 — блокировали один раз (не успел за сутки файл удалить).
        Правда не ЦП, а трояны регулярно льют на файлопомойку.
      • +1
        Imagebord хостишь?
      • +4
        а кто ж это вас так целенаправленно любит? :(
    • +6
      Да, им легче потерять клиента, чем разбираться в ситуациях не-автоматически (хотя, если вы имеете в виду abuse-запросы, то Hetzner никого обычно не выгоняет). Это нормально. Такая вот инспирированная законом Парето бизнес-модель, которая позволяет Hetzner'у предоставлять свои услуги по низким ценам.

      Если вам нужен премиум-сервис, обратитесь к другому хостеру и заплатите другие деньги. А вы хотите, чтобы было и дёшево и при этом без недостатков. Так не бывает.
      • +3
        Таки уже. Просто они меня выгнали по лживой абузе от спамхауса. Мол название моей фирмы совпадает с WHOIS-информацией в подсетях одно российского хостера, который не блокирует спамеров (а не блокирует он потому, что роскомнадзор явным образом запрещает это делать). Хецнер сказал что «это слишком серьёзная абуза и мы просто тебя выпидорим. Нам это легче, чем разбираться в твоей ситуации». Да ещё и при попытках попросить помощи в том, чтобы разобраться со спамхаусом мне их саппорты чуть ли не прямым текстом говорили «ты что, тупой чтоли? ты должен удалить свои домены и всё, что с ними связано с серверов».

        (Поэтому не понимаю людей, которые так сильно заминусовали тот коммент наверху): я же не лгу. Всё вышенаписанное — чистая правда и имеет документальное подтверждение. Да, я всё понимаю и не возражаю против такой модели ведения бизнеса у хецнера. Но я, так-то, тоже человек и тоже имею право обидеться на их модель ведения бизнеса, будучи пострадавшим от неё и субъективно считать, что неудобства понесённые ими после того, как я пострадал — отголоски кармы. Разве нет? :)
        • 0
          Бабло хоть вернули?
          • 0
            Неа. Более того, вплоть до 1 июня спамили «оплати нам полкилоевро [за следующий месяц], а то мы тебя передадим нашему dept collection agency.

            Так и живём. Переехал, например, к другому хостеру в Германии (названия говорить не буду, чтобы не было рекламой. Если кому интересно — отвечу следующим комментом ☺). Там хоть и не так дёшево (хотя мне по блату дали сервера по себестоимости), как у хецнера, но зато новое серверное (а не десктопное) железо, новые винты, IPMI (!!!) и индивидуальный подход к клиенту (во всём помогут, всё расскажут, пару евро нехватки простят, штрафных санкций за случайное превышение трафика не вешают). Даже в случае внеапных (а могут быть они только внезапные, ибо всё железо перед установкой клиенту проходит стресс-тестирование) проблем с железом — меняют прямо тут же, без юления.

            В общем, доволен аки слон. Разве что, вот, с „оптовой“ покупкой IPv4 чуток сложнее (ибо они не посредничают, как хецнер, а покупают подсети под тебя). Так что либо брать по одному айпишнику, либо ощущать на своей шкуре все прелести политики RIPE ;)
            Ну и с IPv6 пока чуток туговато (хотя и обещали исправиться).
            • 0
              какой, какой хостинг?!
              • 0
                sim-networks.com/ (у них свой поставщик железа, SIM Computers ☺)
  • 0
    Любопытства ради:
    вся информация, хранящаяся в веб-панели Robot

    Что это?
    • +2
      Это клиентская админка Хетцнера для управление серверами, биллингом, etc.
      • +6
        То есть заодно кто-то получил доступ к рубильникам питания и KVM? Мило…
        • +1
          И что вам даст KVM кроме приглашения залогиниться?
          • 0
            Ниже писали.
            Или можно взять и разом погасить всю площадку. Наверняка же в этом Robot есть управление питанием. Не знаю, виртуальные там хосты или нет, но если виртуальные, с дисками где-то в SAN — они до-о-о-олго будут всем скопом подниматься.
            А можно ли, скажем, через вебморду удалить диски?

            То есть опять же, даже с такими возможностями вариантов поднасрать полно. Насколько я понимаю, 99,99% клиентов подобных хостеров никогда не заботятся о катастрофоустойчивости и не смогут почти незаметно для посетителей, в течение минут после аварии, переместить все сервисы на другие площадки.
            • 0
              Вы писали про KVM а не про то что ниже, я вам на это и ответил.
              • 0
                Ну наверное «то ниже» и подразумевает «рубильник + KVM». Оба сразу, иначе никак.
          • 0
            KVM + рубильник == ребут → загрузчик (99% что никакой защиты на уровне загрузчика нет).
            ну а там уж дело техники: загрузка с init=/bin/bash → новый пользователь с uid=0.
            + есть вероятность, что при последнем использовании kvm'а человек не разлогинился (:
        • +1
          KVM Хетзнер не предоставляет всем и бесплатно. Можно заказать LARA, но лары на всех не хватит, это быстро заметят и вырубят. А вот ребутать серверы в систему восстановления — это реально.
    • 0
      панель управления хостингом
      ничего там важного нет, доступы никакие не хранятся
      • +2
        Ну вообще можно отребутить сервер в rescue и получить полный доступ к фс.
        • +5
          Это слишком заметно и нужен индивидуальный подход к каждому серваку, малвари — это бизнес объемов, возиться с каждым отдельно нерентабельно, хотя все возможно
          • +1
            Это все скриптом делается полностью — логин в робота, ребут и получени логина в rescue, здесь можно использовать имеющиеся руткиты — подкладывание ключа юзеру, правка sudoers и опять ребут. Большинство даже не заметят, что ребут был, кроме тех, у кого что-то не стартанет само. Тем более у хецнера, где часто что-то сыпется само и аптаймы тоже как повезет.

            • 0
              Ой, да ладно ))
              Uptime: 432 days(!), 23:32:50

              На хецнере.

              p.s. Знаю, что «это плохо, большие аптаймы означают что админ не обновляет ось, и т.п......». Но факт :)
              • 0
                За последний год три раза накрывались винты в рейде, причем каждый раз парой, один раз сдохла оперативка. Ну да, есть сервера и по два с лишним года аптайма, но малые-то аптаймы вовсе не из-за апдейтов ОС.
      • НЛО прилетело и опубликовало эту надпись здесь
  • 0
    Это они такой перевод рассылали, или вы так перевели для хабра?
    • +2
      Оригинал.
      Dear Client

      At the end of last week, Hetzner technicians discovered a «backdoor» in one
      of our internal monitoring systems (Nagios).

      An investigation was launched immediately and showed that the administration
      interface for dedicated root servers (Robot) had also been affected. Current
      findings would suggest that fragments of our client database had been copied
      externally.

      As a result, we currently have to consider the client data stored in our Robot
      as compromised.

      To our knowledge, the malicious program that we have discovered is as yet
      unknown and has never appeared before.

      The malicious code used in the «backdoor» exclusively infects the RAM. First
      analysis suggests that the malicious code directly infiltrates running Apache
      and sshd processes. Here, the infection neither modifies the binaries of the
      service which has been compromised, nor does it restart the service which has
      been affected.

      The standard techniques used for analysis such as the examination of checksum
      or tools such as «rkhunter» are therefore not able to track down the malicious
      code.

      We have commissioned an external security company with a detailed analysis of
      the incident to support our in-house administrators. At this stage, analysis
      of the incident has not yet been completed.

      The access passwords for your Robot client account are stored in our database
      as Hash (SHA256) with salt. As a precaution, we recommend that you change your
      client passwords in the Robot.

      With credit cards, only the last three digits of the card number, the card type
      and the expiry date are saved in our systems. All other card data is saved
      solely by our payment service provider and referenced via a pseudo card number.
      Therefore, as far as we are aware, credit card data has not been compromised.

      Hetzner technicians are permanently working on localising and preventing possible
      security vulnerabilities as well as ensuring that our systems and infrastructure
      are kept as safe as possible. Data security is a very high priority for us. To
      expedite clarification further, we have reported this incident to the data
      security authority concerned.

      Furthermore, we are in contact with the Federal Criminal Police Office (BKA) in
      regard to this incident.

      Naturally, we shall inform you of new developments immediately.

      We very much regret this incident and thank you for your understanding and
      trust in us.
    • 0
      UPD: В силу компрометации моего комментария

      насколько мы можем судить, данные по кредитным картам скомпрометированы не были

      Насколько это суждение надежно?
      • 0
        Как они утверждают — в robot хранятся только последние 3 цифры из номера карты. Полный данные карты хранятся у платежного шлюза.
      • +1
        Как видно (раз их взломали), Хетзнер не имеет ни каких прав на хранение данных карт, к тем кто имеет предъявляются невероятные требования по безопасности. Данные карты грузятся в биллинг и магазин не может получить их обратно.
    • 0
      Это я перевел на скорую руку.
  • –5
    подумываю стоит ли попросить банк сделать ресет дебитки…
    занимает пару дней зато потом спокойно на душе както
    • +3
      Виртуальные карточки наше всё.
  • –6
    Тока прочитал, как раз ребутнул сервак, а он не откликнулся… потом вроде ожил минут через 10 и смарт пишет косяк, новые винты называется… хецнер рулит…
    • 0
      Breaking news! Уязвимость в Robot приводит к косяку в смарте!
      • –2
        Нет, просто все в кучу
  • 0
    Таковая почта не приходила.
    • +2
      • 0
        Спасибо за скриншот, может быть придет позже.
        • 0
          Мне недавно пришло (уже после публикации топика на хабре)
        • 0
          У меня несколько аккаунтов на хецнере, письма пришли с разницей почти в 12 часов между первым и последним.
  • 0
    Что предлагаете делать? Сменить пароли и CVC-код карты?
    • 0
      Персонально я ничего не предлагаю. Все пароли я уже поменял и трижды проверил свои личные сервера на предмет наличия закладок. Учитывая, что я не пользуюсь apache в принципе, это заняло минут двадцать. Карты, как сказано в письме, смысла трогать нет — Хецнер работает с ними через отдельный платёжный шлюз, поэтому прямого доступа к карте не имеет, ergo — ваши деньги никто не сможет снять.
      • 0
        На самом деле зависит от того, как они обрабатывают заказы, если данные о карте прямиком идут на шлюз, все в порядке, а вот если они их сначала получают себе, а потом отправляют в шлюз, то зараженный апач вполне мог получить доступ к этим данным, пусть даже они не сохраняются в базу данных.
      • 0
        Сейчас проверил, данные уходят напрямую, так что, видимо, волноваться нет причин.
    • 0
      As a precaution, we recommend that you change your
      client passwords in the Robot.

      Рекомендуют изменить пароль, хоть и в базе и хранился солёный хэш.
      • 0
        Благодарю. У меня почему-то мелькнула перед глазами картина с полем ввода, в котором введен номер мой кредитки + CVC код. У меня паранойя, видимо.
        • 0
          Насчет данных карты —
          With credit cards, only the last three digits of the card number, the card type
          and the expiry date are saved in our systems. All other card data is saved
          solely by our payment service provider and referenced via a pseudo card number.
          Therefore, as far as we are aware, credit card data has not been compromised.

          Они хранят 3 последние цифры номера карты, тип и срок действия.
          Все остальное хранится у платежного шлюза, и с вашим аккаунтом связано с помощью некоего псевдо-номера (id в их системе).
  • 0
    пришло письмо тоже
    я думаю как минимум нужно сменить пароль на robot.
  • 0
    Не совсем понял что там с компроментацией пользовательских данных? Посливать базы, пусть даже и соленых пользователей могли?
    • 0
      По контрол-панели — да, хэши утекли. Вероятно, утекли данные по именам и адресам владельцев.
      • 0
        Я имею ввиду какова вероятность что скомпрометированы пользовательские базы, в которых есть клиенты клиентов. И не у всех эти клиенты соленые…
        • 0
          Скомпрометирована БД панели управления сервером, были зафиксированы факты внедрения зловреды в бегающие процессы на хостах юзеров. Это вся инфа, которую можно выжать из этого письма. Никаких подробностей пока нарыть не удалось.
          • 0
            Вот эти зараженные процессы больше всего и пугают. С их правами можно много чего натворить.
            • 0
              Я не пользовался апачем года три, но насколько я помню, из коробки он работает под чрутнутым www-data, разве нет?
              • 0
                И что у нас доступно в этом окружении? По дефолту будет доступен исходный код сайта как минимум на чтение.
                Этого достаточно чтобы найти пароли от базы, благо список возможных мест хоть и не мал, но более-менее однотипен.
                Далее есть очень высокая вероятность, что мы сможем оттуда достучаться до базы. Если нет, то все равно можно будет еще побороться. Поискать лазейки на повышение прав. Нам ведь не так много надо — не рут, а всего-то доступ к базе. Это или системные или сетевые сокеты. В общем наверняка имея пароли он туда доберется…
                • 0
                  www-data доступа к /var/lib/mysql не имеет — если все правильно было изначально, даже читать оттуда могут только mysql и root; сам www-data из коробки под Дебианом имеет доступ максимум к /var/www.

                  Вот почитать скрипты, конечно, будет можно.
                  • 0
                    Зачем? нам не нужны файлы, нам нужен доступ к базе, у нас уже есть пароли от базы данных. При должном везении даже рутовый пароль от базы будет, если он где-то в админке прописан.
                    Из коробки как раз у нас будет пхп установлен как модуль апача, а тут уже и запуск под правами апача, и все остальные прелести — т.е. в такой схеме нам принципиально не получится выкрутится.
                    Но это так, в лоб. Не думаю что и при других схемах можно будет защитить базу при компроментации апача.
  • НЛО прилетело и опубликовало эту надпись здесь
  • +1
    Кстати, как-то в стороне остался вопрос — что за бекдор был в нагиосе? Думаю, не у одного хетцнера он инфраструктуру мониторит.
    • 0
      В рассылке ничего не поясняется — думаю, детали будут позже.
      • +1
        Надеюсь. А то быстрое гугление ничего не дало, а привычку смотреть за утреним кофе на зеленый «Tactical overview» менять не хотелось бы :)
  • +5
    Меня интересуют технические подробности компрометации системы мониторинга.
  • +1
    поражал запущенные процессы веб-сервера Apache

    не означает ли это, что бэкдор внедрялся в пользовательские процессы apache в виртуальных серверах и имел доступ к передаваемым данным, в т.ч. HTTPS?
    • 0
      Я не могу сообщить никакой другой информации, кроме той, что указана в письме — увы.
      Возможно, это тоже имело место быть.
  • +2
    меня вот больше волнует вопрос, не скомпроментирован ли приватный ключ на рутовый ssh-доступ к серверам, который они выкладывают на все сервера.
    • 0
      Все сервера или все VDS сервера?
      • 0
        Вероятно, все VPS\VDS и дедики.
      • 0
        Все.
    • 0
      Что? Куда они выкладывают? Где искать?
      • 0
        ~root/.ssh/authorized_keys2
        • 0
          У меня нет таких, слава богу.
  • 0
    Уважаемые, кто хостится на Hetzner-е
    Кому либо приходила ли смс на телефон, что ваша карта взломана?
    Сообщение фейковое, предлагали позвонить в службу поддержки (а номер указывался мобильный)

    Вчера днем мне такая смс пришла. И вот думаю, это звенья одной цепи или нет?
    • 0
      так-так-так, любопытно. С моей карточкой была одна странность: с нее не прошла оплата сотового телефона 4-го числа. Причем, не проходила несколько раз, а времени выяснять причину не было. До этого момента за год не было никаких сбоев, всегда проходили оплаты: и списания и пополнения. Не факт, что указанный инцидент имеет место, просто оставлю инфу другим, вдруг сложится цепочка.
    • 0
      Я номер телефона на Хетцнере не светил вообще, а оплату провожу с карточки, привязанной к ЯД — там деньги появляются строго по нужде. На номер, к которому прикручены ЯД, ничего не падало.
    • +2
      Забавен был разговор с мошенниками.
      Сначала пропеленговал номер в инете, вроде не платный
      Звоню:
      — Служба поддержки банка слушает
      — Какого банка?
      — Служба поддержки банка слушает
      — Я уже понял, какого банка?
      — Почему вы звоните?
      — Я получил сообщение что моя карта взломана. У меня несколько карт. Так какого банка?
      — Центрального
      — Нет такого банка
      — Сообщите вашу фамилию, имя
      — Нет
      — Всего хорошего (и повесили трубку)
      • +2
        Ну что же вы так? Надо было твердым голосом сообщить какие-нибудь прикольные ФИО. Если оператор хрюкнет — прицепиться к «моя фамилия кажется вам смешной?». Ну и так далее.

        А номер небось начинается на 8-900. Мне тоже периодически приходят оттуда сообщения.
        • 0
          Я потом уже подумал что надо было сказать фейковое ФИО

          >А номер небось начинается на 8-900. Мне тоже периодически приходят оттуда сообщения.
          Я в первом сообщении написал, что обратный номер был мобильный, но написанный по хитрому, чтобы сразу не догадались
          +7(9053)02-74-88
          • 0
            Так 8-900 тоже мобильные.
    • +1
      Мне вот что интересно, зачем вы светили данные карты на сервисе, принимающем PayPal?
      • 0
        Данные карты я не мог засветить
        Все равно они не хранятся у них в админке
        А с карты мне удобнее платить. Много лет уже так оплачиваю, превычнее.
        • +1
          PayPal точно так же снимает данные с карты, но
          1) даёт гарантию, что карта не будет засвечена
          2) манибек
  • 0
    Это намек? :)
    • 0
      Это кто-то одновременно со мной, видимо, писать начал. Тот топик почти сразу убрали в черновики — я чуть раньше запостил.
  • –1
    У меня как-раз в конце прошлой недели сервер без причины перезагрулился, вот оно что…
    • 0
      Они иногда перезапускают виртуализатор, это нормально.
  • 0
    Интересно что за дыра в Nagios?
    • +1
      В голове у них дыра, а не в Nagios, в нормальном ЦОД такого быть не может.
      • 0
        Ну ЦОДа у меня своего нет. А вот Nagios есть. Поэтому меня данная тема волнует.
        Пока могу предположить что это что-то связанное с NRPE.
        • 0
          Поддерживаю беспокойство насчет нагиоса. Правда, если они в allowed_hosts прописали пол-инета, а потом возмущаются, что их влозмали через nagios, то я даже не знаю.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.