Не спешите выкидывать старые серверы, из них можно собрать быструю Ethernet-СХД за час



    Однажды мы ставили новые дисковые полки для массива EMC у одного из наших крупных клиентов. Когда я уходил с объекта, то обратил внимание на людей в форме транспортной компании, которые вытаскивали из стоек и готовили к погрузке большое количество серверов. С сисадминами заказчиков общение идёт плотное, поэтому довольно быстро выяснилось, что это серверы — старые машинки, в которых мало памяти и процессорной мощности, хотя дисков стоит в избытке. Обновлять их не выгодно и железки будут отправлены на склад. И их спишут где-то через год, когда они покроются пылью.

    Железо, в целом, неплохое, просто прошлого поколения. Выкидывать, естественно, было жалко. Тогда я и предложил протестировать EMС ScaleIO. Если коротко, работает это так:



    ScaleIO — это софт, который ставится на серверы поверх операционной системы. ScaleIO состоит из серверной части, клиентской части и нод управления. Дисковые ресурсы объединяются в одну виртуальную одноуровневую систему.

    Как это работает


    Для работы системы нужно три управляющих ноды. Они содержат всю информацию о состояние массива, его компонентах и происходящих процессах. Это своего рода оркестраторы массива. Для полноценного функционирования ScaleIO должна быть жива хотя бы одна управляющая нода.

    Серверная часть — это небольшие клиенты, объединяющие свободное место на серверах в единый пул. На этом пуле можно создавать луны (один лун будет распределен по всем серверам, входящим в пул) и отдавать их клиентам. ScaleIO может использовать оперативную память сервера в качестве кэша на чтение. Размер кэша задается для каждого сервера отдельно. Чем больше суммарный объем, тем быстрее будет работать массив.

    Клиентская часть — это драйвер блочного устройства ввода-вывода, представляющий распределенный по разным серверам лун в виде локального диска. Вот так, например, лун ScaleIO выглядит на ОС Windows:



    Требования для установки ScaleIO минимальны:

    Процессор

    Intel or AMD x86 64-bit

    Память

    500 MB RAM для ноды управления
    500 MB RAM на каждой ноде данных
    50 MB RAM для каждого клиента

    Поддерживаемые операционные системы

    Linux: CentOS 5.5-7.0, Red Hat 5.5-7.0, or SUSE 11 SP1, SP2, and SP3
    Windows: 2008 R2, 2012, or 2012 R2
    Hypervisors:
    · VMware ESXi OS: 5.0, 5.1, or 5.5, managed by vCenter 5.1 or 5.5 only
    · Hyper-V
    · XenServer 6.1
    · RedHat KVM

    Разумеется, все данные передаются по сети Ethernet. Все операции ввода-вывода и пропускная способность доступны любому приложению в кластере. Каждый хост пишет на много нод одновременно, а значит, пропускная способность и количество операций ввода\вывода могут достигать очень больших значений. Дополнительное преимущество такого подхода в том, что ScaleIO не требует толстого интерконекта между нодами. Если в сервере стоит Ethernet 1Gb, решение подойдет для потоковой записи, архива или файловой помойки. Здесь же можно запустить тестовую среду или разработчиков. При использовании Ethernet 10Gb и SSD дисков, получим хорошее решение для баз данных. На SAS дисках можно поднять датасторы на VMware. При этом виртуальные машины могут работать на тех же серверах, с которых отдается место в общий лун, ведь под ESX есть и клиент, и серверная часть. Мне лично очень нравится такая вариативность.

    При большом количестве дисков по теории вероятности растёт риск отказа любого из компонентов. Решение интересное: кроме RAID-групп на уровне контроллеров, используется зеркалирование данных по разным серверам. Все серверы делятся на fault-сеты — набор машинок с большой вероятностью одновременного отказа. Данные зеркалируются между fault-сетами таким образом, что потеря одного из них не приведет к недоступности данных. В один fault-сет могут входить серверы, размещенные в одной и той же стойке, или серверы с разными операционными системами. Последний вариант приятен тем, что можно выкатывать патчи на все машины с Linux или Windows одновременно, не опасаясь падения кластера из-за ошибок операционной системы.



    Тесты


    ScaleIO устанавливается с помощью installation manager. В него нужно загрузить пакеты программного обеспечения для разных операционных систем и csv-файл с желаемым результатом. Я взял 8 серверов, половину с Windows, половину с SLES. Установка на все 8 заняла 5 минут и несколько нажатий на кнопку «Далее».

    Вот результат:





    Это, кстати, GUI, через который можно управлять массивом. Для любителей консоли, есть подробный мануал по cli-командам. Консоль как всегда более функциональна.

    Для тестов все ноды с данными я разделил на 2 Failover сета: с ОС Windows и с SLES. Мапим наш первый диск к хосту:



    Объем диска небольшой, всего 56 Гб. Дальше по плану тесты на отказоустойчивость, а мне не хочется ждать окончание ребилда более 10 минут.

    Для эмуляции нагрузки проще всего использовать IOmeter. Если диск отвалится хоть на секунду, я об этом обязательно узнаю. К сожалению, протестировать производительность в этом тесте не получится: серверы виртуальные, а датастор — EMC CX3. Нормальное оборудование занято в продакшне. Вот побежали первые байты:





    Как я писал раньше, один fail-сет можно выключить. Начинается самое интересное. Приятно знать, что с продуктивом клиента в экстренных ситуациях все будет нормально, поэтому в КРОК мы создаем такие ситуации в нашей лабе. Самый хороший способ убедить клиента в надежности решения для обеспечения высокой доступности — выключить одну из двух стоек с оборудованием. Здесь я делаю то же самое:





    Из GUI видно, что все ноды с операционной системой Windows недоступны, а значит, данные больше не защищены избыточностью. Пул перешел в статус Degraded (рыжий цвет вместо зеленого), а IOmeter продолжает писать. Для хоста одновременный отказ половины нод прошел незаметно.

    Попробуем включить 3 ноды из четырёх:



    Автоматически начался ребилд, полет нормальный. Интересно, что избыточность данных будет восстановлена автоматически. Но так как сейчас нод с Windows на одну меньше, на них будет занято больше места. По мере восстановления избыточности данные будут окрашиваться в зеленый цвет.

    Половина готова:



    А вот теперь все:



    Данные полностью восстановили избыточность. На 4-й ноде сейчас ничего нет. Когда я ее включу, начнется балансировка внутри одного Failover set. То же самое происходит и при добавление новых нод.



    Ребаланс данных запустился. Интересно, что данные копируются со всех нод, а не только с нод того же файловер сета. После окончания ребаланса на всех нодах занято по 14% места. IOmeter по-прежнему пишет данные.



    Первая итерация тестов закончилась, вторая будет на другом железе. Нужно протестировать производительность.

    Цена


    Политика лицензирования ScaleIO — оплата только за сырую ёмкость. Сами лицензии при этом никак не привязываются к железу. Это значит, что можно поставить ScaleIO на самое древнее железо, а через пару лет заменить его на современные серверы без докупки лицензий. Немного непривычно после стандартной политики лицензирования массивов, когда апгрейдные диски стоят дороже, чем те же самые диски при первоначальной покупке.

    Прайсовая цена ScaleIO примерно 1572 долларов за терабайт сырого места. Скидки оговариваются отдельно (думаю, если вы дочитали до этого места, не надо объяснять, что такое «прайсовая» цена). У ScaleIO есть аналоги среди опенсорс-решений, и у других производителей. Но у ScaleIO важный плюс — круглосуточная поддержка EMC и огромный опыт внедрений.

    Коллеги из EMC утверждают, что можно сэкономить до 60% затрат в пятилетней перспективе в сравнении с мидрейнджевой СХД. Это достигается как за счёт удешевления лицензий, так и за счёт снижения требований к железу, а также питанию, охлаждению и, соответственно, месту в дата-центре. В итоге решение получилось вполне «антикризисным». Думаю, в этом году оно много кому пригодится.

    Что ещё можно сделать


    • ScaleIO можно разделить на изолированные домены (это для облачных провайдеров).
    • Софт умеет создавать мгновенные снимки и ограничивать скорость клиентов,
    • Данные на ScaleIO можно шифровать и раскладывать по пулам с разной производительностью.
    • Линейное масштабирование. С каждым новым хостом увеличивается пропускная способность, производительность и объем.
    • Failover сеты позволяют терять серверы до тех пор, пока есть свободное место для восстановления избыточности данных.
    • Вариативность. Можно собирать дешёвую файловую помойку на SATA-дисках, а можно быструю систему хранения с SSD-дисками.
    • Вполне заменяет мидрейджевые СХД на некоторых проектах.
    • Можно использовать неиспользуемое место на существующих серверах или подарить вторую жизнь старому железу.

    Из минусов — требуется большое количество портов в сетевых коммутаторах и большое количество ip-адресов.

    Типовые применения
    • Самое очевидное — для построения публичного или частного облака компании. Решение легко расширять, ноды легко добавлять и менять.
    • Для виртуализации инфраструктуры. Есть же клиенты для ESX, поэтому ничего не мешает нам сделать пул ScaleIO (можно даже на локальных дисках тех же серверов, на которых стоит ESX) и положить на него виртуальные машины. Таким образом можно обеспечить хорошую производительность и дополнительную отказоустойчивость при сравнительно небольших затратах.
    • В конфигурации с SSD и Ethernet 10G, ScaleIO отлично подойдет для средних и малых баз данных.
    • В конфигурации с ёмкими SATA-дисками можно сделать дешевое хранилище или архив, который, тем не менее, нельзя поместить на ленту.
    • ScaleIO на SAS дисках будет отличным решением для девелоперов и тестировщиков.
    • Подходит для некоторых задач видеомонтажа, когда нужно сочетание скорости надёжности и небольшой цены (нужно тестировать в прикладе под конкретику, конечно).Система может быть использована для хранения больших файлов вроде стриминга с HD-камер.


    Итог


    Тесты на отказоустойчивость прошли успешно. Всё идёт к тому, что старые серверы поедут обратно на тестирование производительности, а затем и в боевое использование. Если заказчик из истории в начале сделает, как задумано, кое-кто получит премию за сэкономленный некислый бюджет.

    Если решение вас заинтересовало, есть желание протестировать его под конкретные задачи или просто обсудить — пишите на rpokruchin@croc.ru. На тестовом железе можно делать всё, как в том анекдоте про новую финскую бензопилу и сибирских мужиков.
    КРОК 503,82
    №1 по ИТ-услугам в России
    Поделиться публикацией
    Комментарии 98
    • +5
      Я от серверов далек. Поэтому —
      нифига себе — цены. Это чтож получается, может оказаться, что когда mail.ru раздовал в облаке терабайты — каждый пользователь в минус тыщу баксов получился?
      • 0
        Во-первых, это цена по прайсу. В реальности обычно применяется либо объёмная, либо иная скидка.
        Во-вторых, это очень низкая цена, если сравнивать с ценой сырого места при покупке новой СХД Enterprise-уровня. В-третьих, привыкайте — чем быстрее что-то работает, тем дороже стоит. Вот, посмотрите на коробочку: habrahabr.ru/company/croc/blog/214139/ и habrahabr.ru/company/croc/blog/220319/
        • +2
          В mail.ru почти наверняка используется открытое ПО и собственные разработки, а это продукт для коммерческих (не ИТ) компаний и корпораций.
          • 0
            В mail.ru скорее всего бесплатный глюстр или еще что.
          • 0
            Точно $1572/Тб сырой (т.е. емкости носителей в серверах)?

            Т.е. за лицензию на каждый 1U сервер с 4-я 2Тб дисками нужно будет заплатить $6288?
            • +5
              Ceph тут мне кажется более бюджетным. В простом варианте использование бесплатно.
              Коммерческая поддержка 24*7 стоит $13500/в год за 64Тб ёмкости.

              Т.е. некритичные данные вроде тестировщиков и разработчиков можно располагать просто бесплатно.
              При использовании для важных данных их поддержка получается заметно дешевле, чем ScaleIO.
              • 0
                Я не знаком с Ceph настолько, насколько это необходимо для полноценного сравнения. Навскидку могу сказать следующее: Ceph нельзя установить на Windows. В нем нельзя ограничить скорость клиентам. Я не знаком с качеством поддержки RHEL для данного продукта. Есть у них круглосуточное дежурство или нужно писать письма в комьюнити? В некоторых случаях Ceph, возможно, будет более оправдан, чем ScaleIO, но нужно смотреть под конкретную задачу.
                • 0
                  Кстати да — интересно было бы посмотреть на сравнение — чем за свою стоимость ScaleIO лучше/хуже бесплатного ceph или ceph с коммерческой поддержкой. Вот ваш коллега AlBelyaev пишет что Крок внедряет и ceph в том числе habrahabr.ru/company/croc/blog/244085/
                  Заголовок спойлера
                  Тот же Ceph может стать отличной альтернативой для небольших офисов и может работать прямо на самих гипервизорах, если поставить в них побольше дисков. Таким образом можно соединить гипервихзор с СХД и существенно сэкономить на оборудовании. Но, конечно же, это все требует достаточно тонкой первоначальной настройки и сайзинга. В большой инсталляции может стать основой хранения данных, причем по скорости сравнимой с mid-range, hi-end массивами при правильной настройке. Не даром ведь их используют многие крупные провайдеры облачных услуг.

                  • 0
                    Да, у Ceph есть enterprise-поддержка: www.inktank.com/enterprise/
                    0.01$/Gb/month — довольно демократичные деньги за 24/7, как мне кажется.
                    • 0
                      В списках совместимых/поддерживаемых клиентов только линукс. А бизнесу нужна, допустим, вмварь.
                      • +1
                        Как раз это не проблема. Блочные устройства легко экспортируются через iSCSI или SAN. А дальше — дело техники.
                        • –1
                          Смеешься что-ли? Да это основная проблема для бизнеса в европе/сша. Ни кто не купит поддержку, если нет в списке совместимости твоей платформы. А значит ни кто не даст добро и на использование самого продукта.
                          • 0
                            Если есть деньги — пусть покупают. А мне на данный момент нравится Ceph. У него хороший потенциал.
                            • 0
                              Денег дофига. Но не купят.
                              • 0
                                Бизнесу нужен не «потенциал», бизнесу нужно «работает». А вот с «работает» у ceph — беда.
                                Думаете просто так что ли, при всем его «потенциале» в продакшне о ceph говорят считаные единицы. Спросите у teraflops, сколько они у себя в Performix пилили ceph для продакшна.
                                • +1
                                  Вот нашел пост от Перформикс про Ceph: habrahabr.ru/company/performix/blog/218065/
                                  Статья довольно в оптимистичном ключе. Не знаю, конечно, как сейчас у них.

                                  Откуда вы взяли информацию о том, что «с «работает» у ceph — беда»? Можно какие-то конкретные источники? Мне действительно интересно, потому что мы у себя тоже хотим его внедрить в том или ином виде. Пока что я не видел каких-то блокирующих outstanding issues у Ceph, наоборот многие компании продвигают эту технологию, например Fujitsu Eternus CD10000, не говоря уже о Red Hat Storage Cluster и SuSe Storage.
                                  • 0
                                    «Два года назад Ceph подкупил нас своими впечатляющими возможностями. Хотя многие из них на тот момент работали совсем не идеально, мы приняли решение строить облако именно на нем. В последующие месяцы мы столкнулись с рядом проблем, доставивших нам немало неприятных минут.

                                    Например, сразу после публичного релиза год назад мы обнаружили, что перестроение кластера влияет на его отзывчивость больше, чем хотелось бы. Или что определенный вид операций приводит к существенному увеличению латенси последующих операций. Или что в определенных (к счастью, редких) условиях клиентская виртуальная машина может намертво зависнуть на I/O. „

                                    Вы не у меня спрашивайте, вы у него спрашивайте. :-|
                                    Если для вас баги сразу после резиза и два года на багфикс это — “оптимистично», то я завидую оптимизму вашего руководства, дающего деньги на такое.
                                    • +1
                                      Вы так рассказываете, как будто вендорские решения идеальны. Баги есть везде и везде они доставляют «немало неприятных минут/дней/месяцев». В случае тру продакшн систем решений приходится порой ждать по полгода.

                                      Считаю данный спор лишенным смысла. Все всем и так понятно.
                                      • 0
                                        Не додумываейте за меня то, что я не говорил, иначе спор и правда лишается смысла.
                                        Но в случае «вендорского решения» ваши риски страхуются тем, что за баги несет персональную ответственность не абстрактное «сообщество», а конеретные люди в конкретной компании, которым вы платите деньги за поддержку, и имеете право требовать решения вашей проблемы. И вы знаете, что проблемой, когда она возникнет, будут заниматься профессионалы высокого класса, а не поставившие систему неделю назад, как в случае, когда с багой столкнетесь лично вы. Для бизнеса такое страхование рисков очень важно, именно поэтому бизнес и выбирает RedHat, а не, допустим, CentOS (не хочу говорить, что _никогда_ не выбирает CentOS, специально уточняю для желающих «повычитывать» из моих слов, я лишь говорю почему берут RedHat, когда «есть такой же точно CentOS»).
                                        • 0
                                          Так купите поддержку ceph и получите её прямо от разработчиков продукта. В чём противоречие?
                                          • +2
                                            Знаю я эту ответственность, пока не купишь премьер поддержку ответы будут вида обновите/перезагрузите/переустановите или «это баг, исправавим когда-нибудь».
                                            Кстати, у EMC софтовая поддержка такая же бесполезная, как у VMware или всё же получше?
                                        • 0
                                          Я когда вижу такую реакцию у представителей корпоративно-внедренческого сектора — сразу вспоминаю классическую цепочку Отрицание-Гнев-Торг-Депрессия-Принятие :) В общем, чтобы не было этих спекуляций про 2 года багов в продакшене, даю хронологию:

                                          Два года назад Ceph подкупил нас своими впечатляющими возможностями

                                          Это май 2012, когда мы начали разработку.

                                          Например, сразу после публичного релиза год назад мы обнаружили, что перестроение кластера влияет на его отзывчивость больше, чем хотелось бы

                                          Это февраль 2013, когда мы выкатили это на публику.

                                          В последующие месяцы мы столкнулись с рядом проблем, доставивших нам немало неприятных минут

                                          Это до сентября 2014, когда мы эти баги окончательно устранили.

                                          Итого да, 6-8 месяцев мы фиксили проблемы (скачки латенси при перестроениях), которые вскрылись лишь на реальной нагрузке. Доставили ли они нам неприятностей? Да. Были ли они фатальны в наших условиях? Нет. Не жалеем ли мы о выборе? Точно нет, достаточно сравнить функциональность и цены у нас и тех, кто выбрал «надежные решения от серьезных вендоров».

                                          Это кстати все было 2 версии назад (релиз bobtail), сейчас мы используем версию ceph dumpling, в которой все эти проблемы решены и все стабильно работает «из коробки», приятно осознавать, что и мы чуть-чуть приложили к этому руку тоже.

                                          Недавно узнал про один российский банк, который перевез инфраструктуру в Ceph ;)
                                          • 0
                                            «один российский банк» за все это время?
                                            Да, это достижение :)
                                            • 0
                                              Это не достижение, это индикатор. Ну и мне банки не докладывают о своей инфраструктуре, один — это то, о чем знаю наверняка. А могли бы купить NetApp или EMC, да.
                      • 0
                        Для ScaleIO сырое место — это объем исходного диска, видный в операционной системе (тот, который софт может использовать). Если у нас есть 4 2Тб диска, собранные в R5 (хотя для дисков таких размеров я предпочитаю R6), то мы получаем 3*4=14 Тб сырого места, что будет стоить 18864 $. Дальше нужно учесть скидку, которая зависит в том числе и от объема купленного места.
                        • +2
                          Угу, мы оба ошились. Я случайно посчитал 4ТБ вместо 12, а вы 14 вместо 6.
                          Если 4 диска по 2Тб, то это всё же получается в сумме 8Тб, с учетом RAID5 — 6ТБ.

                          Т.е. правильная стоимость за 4 диска по 2Тб в RAID5 получается $9432.

                          Никак на бюджетное антикризисное решение не похоже.
                          • –2
                            Никогда не используйте RAID5 :)
                            • +1
                              По факту тут получается RAID51 — RAID5 аппаратный + зеркало через сеть.
                              • +6
                                Не читайте советских газет. Особенно перед едой.
                                raid5 имеет свои плюсы и минусы, и свою нишу.
                                Панику по raid5 развели тупые админы, которые «вдруг» в 2009 году (емнип) впервые открыли доку и прочитали про минусы.
                                • +1
                                  Ещё этому поспособствовали продавцы mid-range СХД и распространение больших дисков.
                        • +5
                          У меня такое ощущение, что это и есть Ceph под низом. Веб-морда по крайней мере очень похожа. Да и в целом подход.
                          • +1
                            я думаю для вас не секрет такой проект, как ceph? вы сравнивали их? какие плюсу у вашего решения, кроме саппорта?
                            • –3
                              > Не спешите выкидывать старые серверы
                              "… сделайте это не торопясь, с удовольствием".

                              Да, если ценность информации равна нулю, то можно ее хранить на устройствах с падающей надежностью и без поддержки. Но у многих другая ситуация.
                              • +3
                                > то можно ее хранить на устройствах с падающей надежностью
                                Сетевая распределенная фс как раз делает надежность одного узла не критичной.
                                Вышедший узел заменяется на современный.
                                Следовательно вместо покупки 10 новых сразу, вы используете старые на убой, и покупаете новые только по фактическому выходу, а не по мифическим «3 годам в работе».
                                • –1
                                  Станет ли вас греть эти теоретические знания, когда у вас посыпятся диски один за другим (см. широкоизвестный обзор google на счет уровня надежности дисков после 3 лет эксплуатации), группами (такое многие видели), или будут отваливаться узлы целиком, потому что в новом обновлении драйверов ваш контроллер уже не поддерживается, и потому не тестировался.
                                  О, я много могу забавного рассказать, за годы эксплуатации большого парка много повидать пришлось.

                                  В общем, хозяин-барин, но мое мнение, что старому железу место на свалке (истории), и уж точно не стоит на этом хосписе городить хранение сколь-нибудь ценных данных.
                                  • +3
                                    > или будут отваливаться узлы целиком
                                    Все вышеописанные случаи равняются этому.
                                    Выводим узел, ремонтируем или заменяем, вводим обратно.

                                    Когда количество выходов из строя растет — ставим новые. Сохраняем инвестиции, что не потребовалось покупать сразу целую новую инфраструктуру. У которой количество отказов совсем не обязательно будет меньше. (про пик отказов первого месяца работы помним?)

                                    > в новом обновлении драйверов ваш контроллер уже не поддерживается
                                    По этому в обзоре собрана конфигурация с половиной винды, половиной линукса. Даже такое ее не убъет. На самом деле я вообще не вижу смысла обновлять ось на сторадж нодах в san сети.

                                    > старому железу место на свалке (истории), и уж точно не стоит на этом хосписе городить хранение сколь-нибудь ценных данных.
                                    Я таки и не увидел, в чем же разница между старым и новым железом для сетевой распределенной файловой системы.
                                    • –2
                                      Вся причина в том, что вы — «теоретик», а я — практик. Лет 10 назад я тоже таким был, верил в сказки вендоров, например, и во всемогуший Линукс, да благословит его Аллах и приветствует. А сейчас — стал старше, опыта прибавилось, и в красивые рассказки я уже не верю.
                                      А в то, что у дисков после 3-4 лет эксплуатации AFR возрастает втрое-впятеро, это как минимум, уже не просто верю, я это знаю. Но, как известно, чужие ошибки никого не учат.
                                      • +2
                                        Переход на личности — очень ок. Как еще доказать свою т.з., как не назвав оппонента школотой?
                                        Вторая попытка будет?
                                        • 0
                                          Я не вижу тут предмета спора, извините. Для меня принципиально нерешаемая проблема с (не)надежностью лишает обсуждаемое решение самого предмета спора.
                                          Я ж не спорю, наверное есть спрос и на такое «хоронилище данных», но автор явно не указывает на проблемы, вводя в заблуждение таких теоретиков с их фантазиями про «надежную сетевую распределенную фс».
                                          • +1
                                            > Для меня принципиально нерешаемая проблема с (не)надежностью лишает обсуждаемое решение самого предмета спора.

                                            Можно конкретику про надежность? Двухратное резервирование на уровне узлов, для вас недостаточный коффециент?
                                    • 0
                                      широкоизвестный обзор google на счет уровня надежности дисков после 3 лет эксплуатации
                                      где бы почитать?
                                      • 0
                                        Поиск в гугле по словам google hdd failure report дает его первой же ссылкой.
                                        Удивляю бесплатно :)
                                • +3
                                  Полновесный SAN с новым железом будет стоить как этот софт. Очень странная ценовая политика.
                                  • 0
                                    Только entry level san, который на серьезную нагрузку не поставишь.
                                    • 0
                                      Можно подумать всякий старый хлам кто-то будет ставить под серьёзную нагрузку
                                      • 0
                                        Чем старый хлам отличается от нового хлама?
                                        • 0
                                          Износом, более низкой производительностью, отсутствием гарантии, это навскидку если не вдаваться в то, почему вы вообще используете словосочетание «новый хлам»
                                          • –1
                                            > Износом
                                            И… На что это влияет?

                                            > более низкой производительностью
                                            Производительностью чего именно?

                                            > отсутствием гарантии
                                            Что меняется от наличия гарантии?

                                            > почему вы вообще используете словосочетание «новый хлам»
                                            Потому, что с т.з. построения sds на базе ndfs — все выглядит в другом свете. И новые ноды будут покупаться примерно такими же, как старые, ибо большой проц, куча памяти, быстрые диски там не нужны, там нужна минимальная цена за ноду.
                                            • 0
                                              >И… На что это влияет?
                                              Очевидно, количество инцидентов выхода из строя компонентов стореджа будет выше. Непредсказуемо выше.

                                              >Производительностью чего именно?
                                              Количество IOPS харда 10-летней давности может вполне быть раз в 10 меньше современного. То есть SAN на старом хламе будет занимать еще и в 10 раз больше места, потреблять в 10 раз больше электричества, иметь непомерные требования к системе охлаждения серверной
                                              • +1
                                                > Очевидно, количество инцидентов выхода из строя компонентов стореджа будет выше. Непредсказуемо выше.
                                                При условии, что выход одного хоста не влияет на производительность и не сильно уменьшает избыточность — нас это может совсем не волновать.

                                                > Количество IOPS харда 10-летней давности может вполне быть раз в 10 меньше
                                                Нет, за 10 лет производительность хардов не менялась.

                                                > То есть SAN на старом хламе будет занимать еще и в 10 раз больше места,
                                                С чего вдруг?
                                                Или у нас за десять лет 3.5 дюймовые диски уменьшились в линейных размерах в 10 раз?
                                                В конце концов, ни кто не мешает в старые сервера поставить свежие диски, это относительно копеерчная операция.

                                                > потреблять в 10 раз больше электричества, иметь непомерные требования к системе охлаждения серверной
                                                Тут соглашусь только частично.
                                                Миграция с хостов xeon e5XXX на xeon e5-2640v2 сэкономила нам примерно 25% потребления и охлаждения, при той же нагрузке. Разница поколений 3-4 года. Как раз то, что считается «старым» и подлежит списанию.
                                                25% потребления может оказаться допустимым, особенно для небольших компаний с собственными серверными, где нет недостатка в подводе.
                                                • 0
                                                  >Нет, за 10 лет производительность хардов не менялась.
                                                  SSD сильно быстрее. У механики как минимум скорость последовательного чтения сильно увеличилась (если объём большой). SAS 12 думаете просто так на харды ставят?
                                                  • +1
                                                    > SSD сильно быстрее.
                                                    Речь про ssd в серверах. которые на выброс явно не идет.

                                                    > У механики как минимум скорость последовательного чтения сильно увеличилась
                                                    Никому не нужна линейная скорость. Стор оценивается исключительно по iops, которые для механики не менялись уже очень давно.

                                                    > SAS 12 думаете просто так на харды ставят?
                                                    На харды — просто так.
                                                    Основным узким горлом, ради чего развивают sas — линк между контроллером и экспандером. И, частично, из-за ssd. Механическим дискам до лимитов sas еще как до луны.
                                                    • 0
                                                      >Речь про ssd в серверах
                                                      Речь о том, что новое производительнее старого, а не о сравнение механики 137GB 2004 vs 2014 годов
                                                      • 0
                                                        > Речь о том, что новое производительнее старого
                                                        А я говорю о том, что производительность проца, памяти, сети не важна, ты в любом случае упрешься в скорость конечных шпинделей.
                                                        И сетевая распределенная система — способ получить скорость всех дисков в стойке, не важно в каком сервере они стоят, а хорошая избыточность — позволяет не переживать о выходе половины серверов из строя.
                                                      • 0
                                                        >Никому не нужна линейная скорость
                                                        нам нужна.
                                                        • 0
                                                          Видео-монтаж?
                                                          Я давно не видел корпоративных заказчиков, которым бы нужен был линейный трансфер. 95% это виртуализация, oltp, веб и т.п. где бутылочное горло это iops.
                                                          • +1
                                                            Виртуалки надо куда-то бакапить
                                                            • 0
                                                              Не смешите, scaleio и прочие distributed fs, это оверкилл для баккапа.
                                                              Ленточная библиотека будет в эн раз дешевле, удобнее и надежнее.
                                                              Ну или баккап для бедных — обычные серваки набитые большими nl-sas дисками с софтрейдом.
                                                              • 0
                                                                Да, у нас бакап для бедных, хотя RAID и аппаратный. Про дешевизну и удобство ленты — это только в рекламных листовках, на деле выходит или очень дорого (лицензии, резервные приводы, vault, регулярная чистка приводов, профилактическая перемотка, задержки на доступ к данным и прочие радости) или неудобно, или не надёжно, или и то и другое.
                                                                И да, современный механический диск имеет многократно больший объём чем старый, что важно всем, кроме юзеров scaleio (правда приятная схема лицензирования — за объем?)
                                                                • 0
                                                                  > Да, у нас бакап для бедных, хотя RAID и аппаратный.
                                                                  У нас есть анналогичные: на 2u платформу запросто влезает 24+ Tb, под zfs с компрессией влезает до 40+ Tb реальных данных.

                                                                  > Про дешевизну и удобство ленты — это только в рекламных листовках
                                                                  В трех компаниях разного размера стояли что-то типа от msl4048, msl2024. Впечатления хорошие, себя оправдывали.

                                                                  > или неудобно, или не надёжно, или и то и другое.
                                                                  Что-то тут не так. Их бы ни кто не брал, если бы все это было правдой.

                                                                  > современный механический диск имеет многократно больший объём чем старый, что важно всем
                                                                  В типичных серверах, которые мы выкидываем (на 3-4 год эксплуатации) стоят 450gb 15k sas. В типичных серверах устанавливаемых сейчас стоят 600gb 15k sas. Не тут «многократно большего» объема. Не так давно появились 900gb 15k, но еще не стали типовым решением.
                                                                  • 0
                                                                    >Что-то тут не так. Их бы ни кто не брал, если бы все это было правдой.
                                                                    Всё так. Юзеры библиотек делятся на 2 категории: на тех, которых развели на их покупку (и они еще тупо не столкнулись со всеми их прелестями) и на тех, кто по закону обязан хранить резервные копии много-много лет (это единственное внятное оправдание этого ахтунга).
                                                                    • 0
                                                                      Не, не так.
                                                                      Есть куча мест, где библиотека оптимальное решение, начиная с какого-то порога хранимых данных.
                                                                      Например msl4048 с приводами lto-6 вмещает 300tb данных.
                                                                      Анналогичное хранилище на 4tb винтах будет стоить в несколько раз дороже и занимать целую стойку, постоянно жрать электричество и холодный воздух.
                                                                      • 0
                                                                        У нас была msl4048. Правда с LTO3. Места не хватало, в том числе из-за не рационального использования лент при большом количестве различных политик удержания. Так же была постоянная конкуренция за привода: копируются два сервера с маленькой скоростью, в 10 раз медленнее чем привода позволяют — остальные 50 серваков стоят в очереди, окно резервного копирования сильно растягивается. Захотел в это время что-то восстановить — не-а, жди, все привода заняты. Освободился привод, думаешь — щас восстановлю — не-а, на ленту содержащую архив сейчас в соседнем приводе пишется еще другой архив. Захотел раскидать ленты по разным политикам чтоб такого не было — получи нерациональное использование суммарного объема лент. Так что заменили библиотеку на рейд массив из 2 полок с SATA дисками и радуемся. Места хватает и прогнозируется просто, про конкуренцию за ресурсы забыли, волосы стали гладкими и шелковистыми
                                                                        • 0
                                                                          Ну, если вы помещались на lto3, то понятно, почему современные диски удобнее.
                                                                          Остальные претензии скорее к баккап софту, неоптимально использующему драйвы и очереди, чем собственно к библиотеке. Медленная скорость — проблема сети, мы библиотеки ставили в san сеть (обычно fc8), все сервера и полки успевали за окно.
                                                                        • 0
                                                                          Tier 1 пул всё равно оставлются на дисках, даже если не брать в расчёт RTO, то хотя бы ради возможности подмонтировать ВМ прямо из бекапа.
                                                                          • 0
                                                                            Ну от требований бизнеса зависит. Виртуализация не идинственная задача.
                                                                          • 0
                                                                            Есть _небольшое_ число мест, где библиотека оптимальное решение. Во всех остальных случаях это сегодня бессмысленное legacy.
                                                                            Человек ниже все правильно перечислил.

                                                                            > Анналогичное хранилище на 4tb винтах будет стоить в несколько раз дороже и занимать целую стойку,

                                                                            Оно будет занимать 4U.
                                                                            Например NetApp E5560 на 60 дисков 6TB NL-SAS.
                                                                            И насччет «дороже» тоже очень спорно. Особенно если считать правильно и все вместе.
                                                                            • 0
                                                                              > Например NetApp E5560 на 60 дисков 6TB NL-SAS.
                                                                              Сравним:
                                                                              Цена — стоимость только 60 дисков (берем самые дешевые sas 4tb в nix.ru) 900 т.р. (нетап даст ставить не свои диски?) Плюс цена нетапа.
                                                                              Емкость — сырая емкость 240 тб. доступная будет порядка 200, это на треть меньше.
                                                                              Потребление — 1.5 киловатта постоянно.

                                                                              msl4048:
                                                                              Цена — 800т.р. за библиотеку с 2 драйвами, 240 т.р. за 48 лент.
                                                                              Потребление — 300 ватт в пике.

                                                                              Итого я вижу большую цену за меньшую емкость. Разница не сильно критичная, но уже заметная.
                                                                              • +1
                                                                                Ха! У Нетапа пустой ящик стоит от 100 килобаксов, хотя штука действительно хорошая.
                                                                                • 0
                                                                                  Это вы просто покупать не умеете :-P
                                                                                • 0
                                                                                  Специально для вас уточнил, что считать нужно правильно, а не только то, что вам хочется посчитать, потому что как в воду глядел ;)
                                                                                  • +1
                                                                                    Давайте ваши выкладки, иначе «знаю, но не скажу» получается.
                                                                                    • 0
                                                                                      Ну то есть от своих слов про «занимать целую стойку» вы уже готовы отказаться?
                                                                                      Ну, что-ж, уже что-то ;)
                                                                                    • +2
                                                                                      У меня есть цены по прайслисту IBM, а у вас? И если кто-то может купить её за 30% от прайса, это совсем не показатель. Обычная компания из SME будет рада скидке в 30% от него.
                                                                                      IBM DCS3860

                                                                                      • –2
                                                                                        «Цены по прайслисту» это такая смешная штука, примерно как сферический конь в вакууме, по которой покупают должно быть какие-то лохи. Я таких не видел, если честно, ни одного.
                                                                                        • +1
                                                                                          В итоге: у нас есть стоимость по прайс-листу 115 за ленты против 155 за диски. Скидку скорее всего можно получить и там, и там, так что моно не учитывать.
                                                                                          При этом на ленты влезет на треть больше.
                                                              • 0
                                                                Один SSD на SAS 12 стоит как крыло от самолёта, при этом не все задачи упираются в IOPS, часто нужно много места при сравнительно небольшой нагрузке (тот же Exchange).
                                                          • 0
                                                            >Что меняется от наличия гарантии?
                                                            Повышается стоимость замены компонентов (гарантийное оборудование меняется бесплатно)
                                                            • 0
                                                              Для этого вам компонент купить нужно. Либо в начале эксплуатации (и с этого момента какое-то время будет течь гарантийный срок и, соответственно, будет бесплатная замена) либо в случае выхода из строя старого компонента (но в этом случае у вас будет какое-то время до выхода его из строя, т.е. вы заплатите что-то гораздо позже и, таким образом, сохраните часть инвестиций). Единственный минус в сохранении старого железа — потеря стандартизованности в результате эксплуатации одинакового железа. Это повышает стоимость владения. Насколько сильно — это вопрос.
                                                              • +1
                                                                > Для этого вам компонент купить нужно.

                                                                В счет зарплаты heathen, котрый придумал такой подход. А если heathen не нравится, что в счет его зарплаты покупают запчасти, то почему это должен считать нормальным владелец бизнеса? Потому что «закапывать» деньги в запчасти это, по сути, покупать их в зарплату этого самого владельца бизнеса, переводить активы в пассивы, отнимая их и средств, на которые компания может развиваться.
                                                                Это круто придумывать такое, когда деньги «дядины», но почему-то таких людей страшно удивляет, почему «дяди» при этом не в восторге от такого подхода.
                                                                • +1
                                                                  Вы совсем не вчитываетесь в то, что написано? Еще раз, более разжёвано:

                                                                  Поиграем в Капитана Очевидность: чтобы получить гарантию, вам нужно компонент вначале купить. Вы можете купить полку, сервер, диск — не важно. Предположим, что вы купили несколько стоек с оборудованием, скажем, сто серверов за миллион долларов. В этот момент начинает течь гарантийный срок. Через какое-то время он заканчивается и, согласно вашей и ls1 логике, необходимо это оборудование выбросить и приобрести другое, выложив еще один миллион долларов. Само собой, это оборудование себя уже окупило, но владельцы бизнеса не любят выкладывать деньги тогда, когда этого можно избежать. Вместо того, чтобы оборудование выбрасывать, можно оставить его работать в сегментах, где присутствует множественное резервирование. Само собой, рано или поздно старое оборудование будет выходить из строя и понадобится покупать новое — на которое, так же само собой, начнёт течь новая гарантия. Но в этом случае не придётся тратить разом значительную сумму на полную замену, можно будет затраты растянуть. Вышел из строя сервер — заплатили десять тысяч долларов за новый. Вышел следующий — заплатили еще десять.

                                                                  Прежде, чем пытаться быть саркастичным, стоит открыть хотя бы популярные книжки по экономике и финансам и почитать — для общего развития. Чтобы знать, что такое ROI или хотя бы временная стоимость денег и чем миллион долларов сегодня отличается от миллиона долларов через полгода. Для справки я вам могу сказать, что они на текущий момент будут отличаться как минимум на $34 521 — это та сумма, которую можно гарантированно получить, если эти деньги сейчас положить в банк из первой двадцатки крупнейших банков в стране.

                                                                  Да, кстати, я являюсь владельцем бизнеса, причём в моём бизнесе нет ни копейки денег «дяди», «тёти», «родителей» и т.д. И как владелец бизнеса и консультант по ИТ-системам наших заказчиков я скажу, что резервные запчасти предусматриваются всегда, если проект хоть сколько-нибудь масштабен. И на сотню серверов хотя бы 1 сервер должен быть в холодном резерве, на тысячу дисков — 5-10 штук тоже. Потому что гарантированное время ремонта в 8 часов в контракте на расширенную гарантию 24\7 — это иногда слишком долго.

                                                                  Имеет смысл так же добавить, что на сегодня практически все крупные вендоры продают пакеты пост-гарантийного обслуживания за достаточно вменяемые деньги, и срок гарантии можно продлить до 5 (а в некоторых случаях и больше) лет, но это принципиального значения в разрезе данной темы не имеет. Всё это делается ради одной цели — чтобы сделать разрыв между крупными вложениями средств как можно более значительным, а по возможности — избежать его полностью.
                                                  • 0
                                                    Отказо- и катастрофоустойчивость чем будете обеспечивать за те же деньги?
                                                    • 0
                                                      Что по вашему отказоустойчивость? Два контроллера, два sas порта на хардах, два бэкплэйна — типичная конфигурация любого SAN. И далеко не всем нужны катострофоустойчивый конфигурации (о которых в статье кстати ни слова)
                                                      • 0
                                                        Данная статья и не претендует на универсальность. Если вам достаточно бюджетного SAN — что мешает вам его использовать?
                                                        • +1
                                                          Ни что не мешает, используем. Просто удивляет ценовая политика
                                                  • +1
                                                    Ходили слухи, что ScaleIO может заменить VSAN, очень хотелось бы почитать сравнение после выхода vSphere 6.0.
                                                    • 0
                                                      Вопросы энергопотребления/тепловыделения и занимаего пространства старого барахла не рассмотрены. А это порой важнее стоимости.
                                                      • 0
                                                        Вот-вот. Фокус даже не в эффективности использования места в стойках, а в kW (как энергопотребления так и охлаждения) на терабайт.

                                                        Старые серверы наверное можно просто дарить школам, к примеру.
                                                        • +1
                                                          25% экономии потребления питания при миграции с серверов 3-4 летней давности на современные. Для небольших компаний с собственными серверными это может быть допустимыми расходами.
                                                      • 0
                                                        При позиционировании ScaleIO как «вторая жизнь старых серверов» почему-то упускается из виду то, что при ребилде нагрузка на диски возрастает. Вероятность выхода из строя оставшихся в живых дисков (помним, сервера «старые», хотя это справедливо для любой СХД в принципе) возрастает многократно. Это навскидку. Не говоря о нагрузке на «межсерверное» сетевое взаимодействие при ребилде. Так что, честно говоря — с такими ценами к тому же — непонятно зачем.
                                                        • +2
                                                          > при ребилде нагрузка на диски возрастает.
                                                          Ребилд от нормальной работы практически не отличается.

                                                          > Вероятность выхода из строя оставшихся в живых дисков возрастает многократно.
                                                          Просто надо правильно понимать какую идею вкладывают в использование старых серверов.
                                                          Ни кто не говорит что они будут работать вечно. Это способ не покупать десятки новых серверов прямо сейчас, а запустить структуру стороджа на том, что уже есть. Двухкратная избыточность позволяет спокойно относится к выходу целого хоста из строя, покупая новое железо только по фактической поломке старого. Постепенно, естетсвенно, все будет заменено, но нет больших единовременных затрат.
                                                          • 0
                                                            > Ребилд от нормальной работы практически не отличается.
                                                            Как сертифицированный инженер EMC я, без теоретических выкладок, просто даже исходя из опыта работы с хранилками (более 3х лет) — позволю себе не согласиться. При ребилде нагрузка на дисковую группу в целом и на отдельные диски в частности — возрастает. Аксиома вообще-то ))

                                                            > но нет больших единовременных затрат.
                                                            При таком ценнике на ScaleIO — спорное утверждение :)

                                                            Считаю, что ScaleIO — маркетинго-нишевой продукт. Возможно, подготовка к «гиперконвергентному» продукту, обкатка софта :)
                                                            • 0
                                                              > При ребилде нагрузка на дисковую группу в целом и на отдельные диски в частности — возрастает. Аксиома вообще-то
                                                              В классическом рейде — да. Тут не совсем вариант классческого рейда. Например теоретически есть возможность, скажем, для ребилда читать одну половину зеркала, а для пользователей вторую.

                                                              Далее речь в комментарии выше идет о «нагрузке, которая приводит к выходу из строя», я вот не вижу прямой зависимости между нагрузкой и частотой выхода из строя. Что нагруженые сторы, что резервные и баккапные — в среднем мы меняем диск раз в 2-3 месяца из каждой сотни.

                                                              > При таком ценнике на ScaleIO — спорное утверждение :)
                                                              Да, если нет скидки за объем, то не очень дешево.

                                                              > Возможно, подготовка к «гиперконвергентному» продукту, обкатка софта :)
                                                              Угу, последние год-два идет активный анонс сетевых распредененных систем: vsan, nutanix, storvisor, scaleio и т.п. Кажется индустрия созрела для таких решений, и в ближайшем времени будет трендом, как минимум для систем виртуализации.
                                                        • 0
                                                          Есть еще бесплатный аналог Lustre. Я лично не пробовал, но мои знакомые довольны его использованием, а то 1500$ за терабайт по нынешним временам уж очень дорого!
                                                          • 0
                                                            + еще стоимость железа на котором эти терабайты работают
                                                            да, в данном случае оно старое и уже было куплено, но вложения в него уже сделаны + железо вполне можно продать: и место на складе занимать не будет и совесть спокойна (что не выкинули, а оно продолжает работать). К вырученным деньгам добавить те же $1500/Тб и думаю вполне можно купить новое, более эффективное хранилище.
                                                            • 0
                                                              Да, эти сервера как выразился автор «старого поколения», это возможно 15К винты по 36 (пусть даже 150) Гигов, которые жрут уйму энергии в расчете терабайт на киловат. Да, они быстрые, но как привел автор, что из этого всего нужно сделать архив, то лучше купить современные винты по 6 терабайт и ТСО будет феноменально низким по сравнению с винтами по 36 или 150 Гигов.
                                                            • 0
                                                              Скоро будет бесплатно ;-)
                                                            • 0
                                                              29 мая обещают выпустить бесплатную версию ScaleIO:
                                                              virtualgeek.typepad.com/virtual_geek/2015/05/emc-day-3-scaleio-unleashed-for-the-world.html

                                                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                              Самое читаемое