Тестируем российскую серверную платформу E-Class от «Т-Платформы»

    В предыдущей статье об отечественных производителях серверного оборудования я попытался раскрыть особенности всего цикла производства и сборки серверов. Результаты прошлого голосования показали, что Вы больше доверяете продукции A-брендов. Но, как известно, мало кто производит комплектующие самостоятельно — для этого есть уже проверенные мировые производители. А одним из основных отличий A-брендов, помимо сервиса, является разработка уникального дизайна корпуса, системной платы, дискретных контроллеров, написание собственного BIOS и FW.
    В одном из проектов компании STSS по поставке серверного оборудования, я столкнулся с серверной платформой, спроектированной у нас, в России.
    Эту статью я хочу посвятить как раз этой отечественной разработке от компании «Т-Платформы».
    Серверная платформа E-Class основана на передовой системной плате V210 под процессоры Intel Xeon E5-2600V3.
    Она разработана в России с перспективой переноса производства электронных плат на территорию РФ. Системная плата обеспечивает высокий уровень информационной безопасности благодаря возможности установки модулей доверенной загрузки в форм-факторе mPCIe, которые отвечают требованиям ФСТЭК и ФСБ для защиты информации, составляющей коммерческую или государственную тайну.


    Состав платформы


    Платформа включает разработанную в России материнскую плату TP V210 и корпус производства Chenbro с двойным блоком питания 800Вт или 1200Вт, изготовленный по уникальному дизайну специально для «Т-Платформы».

    Начнём с корпуса


    В качестве основы использовался корпус RM23612 производства братьев Чен. Но узнаваем он только по лицевой панели. Корпус «Т-Платформы» глубже на 195мм и имеет широкие возможности модернизации и оптимизации.



    Внутренние изменения, от вентиляторной перегородки до задней панели, включая последнюю, весьма существенны. Корпус адаптирован под использование с системной платой V210: перенесён блок питания на противоположную сторону, задняя панель выполнена с возможностью использования 2-х райзер-карт, что позволяет использовать 2 слота PCI-E x16.
    Кроме этого, внутри корпуса предусмотрено дополнительное место для установки 2-х дополнительных PCI-E-устройств, например — дискретного контроллера и графического сопроцессора, без возможности вывода на заднюю панель. Таким образом мы получаем 2U-платформу с возможностью установки 4-х полнопрофильных плат расширения.

    Варианты реализации платформ E-Class можно увидеть в официальной презентации. Там представлены различные комбинации riser-карт, задних панелей и дополнительных бэкплейнов под корзины с горячей заменой дисков.

    А в остальном — всё как у исходного корпуса: передний бэкплейн на 12 SAS/SATA-дисков 3,5"/2,5" с возможностью горячей замены, причём корзины уже адаптированы под использование 2,5"-дисков без дополнительных салазок (на видео видно). Поддержка 4-х высокоскоростных 80мм-вентиляторов, с возможностью горячей замены. Если 4-й вентилятор не устанавливается, то предусмотрена заглушка для оптимизации воздушного потока.

    Ускоренная в 10 раз запись сборки сервера на базе E-Class


    Системная плата


    Материнская плата, как уже говорилось, разработана в России. Для детального ознакомления с дизайном, функциональной диаграммой и техническими характеристиками, лучше воспользоваться официальным документом.



    Из основных особенностей можно отметить наличие 4-х PCI-E x16, которые становятся полезными благодаря оптимизации корпуса. На плате есть разъем под microSD-карты памяти. IPMI идёт опционально, и в моём случае, к сожалению, отсутствовал.
    Удивило планирование SATA-портов. Т.к. системная плата универсальна и предназначена для использования в различных корпусах, на передней части платы зачем-то распаяны 2 SATA-разъема. При этом остальные SATA-порты реализованы в виде 2-х Mini-SAS, для удобства коммутации с бэкплейном.
    Так вот эти 2 передних SATA-порта имеют нумерацию №0 и №1. Соответственно порты SATA в Mini-SAS форм-факторе начинают нумероваться с №2 и так далее. Выяснился глюк нумерации при подключении дисков через бэкплейн с использованием Mini-SAS интегрированного контроллера. Контроллер нумерует диски начиная с №2, а бэкплейн — с №0. В результате этого сдвига нумерации, когда драйвер пытается сигнализировать об опасности, он отправляет на бэкплейн номер своего порта, например №2. А бэкплейн воспринимает этот номер, как номер своего порта и мигает лампочкой корзины, в которую установлен диск с номером 4 по нумерации контроллера.
    «Т-Платформы» обещали разобраться в этом вопросе и в новой версии BIOS избавиться от ошибки нумерации.

    Сравнительные тесты


    Для того, чтобы оценить этот отечественный продукт, я провёл небольшие сравнительные тесты двух идентичных конфигураций: Т-Платформы и Supermicro.

    Конфигурация сервера E-Class


    Платформа E-Class на базе V210
    2 х Intel Xeon E5-2620V3
    32ГБ DDR-4 PC4-17000 ECC Registered
    SSD Intel S3500 series 120GB

    Конфигурация сервера Supermicro


    Платформа Supermicro на базе X10DRi
    2 х Intel Xeon E5-2620V3
    32ГБ DDR-4 PC4-17000 ECC Registered
    SSD Intel S3500 series 120GB

    Тестирование SiSoftware Sandra


    Обе системы получились максимально идентичны. Поэтому у меня вызвало интерес, как себя поведут обе конфигурации при нагрузочных тестах Sandra.

    Суммарный индекс производительности

    Сравнение производительности процессоров



    Сравнение производительности памяти


    Сравнение производительности диска




    Тестирование PassMark PerformanceTest


    Результаты этого бенчмарка показали более сильное различие в производительности системы.

    Суммарный индекс производительности

    Сравнение производительности процессоров




    Сравнение производительности памяти


    Сравнение производительности диска



    Оценка результатов


    Тесты проводились каждый по 10 раз, в таблице представлены средние результаты. Были прогоны, когда Т-Платформы существенно опережали Supermicro по производительности, а были и обратные случаи.
    Но средний итог показывает следующее:
    Производительность процессоров практически одинаковая — были перекосы и в одну и в другую сторону, но крайне незначительные.

    Результаты по памяти отличаются: пропускная способность у E-Class оказалась чуть выше чем у Supermicro, но время отклика больше почти на 5 наносекунд. Это вызвано тем, что «Т-Платформы» пожертвовали этим параметром для повышения стабильности работы системы.


    Тесты работы SATA-контроллера тоже показали противоречивые результаты: платформа E-Class при последовательном чтении уступила Supermicro, но при этом отыграла на IOPs и последовательной записи.

    О чём всё это может нам говорить? Да о том, что наши разработчики создали системную плату последнего поколения, которая конкурирует с бестселлером массового сегмента! При этом, вся конструкторская документация выполнена на русском языке по российским стандартам проектирования. По последним данным, производство материнских плат уже переносится в Россию.

    Для тех, кто не смотрел официальную презентацию платформы, под спойлер выкладываю подборку вариантов реализации.
    Модели различных конфигураций платформы E-Class







    Ну и напоследок. Руководство по эксплуатации написано на русском языке и содержит 250 страниц!
    Вы согласны со мной, что этот отечественный продукт способен вызывать гордость за российских разработчиков?

    Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

    STSS 32,76
    STSS — отечественный производитель и интегратор
    Поделиться публикацией
    Комментарии 14
    • +1
      Забыл добавить. Сервер на базе «Т-Платформы» остался у нас в демо-зоне. Если кому-то интересно посмотреть его в живую — это возможно сделать у нас на Бережковской набережной.
      • +1
        Результаты тестирования видятся некорректными.

        Вот взять, к примеру, производительность дисковой системы:
        — какой размер блока?
        — прямой доступ к устройству или через «прокладку» файловой системы?
        — сколько времени занимал тест: успевали за это время забиться дисковые кэши?
        — latency не обозначены

        Очень не радуют такие обзоры, где тестирование производится без понимания предмета: нельзя просто взять пимпочкотыкательную программульку, рисующую пару графиков без понимания, что и как она рисует, и сделать какие-то выводы.

        Почему результаты «гуляли» в разные стороны? Да потому, что методика тестирования оставляет желать лучшего.
        • 0
          Согласен с Вами, что для получения конкретных данных необходимо использовать серьёзную методику тестирования. Но моя задача была не получить цифры производительности, а получить средние «попугаи» в одинаковых условиях и сравнить их между собой. Поэтому и взял «пимпочкотыкательную программульку». Интерес вызывала разница между двумя платформами, а не конкретные данные.
          Если кому-то интересно получить реальные показатели при конкретных условиях (размер блока, глубина запроса и пр.) — я могу прогнать тесты целенаправлено для получения именно этих данных.
          • +2
            все серверные матери на Интеловских чипсетах одинаковы как близнецы-братья (за исключением может быть брендовых матерей — ibm/hp/dell). Биос одинаковый, AMI. Код IPMI одинаковый — AMI. рефдизайн матери — одинаковый. дрова в ОС одинаковые. так что разницы не будет, все одинаково.
            Ребята тестят мать, а не дисковую подсистему дисковой полки или редкий рэйд-контроллер.
          • 0
            Дык и смысл в этих «попугаях», если это даже не «средняя температура по больнице»?

            Тут, опять на примере дисков: вот есть у вас пара серверов с равным количеством оперативной памяти, одинаковым количеством одинаковых дисков, но разными контроллерами и, пусть будет, 2.0 и 3.0 шиной. Попугайная абы-как тестилка использует средства операционки для обращения к дискам, попросту кладет на файловую систему какое-то количество файлов, пишет, читает. Время теста, скажем 5 минут. Какой объем данных оно за эти 5 минут запишет? И получим мы примерно одинаковые результаты потому, что «протестили», фактически дисковые кэши, лежащие в оперативке. А может и нет. Мы-то не знаем, что оно там делало: с тем же успехом можно было от балды нарисовать, исходя из аппаратных характеристик.

            Потестить, ну например, имело бы смысл характерный для баз данных сценарий: блок 8КБ, 100% случайный доступ, 70/30 r/w, с прямым доступом к устройству и нарастающим количеством потоков. Там вот наглядно заметны узкие места. Рекомендую для этих дел использовать iometer, fio или sqlio микросовтовский. В общем-то, собирал под это дело мини-дистрибутивчик. А для комплексного тестирования есть такая штука, как phoronix. Думаю, в ближайшее время напишу на эту тему статейку.

            Как-то так.
            • +1
              Вы правы, но для баз данных используют дискретные контроллеры и RAID-массивы. Я же тестировал интеловский интегрированный контроллер. Тест должен был показать отличия в одинаковых условиях — и не принципиально важно в каких. Наборы микросхем у них одинаковые. Отличие результатов 2-х платформ — это следствие различий разводки, базовых настроек, и схемы материнок в целом. Поэтому я и выбрал распространенный попугайный тест.
              PS: а статью пишите — интересно будет прочесть.
              • 0
                Гм. А кто-то, кроме админов локалхоста, вообще использует встроенное sata нечто? Подозреваю, что оно еще и softraid со всеми вытекающими.
                • +1
                  Дык я о том же! SATA-тест был лишь частью попугайного бенчмарка. Стояла задача проверить насколько грамотно наши разработчики спроектировали разводку системной платы. Компоненты те же, что и везде, а вот как они расположены, как настроены, как рассчитаны расстояния и всяческие неведомые мне задержки и помехи — это и есть результат работы «Т-Платформы».
                  Результаты тестов 2-х платформ отличаются, но они стабильны при всех 10 прогонах. И это при идентичных процах, памяти, дисках и наборах микросхем. Из этого я сделал вывод, что спроектированная плата — продукт конкурентоспособный, и может являться аналогом представителей массового сегмента. Детальные тесты с реальными цифрами для этого не нужны ИМХО.
                  Если я не прав — поправьте меня.
                  PS: если бы стояла задача протестировать досконально всё — я бы не ограничился этими тестами. Я проверил бы производительность всех PCI-E, сетевых контроллеров и пр…
                • 0
                  А так, если не базы данных, окей: сценарии бывают разные blogs.msdn.com/b/tvoellm/archive/2009/05/07/useful-io-profiles-for-simulating-various-workloads.aspx

                  Либо, если говорить о каком-то тестировании, стоило прогнать хотя бы тот же iozone — это будет всяко информативнее всех этих поделкок для «компьютеров для учебы».

                  То же самое по процессорам на конкректных задачах: lzma компрессия в один и несколько потоков, кодирование видео, например, средствами ffmpeg, компиляция чего-нибудь тяжелого… А вся эта непонятно что делающая синтетика, ну вы понимаете.
              • +1
                два SATA разъема спереди матери — для использования этой матери в V-класс, там корзина на 10 матерей с 2 не-хотсвапными 2,5" дисками на самом лезвии. Сама мать унитарная для V и E класса.
                • –1
                  Где заземляющий браслет у сборщика?
                  • 0
                    А Вы сами знаете для чего он нужен?
                  • –1
                    То есть серийный корпус дорабатывается напильником? Выходит, что партия мала настолько что заказ собственных корпусов необоснован.
                    • +2
                      он и заказан — мать длинее самой длинной ee-atx на 20 сантиметров почти. Поэтому китайцы и удлинили корпус, оставив все остальное на своих местах. Обратите внимание на расположение блока питания и на платку слева от матери на фотки. Это никак не серийный корпус — OEM заказ на несколько тысяч штук.

                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                    Самое читаемое