Pull to refresh

Покупка современного сервера Intel c NVMe P4800X

Reading time 27 min
Views 42K
Сентября 17го года купил в личное пользование сервер стоимостью 7680$ у поставщика Тиском.
Поставил в Московский ЦОД tech.ru и приступил к эксплуатации.

Фото-отчёт в наличии. Статья состоит из 5 частей:

  1. Зачем мне сервер.
  2. Выбор конфигурации.
  3. Выбор у кого покупать.
  4. Выбор у кого размещать.
  5. Проблемы с настройкой данного сервера.

Зачем мне сервер


В августе 2015 года удачно сложились обстоятельства, чтобы я начал делать онлайн игру.
У меня был довольно большой выбор каким долгостроем заняться. По ряду причин выбрал онлайн игру.

Начал её делать и за пол года напряжённой работы хорошо продвинулся, но внезапно сбережения кончились. Тем не менее я зашёл очень далеко в этом вопросе и далее продолжил дорабатывать онлайн игру в свободное от основной работы время. Игра требует много серверных ресурсов — для подсчёта рейтингов.

У меня уже 10 лет имеется личный сервер в Киевском ЦОД hvosting.ua. Достался он мне случайно: «Хочешь сервер вот такой-вот за 750евро и платить только за место в стойке?», ну а у меня тогда как-раз были лишние 750 евро и я согласился. Имеющегося сервера было достаточно примерно до 500 человек онлайн. Поэтому пришлось всех игроков просить «не рассказывайте никому про игру». И сейчас не хотелось бы никому показывать текущую версию, 5 человек активно играют — более чем достаточно на данный момент.

Стало ясно, что нужно брать или арендовать новый сервер.

Вариант с арендой я отбросил, потому что у меня есть позитивный опыт размещения своего
сервера длительностью 10 лет.

Есть негативный опыт закрытия успешного стартапа из-за дорого хостинга. Ну то есть надо было платить 600$ в месяц за хостинг, а доход в какой-то момент стал меньше 600$ в месяц.
Я соответственно не мог показывать это в портфолио — и я считаю это был нанесён чудовищный урон моему доходу вцелом.

Именно из-за этих двух причин я принял решение покупать сервер, а не арендовать.

То есть, если онлайн игра будет финансово несостоятельной — она всё-равно останется онлайн и будет доступна для портфолио. И расходы на её содержание будут вполне посильные даже при нулевом доходе от самой игры.

Кроме того, мне нужен сервер для нескольких некоммерческих сайтов и teamspeak сервера для крупной гильдии в известной онлайн игре.


Обзор всех комплектующих в данном сервере, ещё в коробках всё, сейчас будет распаковка

Выбор конфигурации


Я решил, что сервер должен тянуть 50000 игроков онлайн и 1000000 зарегистрированных игроков.

При достижении этих показателей — стартап перерастёт в бизнес и будет возможность купить новое необходимое оборудование. Но вообще почему именно 50000, а не 60000 — рассматривать не будем, статья не об этом.

Дальнейший выбор конфигурации — подбор параметров, под требуемые показатели.
На момент начала этой истории я довольно слабо разбирался в серверном железе и того, что мне на самом деле надо.

Полагаю, что ход мыслей и логика принятия решений будут очень интересны всем причастным к теме. Или людям принимающим решения.


Все комплектующие в своих коробках, сейчас начнётся распаковка и установка

Общие показатели


Для снижения финансовых рисков необходимо, чтобы ежемесячные траты были минимальны. Соответственно сервер должен быть 1U размером.

Серверная часть игры спроектирована таким образом, что почти всё можно запускать в многопотоке. То есть даже можно разделять задачу просчёта игрового мира между несколькими серверами.

Это значит, что при выборе «несколько производительных ядер» vs «много среднепроизводительных ядер» — надо делать выбор в пользу второго варианта.

Сделав некоторые замеры я решил, что для 50000 человек онлайн понадобится 50Gb оперативной памяти (опять таки статья не о том, почему столько).

Внезапно выяснилось, что игра делает очень много записей на диск. Значит это должен быть ssd и довольно мощный.

Должны быть какие-то hdd для бэкапов. Я из тех, кто «уже делает бэкапы».

Выбор процессора


Производитель процессора: Intel, AMD, МЦСТ.

AMD — я пытался пользоваться официальным сайтом AMD, но к сожалению там невозможно понять:

  1. Какие процессоры у них вообще бывают. Удалось понять изучая не официальный сайт (всякие другие сайты).
  2. Какие процессоры самые актуальные. На момент изучения — самые актуальные серверные процессоры были без поддержки DDR4. Дальше не стал изучать.

Решение отказаться от покупки AMD — очень неудобный сайт и устаревшие процессоры.
МЦСТ — это безусловно очень интересно, очень интересен сам факт существования процессоров российского производства. Которые даже возможно купить.

Невозможность купить от имени частного лица — сильно напрягло, но решаемый вопрос.
Невозможность изучить полные характеристики процессора, нет никаких тестов в открытом доступе. Пусть даже синтетических. Также отмечаю отсутствие поддержки DDR4 — но это имхо простительно (для AMD такое не простительно). Решение отказаться от покупки МЦСТ было после осознания невозможности использовать команду «apt-get upgrade».

Intel — остаётся только этот вариант. Есть поддержка DDR4 памяти в последней линейке процессоров. Есть специальный раздел сайта в котором они вываливают простыню характеристик процессора — я там могу найти все интересующие меня характеристики.


Откручиваем радиаторы процессорные


Откручиваем радиаторы процессорные


Момент установки процессора E5-2630 v4


Установленный процессор E5-2630 v4 крупным планом

Количество процессоров


В свободной продаже есть серверные варианты 1х, 2х, 4х, 8х.
Вариант купить материнскую плату с несколькими разъёмами и со временем установить туда полный комплект — я решил не рассматривать. Почему? Докупать оборудование это есть очень много времени, нервов и денег. Это в отличии от домашнего компьютера.

Варианты 4х-8х процессорные оказались невероятно дорогими и даже в самой скромной комплектации были с неподъёмной для меня ценой. Однопроцессорные и двупроцессорные системы оказались для разных ниш рынка. Вот список процессоров к рассмотрению (те, что начинаются на «E5-4» — неинтересны, они для 4х процессорных систем).

Рассмотрим варианты «E5-1» — это процессоры для однопроцессорных систем.
Сразу бросается в глаза высокая базовая частота и высокий бурст, но количество ядер очень малое количество.

Вот например «E5-1660 v4» 8 ядер — 1113$, а процессор для двухядерой системы, но с меньшей частотой «E5-2620 v4» 8 ядер — 422$.

Цена в 3 раза меньше в пользу двухпроцессорной системы! Вспоминаю, что для задачи гораздо полезнее больше слабых ядер, чем мало сильных ядер. На этом было принято решение покупать двухпроцессорную систему.


Оба процессора E5-2630 v4 установлены в свои слоты


Нанесение термопасты на процессор


Намазывание термопасты на процессор

Модель процессора


Всё-равно остаётся довольно большой выбор процессоров, какой же выбор сделать. Я обращаю внимание на приставки типа «L» или «W» или «A».

«L» — это низкое энергопотребление. Для меня это не интересно. Если бы у меня была бы своя стойка в ЦОД — это имело бы значение, а поскольку у меня 1U и ни один ЦОД не хочет ставить счётчик к моему серверу — то это и важно.

«W» — повышенное энергопотребление, «A» — очень удачный экземпляр в линейке. Довольно быстро можно заметить, что оставшиеся процессоры делятся на 2 группы. Малое количество ядер+высокая частота, большое количество ядер+низкая частота.

Отбросим первую группу. Итого осталось (стоимость выше 1500$ за штуку я решил не рассматривать):

E5-2603, E5-2609, E5-2620, E5-2630, E5-2640, E5-2650, E5-2660.

Сразу отбросил слишком слабые процессоры: E5-2603, E5-2609, потому что денег точно хватит на 2шт E5-2620.

Остаётся 5 вариантов: E5-2620, E5-2630, E5-2640, E5-2650, E5-2660.

При детальном рассмотрении выяснилось, что их можно разбить на 2 группы по максимальной допустимой частоте памяти:

E5-2620, E5-2630, E5-2640 — 2133Mhz
E5-2650, E5-2660 — 2400Mhz

Рассмотрим 2 процессора из этой группы:

По частоте E5-2630 vs E5-2650 не отличаются. Разница только +2 ядра (и частота памяти чуть больше) и цена в 2 раза больше (или +600$)! Вторая группа отпадает из-за цены.

Теперь рассмотрим E5-2630 vs E5-2640:

Отличается только базовая частота +10%, а цена при этом в полтора раза больше. Убираю вариант E5-2640. Непонятная переплата для меня.

Остаётся только E5-2620 vs E5-2630:

Разница в цене 250$, и за них мы получаем +10% к частоте и +2 ядра.
Я готов за такую цену получить такую надбавку.

Итого выбор сделан: Intel Xeon Processor E5-2630 v4


Установка радиатора на процессор


Закручивание радиатора на процессоре


Как процессоры видны в bios

Выбор объёма памяти


Напоминаю: на уровне идеи — я решил, что мне надо ~50Gb памяти. В интернете я нашёл, что сбор сервера с памятью не кратной двойке — это вполне приемлемо.

Но всё-равно. Из соображений, что вся память должна работать одинаково — чтобы мне не надо было парится какому ядру насколько сложную задачу подавать — я решил, что количество памяти должно быть кратным двум.

Соответственно получается, что надо ставить 64Gb памяти. Серверная часть игры написана таким образом — что на стороне сервера полностью просчитывается весь игровой процесс.

Таким образом читерство невозможно. Однако если вдруг памяти не хватит, чтобы полностью поместится в памяти всем игрокам онлайн — будет маленькая катастрофа, игра просто не запустится, а мне надо будет срочно делать какой-то хотфикс. Для возможности сбрасывать на диск промежуточные вычисления.

Ещё выяснилось, что если установлено много плашек памяти — то падает скорость общения процессора с памятью.

Поэтому если я сейчас куплю 64Gb, а потом докуплю ещё столько же — это будет гораздо хуже, чем если я сразу куплю 128Gb.

Разница в цене оказалась вполне посильная, возможно даже хватило бы на 256Gb, но лишней 1000$ не оказалось, весь резерв в итоге ушёл в ssd.


Установка плашек памяти, внимательный суслик тут может заметить 2400 память. На самом деле эта память тут для фоток, нужная память приехала в самый последний момент.

Выбор количества плашек памяти


Я уже знал, что если поставить слишком много плашек памяти — то она будет работать существенно медленнее, чем если поставить меньше плашек памяти. Так и что — лучший вариант это ставить одну плашку на 128Gb?

Оказывается у процессоров есть такое понятие как «каналы памяти». Самый лучший вариант — в каждом канале памяти по одной плашке памяти. Это правило оказывается работает и для игровых/рабочих компьютеров. Удивительно, что всякие блогеры не доносят эту простую мысль до публики.

У моём случае получается 2 процессора, и у каждого процессора по 4 канала памяти. То есть для моего случая лучше всего поставить 8 плашек памяти.

Итого выбор: 8 х 16Gb


Установка плашек памяти

Выбор модели памяти


Выбор оказался не велик. Во первых выбор вообще на данный момент — это 2133 и 2400. Но процессор тянет 2133. Есть ли вообще смысл брать 2400?

Оказывается не только смысла нет, но ещё и вредно (для моего случая). Оказывается доступ к памяти выполняется за 17 тактов у 2400 памяти, и за 15 тактов у 2133 памяти.

Но у меня процессор не может работать с 2400 памятью, он будет с ней всё-равно работать на частоте 2133. Однако, если бы процессор был E5-2650 v4 или выше — тогда наоборот выгоднее было бы ставить 2400 память.

Следующий фактор — это LRDIMM. Это технология позволяющая устанавливать больше памяти на сервер и при установке максимум планок — такая память работает быстрее, чем если бы без LRDIMM.

LRDIMM — это обычная серверная память + какие-то чипы дополнительные. Соответственно и цена +20% примерно.

Для меня соответственно LRDIMM не нужен, потому, что я не устанавливаю память в каждый слот.

Теперь производитель. Среди серверной памяти оказывается производитель не имеет значения. Я вот не пойму как такое возможно — но факт. Синтетические тесты одинаковые. Данные memtest примерно одинаковые. Для Kingston памяти я нашёл варианта: 2 варианта насыщенности чипов, но и даже в этом случае функциональной разницы нет.


Общий вид на установленные процессоры и память


Как память видна в bios

Выбор дисковой подсистемы


Когда я первый раз составлял желаемую конфигурацию сервера — я хотел 1 ssd на 240gb и один hdd на 2tb.

По мере выяснения того, что мне надо — менялась и понимание чего мне надо на самом деле.
Мне пришлось узнать, что ssd диски бывают очень-очень разные. Что на серверах лучше использовать raid1.

Что появилось новая технология NVMe и у неё куча вариантов есть. Raid контроллеры бывают очень разные под разные задачи.

Давайте по порядку. Начиная с «а что надо для задачи?». Надо 200Gb ssd диска, способного выдерживать очень много перезаписи. И 2Tb hdd для надёжных бэкапов. «Очень много перезаписи» — при очень примерных расчётах это 1-2Tb в день. Надёжные бэкапы — это значит raid1 конфигурация. Аппаратный или программный raid — это вопрос величины трудозатрат, квалификации и ответственности при починке raid.

С точки зрения управления выбор получается такой:

  • Программный raid — нужна квалификация для починки raid, малейшая ошибка и данные утеряны. Но дешевле.
  • Аппаратный raid — просто заменить неисправный диск и всё. Но дорого.

Соответственно Тиском посоветовал самый дешёвый из современных аппаратных raid контроллеров, который позволял бы вот так просто чинить возможную поломку.

Это: ark.intel.com/ru/products/82030/Intel-Integrated-RAID-Module-RMS3CC040

Я обращаю внимание, что это raid контроллер для материнской платы Intel. То есть, если я бы выбрал платформу не Intel — то мне пришлось бы брать что-то другое и занимать аж целый pci слот.


Понятия не имею что это. Или что-то связанное с шифрованием или что-то связанное с raid картой


Подготовка raid карты к установке


Установка raid карты


Как raid контроллер виден в bios

Модель HDD


Я собирался покупать Western Digital по причине того, что у меня очень позитивный опыт использования таких hdd для домашних компьютеров. Но Тиском заявили, что они смогут только в течении недели сделать замену (по гарантии или без). И предложили HGST — сказали, что смогут сделать замену в течении суток.

Стал в интернете искать что пишут про надёжность HGST — вроде нормальные отзывы, и согласился с таким выбором производителей дисков.

Далее объём. 2Tb надо, хорошо. А что у нас дороже? +1Tb на 70$ дороже, ну я же потом себе не прощу, что сэкономил на объёме, и если мне вдруг потом понадобится ещё места. Ну и далее по линейке аналогично по чуть чуть увеличивается объём и по чуть-чуть увеличивается цена. Между 6Tb и 8Tb проходила моя граница возможности бюджета.

Итого выбор: 2шт 6Tb HGST HDD.


2 HDD HGST 6Tb


Установка какой-то части raid контроллера для корзины с HDD


Подключение корзины с HDD к Raid карте RMS3CC040

Выбор типа SSD


Первый вариант: просто поставить 1шт ssd 200gb. Далее я узнал, что чем больше ssd — тем больше у него ресурс перезаписи (при прочих равных). И, чтобы быстрее эту перезапись мог выполнять.

Например у меня будет 200gb данных и объём 240gb vs объём 1000gb. Так вот при прочих равных — ресурс перезаписи большого объёма будет в 4 раза больше.

Уж пусть специалисты меня простят, но для принятия решения — это совсем не очевидно.

Далее я понял, надо жи raid1 использовать и надо 2 таких ssd. Да, пусть даже делаются бэкапы хоть каждый час и не страшно будет потерять единственный ssd. Но там жи ОСь, настройки всего. Актуальная БД. Придётся потратить срочно очень много времени и сил на восстановление.

Ssd выдерживающий 2tb в день перезаписи стоит очень дорого. А ещё надо запас какой-то по этому показателю иметь.

Далее я узнал про технологию NVMe. Это по простому: ssd диск подключённый не как обычно, а через pci слот.

Полоса данных больше и быстрее — это для моей задачи важно. Немедленно встал вопрос — а можно ли объединить их в raid?

Оказывается можно, но в продаже подобных raid контроллеров нет. Есть опытные образцы с неизвестной ценой.

Вобщем на момент покупки — это был неприемлемый вариант.

Ещё один фактор принятия решения: вот скажем я купил 2 дорогих ssd диска, объединил их в raid. Но ресурс перезаписи у них одинаково быстро расходуется. И что я получу? Что они выйдут из строя одновременно?

Далее я выяснил, что чаще всего ssd выходят из строя не по причине выедания ресурса перезаписи, а из-за поломки контроллера в ssd. Да, для этого raid будет актуален.

И вот выбор получается между pci-ssd (NVMe) и raid1-ssd. И с учётом приведенных выше размышлений для меня однозначно лучше pci-ssd. Ну просто тупо нет ещё 2000$ на резервный ssd, а если бы и были — то надо брать 2U систему и ещё за 400$ покупать корзину. Ну и или покупать в 10 раз хуже ssd.

Ну да, я готов доверится известному брэнду (в данном случае Intel), в надежде, что у них достаточно надёжный девайс, чтобы заявленный срок и ресурс отработал без сбоя.


NVMe P4800X устанавливают в райзер

Выбор модели NVMe


В ssd меня интересует iops на запись, скорость выполнения отдельной операции, объём, ресурс перезаписи.

Пересмотрев характеристики тысяч ssd, я считаю, что в моём случае надо в первую очередь смотреть на заявленное количество перезаписей.

Почти все ssd можно разделить на группы по количеству перезаписей своего объёма в день, в течении 5 лет. Группы: 0.3, 1, 3, 10, 30, 100.

Почти всегда точное соответствие между ресурсом перезаписи и iops на запись. Отдельно выделяются ssd, чтения с которых выполняется с невероятным количеством iops, но относительно слабенький на запись. Такие мне для этого сервера не интересны.

Производители: Intel, HGST, Huawei, HP, OCZ. Всяких разнообразных ssd — невероятное количество. Честно говоря — я слабо представляю как вообще люди объективно выбирают ssd нужный. Ssd всяких так много, они такие разные, разброс цен такой огромный.

С моей точки зрения лучше всех сгруппировала продукты Intel. Они сумели разбить все ssd на группы так, что я смог сформировать мнение какой девайс мне нужен, а какой нет.

3 линейки NVMe pci-ssd: P3500, P3600, P3700. По 400Gb:

P3700 — 75000 iops — 1000$, 10 перезаписей в день
P3600 — 30000 iops — 650$, 3 перезаписи в день
P3500 — 23000 iops — 600$, 0.3 перезаписи в день

Собственно очевидно, что P3500 сразу отпадает. За 50$ десятикратное увеличение важного мне параметра.

Готов ли я за 350$ получить ~в полтора раза больше iops и в 3 раза больше ресурс перезаписи? Канешна, да.

И вот я собрался покупать P3700 на 400Gb, но за пару месяцев до покупки появляется в продаже P4800X.

Он стоит почти в 2 раза дороже P3700. Чуть меньше объёма. iops на запись 500000. Ресурс перезаписи 30.

То есть итого за 800$ я получаю в 8 раз больше iops и в 3 раза больше ресурс перезаписи.
Ну честно говоря по показателю iops — он просто прекрасен и не смотря на то, что достать дополнительные 800$ было не просто — я решил таки покупать такой ssd.

Бонусом идёт более быстрая запись каждой отдельной команды.

Выбор: www.intel.com/content/www/us/en/products/memory-storage/solid-state-drives/data-center-ssds/optane-dc-p4800x-series/p4800x-375gb-aic-20nm.html


Райзер с NVMe P4800X устанавливают


NVMe P4800X установлен


Как NVMe виден в bios

ИМХО про ssd


Отдельно хочу отметить, что существует тип ssd SLC/MLC/TLC/QLC. Смысл разницы понятен: В одну физическую ячейку записывается сразу несколько битов данных. Соответственно SLC — только одну. MLC — два. TLC — три. QLC — четыре. Слева направа — от дорогого к дешёвому. За счёт скорости записи, чтения, ресурса перезаписи.

SLC — самые надёжные, самые быстрые и… чудовищно дорогие. Например «Micron RealSSD P320h» волосатое чудовище объёмом 350Gb всего за 5000$. Заявленный iops на запись 350000. Неограниченный ресурс перезаписи.

MLC — бывают очень разные. Это ж на заводе делают кучу чипов памяти, что-то получилось удачным — засовывают в серверный вариант, что-то не очень — засовывают в домашний вариант ssd.

TLC — раньше делали откровенно быстро выходящие из строя, сейчас вроде как делают хорошие. И пытаются сделать представление, что TLC — это хорошо (чтобы старые раскупили глупые покупатели).

QLC — пытались делать, но видимо товарный вариант никому не получилось сделать.

Вот Intel недавно выпустила 3D-XPoint, это какой-то новый тип памяти. Как по мне — слоёный пирог из ssd чипов.

Выбор материнской платы


Для серверов в отличии от домашних компьютеров к выбору материнской платы подходят совсем по другому. Для домашнего ПК размер собственно компьютера не важен, а для сервера — надо всё-всё засунуть в 1U (Это 4.3 сантиметра!).

Отсюда немедленно появляется другой подход к подбору материнских плат. Продаются не материнские платы, а платформы. То есть материнская плата+корпус. Тот, кто продаёт только материнские платы отдельно — немедленно проигрывает в конкурентной борьбе.

Платформы под данный процессор бывают от разных производителей. С небольшими возможными модификациями, на сайтах можно указать ссылку только на конкретную модификацию (о модификация скажу чуть позже):

Производителей HP и Dell — я рассматривать не буду по причине чудовищной переплаты непонятно за что.

Supermicro
Asus
Intel
— Отдельно Intel

Выбор из этих четырёх вариантов — это самый дешёвый вариант подходящий по всем требованиям от каждого из перечисленных производителей. Цена у них примерно одинаковая получается. Вариант R1304WFTYS отпадает сразу как только вижу 1100W мощность БП (почему это важно — об этом позже).

Про ASUS я подумал так, что они недавно вылезли на рынок серверных материнских плат, непонятно чего я буду рисковать.

Про supermicro — они собственно только серверными платформами и занимаются уже очень давно. Но… raid контроллер. Или я беру Intel платформу или мне нужен другой контроллер и занимать слот PCI.

Поэтому я решил выбрать Intel платформу R1304WTTGSR. Но отмечаю, что она на 10% дороже аналогичной платформы от supermicro.

Модификация: с 10 gbit ethernet. Разница в цене 100$, а если мне вдруг понадобится жирный канал — не хотелось бы трогать сервер и устанавливать туда чего-то. А мне скорей всего понадобится жирный канал для момента старта игры.


Платформа R1304WTTGSR запакованная в ящик


Вот что мы видим при первом открытии новой платформы R1304WTTGSR


Все комплектующие установлены, осталось закрыть крышку


Вот такие сведения о платформе видны в bios

У кого покупать


Разумеется в первую очередь обратился к hvosting.ua, ведь я с ними уже более 15 лет сотрудничал получается. Да и объём сделок превышает стоимость обсуждаемого сервера. Но размещение сервера в Киеве после известных событий 2014 года — неприемлемо из соображений безопасности оборудования.

hvosting.ua предложил мне размещение в ЦОД ttc teleport в Праге. Но обсуждение прекратилось на вопросе «я хочу бумажку имеющую юридическую силу о том, что я владелец сервера». Ну уж простите, я уже не студентик всецело всем доверяющий.

Однако, если кому-то очень надо чего-то хостить в/на Украине — я рекомендую hvosting.ua был uptime ~1200 дней, потом плановый перенос сервера в соседний ЦОД и ещё uptime 700 дней. Далее я пытался сделать «apt-get upgrade» без перезагрузки сервера :) Не вышло у debian, само не смогло обновится за 2000 дней — какую-то зависимость разрулить не смогло само. Hvosting помогли разрулить.

В общем за 15 лет не было ни одного сбоя питания и канал падал на 15 минут каждые 4 месяца, 2 раза канал упал на несколько часов.

Особенно доставила сломанная oauth авторизация vk (у них же там vk заблокирован).

Обзор рынка


Стал вопрос о покупке в РФ и размещение тоже в РФ. Почему покупка и размещение в РФ? А чтобы я был бы юридически защищён. Был приятный момент, в самом начале поиска — выбор наилучшего поставщика, никаких рекомендаций, никаких предвзятостей — все равны. Помню как начал с банального поиска «datacenter в России» (потом я уже выяснил, что в РФ это называется ЦОД). И «купить сервер в России».

Думаю будет правильно рассказывать в хронологическом порядке.
05.12.2016

Brigo


В начале был очень конструктивный разговор, с интересным предложением. Я изучал возможность варианта raid1-NVMe, задал вопрос могут ли они на платформу intel поставить raid1-NVMe?
Внезапно получил на этот вопрос: грубый отказ от ответа (меня бы кстати устроил бы и просто ответ «нет», я просто реально был не в курсе этого дела). Дальше не хотелось с ними общаться.

У них первых я увидел P4800X в продаже и поэтому решил у них поспрашивать детали покупки.
Разговор закончился на том, что без моего личного присутствия в Москве совершить сделку невозможно.

05.12.2016:

Unit Solution


У себя на сайте пишут, что 12 лет опыта. И прочие крутые показатели. DNS whois показывает что домен был недавно зарегистрирован (за 3 месяца до рассмотрения). У меня немедленно возникает к ним вопрос: «почему такие расхождения?». Оказывается до этого была другая компания к которой остались отзывы в интернете типа «оплатил давно, нет ни сервера ни денег». Можно было бы простить спецов, создавших новую компанию после работы с нехорошим директором. Но к сожалению, то что они написали — не сходилось с историей DNS. Решил, что риски неприемлемые, хотя цену они предложили интересную.

08.12.2016:

ItTelo


Граждане торгуют Б/У оборудованием. Тогда я ещё рассматривал такие варианты. Со временем решил не рассматривать, потому что DDR4 Б/У нет. sdd-hdd Б/У лучше не брать в любом случае. Ну и получается им нечего мне предложить.

08.12.2016

It paradigma


Это региональный поставщик оборудования. Впринципе хороший вариант — они же рядом. Тогда ещё думал, что может есть приличный ЦОД в Краснодаре, но нет — если и есть приличные — то забиты под завязку. Парадигма загнули цены вверх и не стали отвечать на мои глупые вопросы.

12.12.2016:

Тринити


Вот такая вот ссылка рабочая до сих пор: server.trinitygroup.ru/expert/25736
Насколько я помню — меня смутила цена. Честно говоря, даже сейчас я смотрю на данную цену и не понимаю откуда такая большая цена.

12.12.2016

Тиском


Их порекомендовали ЦОД tech.ru типа они сами с ними сотрудничают. Выслушал все мои хотелки — подобрал именно то, что соответствовало моим хотелкам того времени. По прекрасной цене. Далее стал раскапывать DNS whois и отзывы в интернете.

DNS whois соответствовал описанному в переписке. При расследовании вскрылось много любопытных деталей.

Выяснилось как компания основывалась, кем, как менялась. Нашлось как меняли сайт и попросили отзвывов о нём где-то оставить.

Нашлись сотрудники компании. Нашлись позитивные и негативные отзывы. Всё это говорило о том, что компания старая и чем-то активно занимается постоянно.

Ещё я проверил сертификат Intel — он был хоть устаревшим, но настоящим. Проверил ещё какой-то случайный сертификат — тоже настоящий. На сём остался очень доволен.

Также имеется https. Тоже добавляет очков в сторону выбора их компании.

С самого начала выглядело как очень хороший вариант.

12.12.2016

stss


Первое общение — положительное. Но цена — просто нет слов какая большая. До сих пор тут висит озверевший от жадности пример. Выбираем 400Gb NVMe 75k iops. Это у нас соответствует Intel P3700. Получается, что все продают эту железку за 60000±, а они её толкают за 90000.

Ну ладно, может этот новый сайт с багом каким-то?.. Но нет, это не баг. Вот находим это же на основном сайте со старым дизайном:
stss.ru/products/servers/T-series/TX217.4-004LH.html?config=
Тут в соответствующем месте выбираем ту же железку и тоже получаем +90000 к стоимости.

50% бонусного навара это безусловно очень выгодно, но извините, мы подём другой дорогой.

12.12.2016

Desten


Вообще это был очень приличный вариант и DNS whois и отзывы — выглядели хорошо.
Но на вопрос «могут ли они без моего присутствия доставить сервер в ЦОД?» не ответили.
Так бы всеръёз выбирал между Тиском и Desten. Был бы у них более терпеливый саппорт — возможно я бы сервер в итоге у них купил.

13.12.2016

Server-gid


Они мне просто прислали конфигурацию и цену — я ужаснулся и ничего не ответил. Теперь я смотрю — цена адекватная, а почему раньше ужаснулся — потому что не понимал смысла слова «DWPD». Судя по всему у меня с ними был телефонный разговор какой-то.

14.12.2016

Itelon


Граждане пытались продать мне Dell оборудование. Опять я вижу переплату за брэнд вообще непонятно за что. Сотрудник объясняет мне, что переплата за оперативную помощь. Но я чего-то не понимаю — сервер стоит в стойке ЦОД tier3. Никто его ногами бить не будет. Кроме заводского брака — ничего там не может случится. Плюс они заявили, что не могут как Тиском без моего присутствия установить сервер — непонятно было о чём дальше говорить.

10.01.2017

Server-city


Сейчас я у них на сайте вижу скуденький конфигуратор серверов. Тогда у них был только сайт-визитка. И там было написано, что рассматривают варианты рассрочки, я и решил спросить на эту тему. Сказали, что такие малые суммы для рассрочки не интересны. Сервера у них DELL/HP — что имхо переплата не пойми за что.

Разрешите обосновать моё невольство этими компаниями.
www.regard.ru/catalog/?query=2620+v4
Мне кто-то объяснит чем отличается «Intel Xeon E5-2620 v4 OEM» и «Dell Xeon E5-2620 v4 (338-BJEU)»? Я вот вижу только разницу в цене в 2 раза! Сами кристаллы процессоров делают Intel. Готов поверить, что они припой ставят другой, ну ок +50$ готов понять. Объясните мне глупому за что компания DELL в данном примере берёт +500$?

Видимо как-то удачно у них сработала напоминалка и они мне позвонили за неделю до окончательного согласования конфигурации с Тиском. Попытались перехватить меня как клиента в последний момент. Но… цена оказалась выше чем у Тиском.

Ebay


А также бандеролька, ComputerUniverse, ogg и прочие площадки. Вариант, что доставляют мне в глубинку, а я потом как-то доставляю в Москву — выглядит ужасно. Мало того, что весь профит от отказа от посредников выедается стоимостью доставки. Так ещё и времени невероятно много съест. И главное — риски повредить появляются (ударить об что-то например).

Вариант с доставкой в Москву — нужно где-то помещение, где я смогу собрать сервер плюс личное присутствие. Плюс трансторт между точкой выдачи, точкой сборки и ЦОД. Плюс риск накосячить при сборке (еси ж там второстепенный проводок не так подключу — не будет возможности исправить).

Самоу побегать по Москве


Я обратил внимание, что цена колеблется по каждой железке в разных магазинах. То есть можно побегать по Москве купить дёшего в раных магазинах. Но опять таки риски кривой сборки. Личное присутствие, место для сборки и транспорт по городу. И вопрос — а где профит от данного мероприятия?

Местный магазинчик


В глубинке разумеется есть магазины и они готовы за долгий срок доставить что угодно за приемлемую цену. Однако как выяснилось, у них как-то мозги подругому работают. Я им объясняю, что вот ssd дорогой мне нужен вот такой вот. А они — у нас его нет, вот берите другой с похожими характеристиками. Из «похожих» рассматривается только объём.

Но опять таки — привезли, надо собрать (есть риск, что будет криво что-то), далее доставка, личное присутствие и т.д.

RussianHardware


Очень интересный вариант. Человек собирает компьютеры на заказ. Говорит прямо: берём 4% комисии. Все дополнительные расходы — за ваш счёт. Эта позиция мне очень понравилась, но никаких гарантий, что он не исчезнет после получения денег — нет. Я вот не понимаю. Что ему мешало сказать, мол вот есть вариант с договором, всё юрилически правильно оформлено. Этот вариант увеличит стоимость вот на столько. Так-то был бы очень интересный вариант. Вот основная цена, вот мои 4% наценки, вот дополнительные траты связанные с доставкой, вот траты на юридические вопросы.

team.ru


С этими ребятами я ни разу не общался, но провёл у них на сайте очень много времени.
Должен признать — у них самый удобный конфигуратор из всех сайтов. Удобный не с точки зрения красивости, а с точки зрения того «как во всех этих характеристиках разобраться?». Не общался с ними потому, что у них нацека на всё 15% по стравнению со всеми остальными. У них много сертификатов всяких — для себя сделал вывод, что муниципалитетам окрестностей Московской области или Москвы — это лучший поставщик оборудования. А для меня нет — в первую очередь из-за наценки.

Их конфигуратор настолько прекрасный, что заслуживате отдельного внимания. Рассмотрим этот пример. Возможно им его стоит продавать как сервис другим компаниям? Типа сгружают свои цены и чего есть, а пользователи уже сами компонуют чего им надо. Ну… если бы у Тиском был такой конфигуратор — это было бы супер прекрасно.

На первый взгляд — плохой из-за дизайна. Но у нас тут не салон красоты.

Ещё отмечу, что не смотря на кажущюся простоту в нём скрыто огромное количество мелкого и полезного функционала. Платформа. Именно благодаря этому сайту до меня наконец дошло как выбираются материнские платы для серверов (в виде платформы и их модификаций). Также тут сразу видно все модификации. Видно, что для ssd и для hdd. Видно что 10GbE и 1GbE. Тут сразу наглядно становится ясно, что если я хочу поставить себе hdd — то 2 модификации мне совсем не подходят. А разница в цене на тему 10GbE и 1GbE — это 1GbE+10% = 10GbE. И всё, больше не надо размышлять и сравнивать, задавать глупые вопросы постовщикам. Глядя на это — сразу всё ясно.

Далее блок с процессорами — наглядно видно какие процессоры можно воткнуть в данную платформу. Процессор с кучей характеристик — на этапе «я ничего не понимаю, но хочу понять» — вываливать по столбикам все отличающиеся характеристики — очень полезно и очень разумно. Этот раздел мне очень помог понять какие характеристики процессора важны для принятия решения, а какие нет.

Далее блок с памятью и он внезапно тоже сильно помог разобраться на какие характеристики надо смотреть для принятия решения. Тут очень наглядно видно, что надо учитывать частоту памяти и RDIMM/LRDIMM. Об этом я писал раньше.

Далее я понял как собрать raid1-nvme. Посмотрим сюда. Там можно выбрать корзину для ssd-nvme. После этого можно выбрать nvme-ssd в эту корзину. И далее подойдёт любой современный raid контроллер из расчёта 4x pci линий на каждый nvme девайс.
Вот так просто о самом главном — я наверное такой глупый потратил более 20 часов чтобы понять 3 строчки выше.

Да, в современный 1U Intel аппаратный raid1-nvme собрать пока невозможно. По причине отсутствия соответствующих корзин.

Regard


Я здесь провёл много времени подбирая конфигурации и сравнивая цены. Цены тут хорошие, но постоянно выскакивает «нет в наличии» — что довольно сильно мешает планировать. С магазином не связывался. Потому что собственно о чём говорить? Вот товар, вот цена — плати и забирай. Поскольку надо забирать лично — вариант непремлемый.

AND systems


Пытался собрать сервер, но у них постоянно чего-то не было в наличии. А то, что было — не по самой интересной цене.

Заключение


Из всех перечисленных вариантов очевидно, что лучше всего для меня подходит Тиском. Перед покупкой согласовали окончательную конфигурацию. Заключили договор удалённо, потом после покупки — в бумажном виде. На 4й день после оплаты, как и планировалось — доставили сервер в tech.ru и я вечером того же для уже начал его настраивать. Через bios проверил, что всё оборудование есть в полном объёме и в соответствии с договорённостью.

Всё прошло безупречно, даже придраться не к чему.

На представленных выше фото мелькает рука. На этой руке синий нарукавник с проводом. Это не для прикола, а заземление. Это безусловный плюс к квалификации сотрудников Тиском.

Центры Обработки Данных


Я в истории у себя нашёл переписку только с 4мя ЦОД, но я точно помню — их было гораздо больше. Точно помню — были разные телефонные звонки. Точно помню — были обзоры сайтов.

Довольно быстро можно выяснить, что существуют разные уровни ЦОД. tier1, tier2, tier3, tier4. Или вообще без этой марки. tier4 в РФ есть только один. Оффсайт сейчас почему-то найти не могу, но я помню я его находил и видел, что со своим 1U пролезть туда невозможно. Да и наверное цена была бы слишком высокая для меня.


Рабочий инвентарь в ЦОД tech.ru

tier3 очень много вариантов в РФ. Я взял этот список и стал искать соответствие. Я возьму сейчас этот список и пойду сверху вниз:

DataSpace


Возможность арендовать только стойки. Написали бы тут список посредников, через кого можно 1U засунуть к ним.

Сбербанк ЦОД


Явно просто для нужд самого банка.

КРОК


Не для перепродажи.

DataPro


Только стойками торгуют. Посредников нет.

IT park


Эти уже предлагаю что-то для 1U оборудования. Помню, что смотрел это место раньше, но цены не понравились и потому не стал даже писать им. Они на сайте ничего не написали про стоимость каналов связи — а и без каналов связи уже неприемлемая цена получается. Ещё меня смутило отсутствие фото. Ещё меня сейчас смущает отсутствие https. Я понимаю, что они так построили сайт, что им теперь нужен wild-ssl, который существенно дороже обычного ssl. Но нет денег на сертификат или не хватило ума правильно организовать сайт — тоже не в плюс им идёт.

ВТБ


Этот банк тоже сам себе ЦОД построил.

Data Line


Как-то я упустил такой ЦОД. Сейчас, если бы искал — я бы полюбому с ними связался бы. По ценам ничего не известно — всё через «отправить заявку». Возможно это меня и запутало пол года назад. Отсутствие https удивляет — потратили же несколько миллионов долларов на строительство ЦОД и не нашлось 10$ на покупку сертификата. Внимание вопрос: на чём ещё они сэкономили, или чего ещё упустили из виду?

LLC “Inforesource St-Petersburg”


Это что-то государственное.

Mobile TeleSystems PJSC


Это ЦОД оператора мобильной связи.

Avantage


Только стойками торгуют. Посредников нет.

Акадо — интернет-провайдер построил себе ЦОД.

Stack telecom


При внимательном рассмотрении — видно, что tier3 сертификат у них скоро экспарится. Это значит — что они дизайн ЦОД сделали в соответствии с tier3, но почему-то до сих пор не реализовали его. Https нету, фоток нету. Цены очень хорошие, почему я им не написал — затрудняюсь ответить.

Итого tier3


Итого из ЦОД, офоциально соответствующих tier3 — для меня не был никто приемлемым. Что делать дальше? Я попытался поискать в разном виде в интернете сайты разных ЦОД:

14.02.2017

Store Data


Видимо они первые мне попались в рекламе или при поиске. Точно помню, что меня сильно напрягло — что не было указано адреса каждого ЦОД, сейчас я его уже вижу. Ещё помню ужасную вёрстку на сайте. Даже сейчас debian+firefox смотрится ужасно. При обсуждении цен у меня были «глупые» вопросы, типа я не понимаю за что платить 30000р/мес. На один из таких вопросов они решили мне не отвечать. Ну что ж поделаешь — помоему и правда я не их клиент. Они там специализируются на платёжных системах.

Случайный поиск не помог


Наверняка я нашёл более, чем один ЦОД, но чем-то они мне не понравились. Я помню, что стал изучать «а что есть правильный ЦОД?». Смотреть всякие видео в интернете о ЦОД и сложилось представление о том, что я должен увидеть на фотках.

Я пытался попасть в Ростелеком ЦОД местный. Потому что и провайдер мой — Ростелеком. И организация приличная. Провёл оптоволокно за 3000$ — очень хорошее качество связи.

Оффтоп: У Ростелеком ужаснейший родной DNS — из-за этого наверняка у большинства бользователей ужасное мнение о данном провайдере. Но они не предлагают услуг по размещению своего оборудования, совсем, нигде.

Тогда я просто позвонил им в поддержку центральную и спросил — «а что вы мне порекомендуете?». Этот сотрудник мне порекомендовал «hc.ru» и «tech.ru».

16.12.2016

Tech ru


Терпеливо отвечали на все мои глупые вопросы (это я сейчас вижу и понимаю, что вопросы глупые). Они предложили связку поставщик+ЦОД, кроме них ещё только ЦОД в прибалтике подобное предложили. У них современный сайт, как вы видели в анализе выше — далеко не у всех такое есть. Фото оборудования — соответствует представлению о том, какой должен быть правильный ЦОД (собственно все кто выложил фото-видео соответствуют, но выложили далеко не все). Есть необычный канал «burstable rate». Цены с моей точки зрения чуть ниже чем у всех. Ну и сделали спец-предложение в виде скидки по блоке питания (БП).

Надо немного пояснить, почему все ЦОД озверели с этим показателем максимальной потребляемой мощностью БП. Мне как потребителю вообще непонятно почему при оплате смотрят на циферку-надпись на БП. Логично было бы смотреть на потребляемую мощность или в конце концов — максимально возможную потребляемую мощность. В моём случае если собрать все железки до кучи — получится 420W максимально возможное потребление и реальное потребление сейчас наверное около 100W. А на моём БП нарисовано 750W — значит я должен платить за это 1900 рублей в месяц за превышение мощности 400W. И они не одни такие — оказалось все поголовно такие странные. Почему?

Оказалось, что для случая выключения серверов — а потом их одновременного включения потребляется какраз максимально-возможный ток.

Ну вот и получится, что в критической ситуации — оператор или просто нажмёт «включить всё». Или если таких как я будет много — прийдётся включать каждый сервер по очереди. Соответственно дольше простоя у некоторых клиентов. Больше причин я не нашёл — но и эта причина вполне объясняет странность такую.

Следующая странность — это подключение к портам 100мбит/1гбит/10гбит. Даже если через этот порт будет гонятся очень мало данных — извините, это стоит очень дорого. И это никак не очевидно человеку, который не в курсе этих ньюансов.


Вход к рабочей зоне ЦОД tech.ru

16.12.2016

Хостинг Центр


Они мне в поддержке написали «Напишите нам, пожалуйста, когда сервер будет готов к установке в ДЦ». Ну и вот как мне это воспринимать? Как вежливый отказ от сотрудничества? Через 2 месяца я у них спросил есть ли у них ограничение по питанию? Внезапно оказалось что есть. Ну и какого лешего они мне сказали сначала купить сервер, а потом выяснять что надо было купить? На сём я решил, что общаться с такой поддержкой неприемлемо.

18.01.2016

Миран


Спрашивал у них есть ли возможность заказа оборудования. Они предложили только сбор dedicated сервера на заказ.

Итого


Выбор как видно был сделан в пользу tech.ru. В первую очередь потому, что они сотрудничают тесно с Tiscom. Во вторую очередь из-за хорошего саппорта. Во третью очередь из-за скидки по питанию.

То, что есть burstable rate, хорошо оформленный сайт, https, фото и прочие мелочи — тоже было в плюс.

За месяц использования было зафиксировано 2 downtime канала примерно 15 минут и 3 минуты соответственно. При подключении перепутали маршрутизацию ip адресов (7 ip адресов на 10мбит канал <-> 1 ip адрес на 100мбит канал). Остальное всё прекрасно.

Ещё я могу придратся к тому, что нету служебного API типа выяснять сколько времени у UPS осталось до выключения. Нечто подобное есть в hetzner.


Пример стойки в tech.ru с работающим оборудованием клиентов

Они когда узнали, что я собираюсь статью о них писать попросили, чтобы я тут оставил этот телефон: +79055628383

Проблемы с настройкой данного сервера


Я вынес отдельно проблемы, которые у меня возникли по ходу настройки данного сервера.
Не стандартные проблемы с моей точки зрения. То есть решение которых не легко нагуглить.

Настройка NVMe — как основной диск системы


Первая проблема — как сделать NVMe диск загрузочным.

Я начал с простого — попытался в лоб установить как есть. Не получилось. Ну то есть Debian установился и сделал NVMe загрузочным, но BIOS не видел данного варианта загрузки, ну вот никак. Трогать в BIOS того, чего я не понимаю — не хотелось, а из того что я понимал — перепробовал всё. Из вариантов загрузки нашёл UEFI вариант. Но и он не хотел запускать boot-NVMe через этот вариант. Покопавшись в UEFI — я убедился, что из командной строки реально получить информацию про установленный NVMe. А значит и реально как-то загрузится с него.
Собственно стало очевидно, что надо что-то прописать в этот UEFI.


Фото с места раскопок UEFI. Mass Storage Controller — наш клиент.

Копался-копался в консольке этого UEFI — понял, что какой-то это невероятно сложный путь, должен быть проще.

Забрёл на сайт Debian и там собственно был ответ на поверхности. Надо всего-то было:

  1. Выбрать экспертный режим установки Debian.
  2. При выборе способа загрузки (который доступен только в экспертном режиме) UEFI/GRUB -> Выбрать UEFI.
  3. Разметить специальным образом маленький кусок NVMe диска, для UEFI загрузчика.

Вообще честно говоря это ИМХО сильный косяк со стороны Debian — ну очевидно же, что Debian устанавливается на NVMe девайс — правильно было бы в таком случае предлагать в не экспертном режиме способ загрузки и по умолчанию через UEFI.

Debian установщик разметил и установил UEFI загрузчик на кусочек NVMe диска (аж целых 500мб ему понадобилось для этого, ну то ладно). Через ту самую консольку UEFI самостоятельно внёс настройку и выбор загрузки с данного раздела NVMe. Мне осталось в BIOS выбрать этот новый способ загрузки как основной.


Вот такую разметку надо делать для загрузочного NVMe девайса.


Вот это ключевой момент при установке Debian на NVMe, именно это должно быть в не экспертном режиме установке для случая установки на NVMe. И по умолчанию «да».

Настройка Zabbix-iops


Вторая внезапная проблема это подсчёт iops. Я наивно полагал, что zabbix умеет такое считать и оно мне будет рисовать сколько iops мой NVMe выдаёт. Оказалось, что не умеет. Как по мне — это невероятно странно.

Выяснилось, что есть стороннее дополнение для zabbix, которое может собирать такие данные.
Но это стороннее дополнение не умеет работать с NVMe девайсами. Пришлось допилить немного, благо это всё opensource. И способ сбора данных не совместим с последней версией zabbix, да и вообще содержал ошибку в сборе данных. Тоже подправил. Pull request тут.

Была задачка — распаковать архив с огромным количеством мелких файлов. Данный NVMe такой быстрый, что справился с архивом в 100гигов на 10000 файлов за несколько секунд. Тем не менее zabbix зафиксировал за эту минуту: Максимальное значение которое я увидел — это 5000iops на запись при утилизации в 5%. То есть очень примерно данный девайс точно выдаст 100000iops на запись.

Вообще такая мощность покупалась для БД и на что способна данная железка будет известно только после боевого запуска онлайн игры, которая делается. А пока вот такой синтетический простой тест.

Ещё хочу отметить, что HDD способны выдавать 800iops на запись при утилизации 100% в течении 5 минут и далее 500iops на запись — 15 минут (тоже при утилизации 100%).

Ещё был забавный момент когда я стянул 90гиговый архив по ошибке на NVMe девайс, а надо было его стянуть, распаковать и положить на HDD. Ну думаю сейчас распакую его на HDD, замеряю iops на чтение, понятно что не много будет, но всё-же. И внезапно я вижу iops на чтение равное нулю. Ну думаю точно в скриптах zabbix какая-то ошибка. Перепроверил всё тщательно, продебажил как следует — убедился что нет ошибки.Как тогда это возможно? А фокус в том, что это была первая тяжёлая операция на данном сервере и Debian смотрит — 90гиговый файл и 120гигов свободной оперативы.

Ну и целиком засунул в оперативную память данный файл. Потом при обращении к этому файлу — прочитал его с оперативной памяти, а не с NVMe.

Заключение


Есть такая поговорка: «Как корабль назовёте, так на нём и поплывёте». Сервер получил имя «nova». Краткая форма записи на английском языке от «Гиперновая звезда». Гиперновая звезда — это очень яркая вспышка длительностью несколько сотен лет. Миг по меркам космоса. Вот и сервер должен прекрасно справится с запуском онлайн игры за «короткий» промежуток времени.

Пройдёт ещё не менее года, прежде чем будет всё дооформлено, контент доделан, тщательно всё протестировано, публикационные материалы готовы, юридические вопросы решены и ещё тьма вопросов — и тогда прийдёт время вспыхнуть этой гиперновой. Это ж такая редкость сегодня — публикация доделанной игры.

А пока — я готов провести синтетические тесты NVMe p4800x. Например, для mysql написать какую-то задачу в 20 потоков, чтобы очень яростно мучало данный ssd. И таки выяснить реальный предел возможностей данного девайса. С удовольствием выполню ваши нагрузочные скрипты на данном сервере и опубликую результаты тестов.

Также готов рассмотреть варианты с инвестициями в саму игру, от 100000$ и должным образом всё оформленым и тщательным образом всё оговоренным.
Tags:
Hubs:
+33
Comments 191
Comments Comments 191

Articles