Покупка современного сервера Intel c NVMe P4800X

    Сентября 17го года купил в личное пользование сервер стоимостью 7680$ у поставщика Тиском.
    Поставил в Московский ЦОД tech.ru и приступил к эксплуатации.

    Фото-отчёт в наличии. Статья состоит из 5 частей:

    1. Зачем мне сервер.
    2. Выбор конфигурации.
    3. Выбор у кого покупать.
    4. Выбор у кого размещать.
    5. Проблемы с настройкой данного сервера.

    Зачем мне сервер


    В августе 2015 года удачно сложились обстоятельства, чтобы я начал делать онлайн игру.
    У меня был довольно большой выбор каким долгостроем заняться. По ряду причин выбрал онлайн игру.

    Начал её делать и за пол года напряжённой работы хорошо продвинулся, но внезапно сбережения кончились. Тем не менее я зашёл очень далеко в этом вопросе и далее продолжил дорабатывать онлайн игру в свободное от основной работы время. Игра требует много серверных ресурсов — для подсчёта рейтингов.

    У меня уже 10 лет имеется личный сервер в Киевском ЦОД hvosting.ua. Достался он мне случайно: «Хочешь сервер вот такой-вот за 750евро и платить только за место в стойке?», ну а у меня тогда как-раз были лишние 750 евро и я согласился. Имеющегося сервера было достаточно примерно до 500 человек онлайн. Поэтому пришлось всех игроков просить «не рассказывайте никому про игру». И сейчас не хотелось бы никому показывать текущую версию, 5 человек активно играют — более чем достаточно на данный момент.

    Стало ясно, что нужно брать или арендовать новый сервер.

    Вариант с арендой я отбросил, потому что у меня есть позитивный опыт размещения своего
    сервера длительностью 10 лет.

    Есть негативный опыт закрытия успешного стартапа из-за дорого хостинга. Ну то есть надо было платить 600$ в месяц за хостинг, а доход в какой-то момент стал меньше 600$ в месяц.
    Я соответственно не мог показывать это в портфолио — и я считаю это был нанесён чудовищный урон моему доходу вцелом.

    Именно из-за этих двух причин я принял решение покупать сервер, а не арендовать.

    То есть, если онлайн игра будет финансово несостоятельной — она всё-равно останется онлайн и будет доступна для портфолио. И расходы на её содержание будут вполне посильные даже при нулевом доходе от самой игры.

    Кроме того, мне нужен сервер для нескольких некоммерческих сайтов и teamspeak сервера для крупной гильдии в известной онлайн игре.


    Обзор всех комплектующих в данном сервере, ещё в коробках всё, сейчас будет распаковка

    Выбор конфигурации


    Я решил, что сервер должен тянуть 50000 игроков онлайн и 1000000 зарегистрированных игроков.

    При достижении этих показателей — стартап перерастёт в бизнес и будет возможность купить новое необходимое оборудование. Но вообще почему именно 50000, а не 60000 — рассматривать не будем, статья не об этом.

    Дальнейший выбор конфигурации — подбор параметров, под требуемые показатели.
    На момент начала этой истории я довольно слабо разбирался в серверном железе и того, что мне на самом деле надо.

    Полагаю, что ход мыслей и логика принятия решений будут очень интересны всем причастным к теме. Или людям принимающим решения.


    Все комплектующие в своих коробках, сейчас начнётся распаковка и установка

    Общие показатели


    Для снижения финансовых рисков необходимо, чтобы ежемесячные траты были минимальны. Соответственно сервер должен быть 1U размером.

    Серверная часть игры спроектирована таким образом, что почти всё можно запускать в многопотоке. То есть даже можно разделять задачу просчёта игрового мира между несколькими серверами.

    Это значит, что при выборе «несколько производительных ядер» vs «много среднепроизводительных ядер» — надо делать выбор в пользу второго варианта.

    Сделав некоторые замеры я решил, что для 50000 человек онлайн понадобится 50Gb оперативной памяти (опять таки статья не о том, почему столько).

    Внезапно выяснилось, что игра делает очень много записей на диск. Значит это должен быть ssd и довольно мощный.

    Должны быть какие-то hdd для бэкапов. Я из тех, кто «уже делает бэкапы».

    Выбор процессора


    Производитель процессора: Intel, AMD, МЦСТ.

    AMD — я пытался пользоваться официальным сайтом AMD, но к сожалению там невозможно понять:

    1. Какие процессоры у них вообще бывают. Удалось понять изучая не официальный сайт (всякие другие сайты).
    2. Какие процессоры самые актуальные. На момент изучения — самые актуальные серверные процессоры были без поддержки DDR4. Дальше не стал изучать.

    Решение отказаться от покупки AMD — очень неудобный сайт и устаревшие процессоры.
    МЦСТ — это безусловно очень интересно, очень интересен сам факт существования процессоров российского производства. Которые даже возможно купить.

    Невозможность купить от имени частного лица — сильно напрягло, но решаемый вопрос.
    Невозможность изучить полные характеристики процессора, нет никаких тестов в открытом доступе. Пусть даже синтетических. Также отмечаю отсутствие поддержки DDR4 — но это имхо простительно (для AMD такое не простительно). Решение отказаться от покупки МЦСТ было после осознания невозможности использовать команду «apt-get upgrade».

    Intel — остаётся только этот вариант. Есть поддержка DDR4 памяти в последней линейке процессоров. Есть специальный раздел сайта в котором они вываливают простыню характеристик процессора — я там могу найти все интересующие меня характеристики.


    Откручиваем радиаторы процессорные


    Откручиваем радиаторы процессорные


    Момент установки процессора E5-2630 v4


    Установленный процессор E5-2630 v4 крупным планом

    Количество процессоров


    В свободной продаже есть серверные варианты 1х, 2х, 4х, 8х.
    Вариант купить материнскую плату с несколькими разъёмами и со временем установить туда полный комплект — я решил не рассматривать. Почему? Докупать оборудование это есть очень много времени, нервов и денег. Это в отличии от домашнего компьютера.

    Варианты 4х-8х процессорные оказались невероятно дорогими и даже в самой скромной комплектации были с неподъёмной для меня ценой. Однопроцессорные и двупроцессорные системы оказались для разных ниш рынка. Вот список процессоров к рассмотрению (те, что начинаются на «E5-4» — неинтересны, они для 4х процессорных систем).

    Рассмотрим варианты «E5-1» — это процессоры для однопроцессорных систем.
    Сразу бросается в глаза высокая базовая частота и высокий бурст, но количество ядер очень малое количество.

    Вот например «E5-1660 v4» 8 ядер — 1113$, а процессор для двухядерой системы, но с меньшей частотой «E5-2620 v4» 8 ядер — 422$.

    Цена в 3 раза меньше в пользу двухпроцессорной системы! Вспоминаю, что для задачи гораздо полезнее больше слабых ядер, чем мало сильных ядер. На этом было принято решение покупать двухпроцессорную систему.


    Оба процессора E5-2630 v4 установлены в свои слоты


    Нанесение термопасты на процессор


    Намазывание термопасты на процессор

    Модель процессора


    Всё-равно остаётся довольно большой выбор процессоров, какой же выбор сделать. Я обращаю внимание на приставки типа «L» или «W» или «A».

    «L» — это низкое энергопотребление. Для меня это не интересно. Если бы у меня была бы своя стойка в ЦОД — это имело бы значение, а поскольку у меня 1U и ни один ЦОД не хочет ставить счётчик к моему серверу — то это и важно.

    «W» — повышенное энергопотребление, «A» — очень удачный экземпляр в линейке. Довольно быстро можно заметить, что оставшиеся процессоры делятся на 2 группы. Малое количество ядер+высокая частота, большое количество ядер+низкая частота.

    Отбросим первую группу. Итого осталось (стоимость выше 1500$ за штуку я решил не рассматривать):

    E5-2603, E5-2609, E5-2620, E5-2630, E5-2640, E5-2650, E5-2660.

    Сразу отбросил слишком слабые процессоры: E5-2603, E5-2609, потому что денег точно хватит на 2шт E5-2620.

    Остаётся 5 вариантов: E5-2620, E5-2630, E5-2640, E5-2650, E5-2660.

    При детальном рассмотрении выяснилось, что их можно разбить на 2 группы по максимальной допустимой частоте памяти:

    E5-2620, E5-2630, E5-2640 — 2133Mhz
    E5-2650, E5-2660 — 2400Mhz

    Рассмотрим 2 процессора из этой группы:

    По частоте E5-2630 vs E5-2650 не отличаются. Разница только +2 ядра (и частота памяти чуть больше) и цена в 2 раза больше (или +600$)! Вторая группа отпадает из-за цены.

    Теперь рассмотрим E5-2630 vs E5-2640:

    Отличается только базовая частота +10%, а цена при этом в полтора раза больше. Убираю вариант E5-2640. Непонятная переплата для меня.

    Остаётся только E5-2620 vs E5-2630:

    Разница в цене 250$, и за них мы получаем +10% к частоте и +2 ядра.
    Я готов за такую цену получить такую надбавку.

    Итого выбор сделан: Intel Xeon Processor E5-2630 v4


    Установка радиатора на процессор


    Закручивание радиатора на процессоре


    Как процессоры видны в bios

    Выбор объёма памяти


    Напоминаю: на уровне идеи — я решил, что мне надо ~50Gb памяти. В интернете я нашёл, что сбор сервера с памятью не кратной двойке — это вполне приемлемо.

    Но всё-равно. Из соображений, что вся память должна работать одинаково — чтобы мне не надо было парится какому ядру насколько сложную задачу подавать — я решил, что количество памяти должно быть кратным двум.

    Соответственно получается, что надо ставить 64Gb памяти. Серверная часть игры написана таким образом — что на стороне сервера полностью просчитывается весь игровой процесс.

    Таким образом читерство невозможно. Однако если вдруг памяти не хватит, чтобы полностью поместится в памяти всем игрокам онлайн — будет маленькая катастрофа, игра просто не запустится, а мне надо будет срочно делать какой-то хотфикс. Для возможности сбрасывать на диск промежуточные вычисления.

    Ещё выяснилось, что если установлено много плашек памяти — то падает скорость общения процессора с памятью.

    Поэтому если я сейчас куплю 64Gb, а потом докуплю ещё столько же — это будет гораздо хуже, чем если я сразу куплю 128Gb.

    Разница в цене оказалась вполне посильная, возможно даже хватило бы на 256Gb, но лишней 1000$ не оказалось, весь резерв в итоге ушёл в ssd.


    Установка плашек памяти, внимательный суслик тут может заметить 2400 память. На самом деле эта память тут для фоток, нужная память приехала в самый последний момент.

    Выбор количества плашек памяти


    Я уже знал, что если поставить слишком много плашек памяти — то она будет работать существенно медленнее, чем если поставить меньше плашек памяти. Так и что — лучший вариант это ставить одну плашку на 128Gb?

    Оказывается у процессоров есть такое понятие как «каналы памяти». Самый лучший вариант — в каждом канале памяти по одной плашке памяти. Это правило оказывается работает и для игровых/рабочих компьютеров. Удивительно, что всякие блогеры не доносят эту простую мысль до публики.

    У моём случае получается 2 процессора, и у каждого процессора по 4 канала памяти. То есть для моего случая лучше всего поставить 8 плашек памяти.

    Итого выбор: 8 х 16Gb


    Установка плашек памяти

    Выбор модели памяти


    Выбор оказался не велик. Во первых выбор вообще на данный момент — это 2133 и 2400. Но процессор тянет 2133. Есть ли вообще смысл брать 2400?

    Оказывается не только смысла нет, но ещё и вредно (для моего случая). Оказывается доступ к памяти выполняется за 17 тактов у 2400 памяти, и за 15 тактов у 2133 памяти.

    Но у меня процессор не может работать с 2400 памятью, он будет с ней всё-равно работать на частоте 2133. Однако, если бы процессор был E5-2650 v4 или выше — тогда наоборот выгоднее было бы ставить 2400 память.

    Следующий фактор — это LRDIMM. Это технология позволяющая устанавливать больше памяти на сервер и при установке максимум планок — такая память работает быстрее, чем если бы без LRDIMM.

    LRDIMM — это обычная серверная память + какие-то чипы дополнительные. Соответственно и цена +20% примерно.

    Для меня соответственно LRDIMM не нужен, потому, что я не устанавливаю память в каждый слот.

    Теперь производитель. Среди серверной памяти оказывается производитель не имеет значения. Я вот не пойму как такое возможно — но факт. Синтетические тесты одинаковые. Данные memtest примерно одинаковые. Для Kingston памяти я нашёл варианта: 2 варианта насыщенности чипов, но и даже в этом случае функциональной разницы нет.


    Общий вид на установленные процессоры и память


    Как память видна в bios

    Выбор дисковой подсистемы


    Когда я первый раз составлял желаемую конфигурацию сервера — я хотел 1 ssd на 240gb и один hdd на 2tb.

    По мере выяснения того, что мне надо — менялась и понимание чего мне надо на самом деле.
    Мне пришлось узнать, что ssd диски бывают очень-очень разные. Что на серверах лучше использовать raid1.

    Что появилось новая технология NVMe и у неё куча вариантов есть. Raid контроллеры бывают очень разные под разные задачи.

    Давайте по порядку. Начиная с «а что надо для задачи?». Надо 200Gb ssd диска, способного выдерживать очень много перезаписи. И 2Tb hdd для надёжных бэкапов. «Очень много перезаписи» — при очень примерных расчётах это 1-2Tb в день. Надёжные бэкапы — это значит raid1 конфигурация. Аппаратный или программный raid — это вопрос величины трудозатрат, квалификации и ответственности при починке raid.

    С точки зрения управления выбор получается такой:

    • Программный raid — нужна квалификация для починки raid, малейшая ошибка и данные утеряны. Но дешевле.
    • Аппаратный raid — просто заменить неисправный диск и всё. Но дорого.

    Соответственно Тиском посоветовал самый дешёвый из современных аппаратных raid контроллеров, который позволял бы вот так просто чинить возможную поломку.

    Это: ark.intel.com/ru/products/82030/Intel-Integrated-RAID-Module-RMS3CC040

    Я обращаю внимание, что это raid контроллер для материнской платы Intel. То есть, если я бы выбрал платформу не Intel — то мне пришлось бы брать что-то другое и занимать аж целый pci слот.


    Понятия не имею что это. Или что-то связанное с шифрованием или что-то связанное с raid картой


    Подготовка raid карты к установке


    Установка raid карты


    Как raid контроллер виден в bios

    Модель HDD


    Я собирался покупать Western Digital по причине того, что у меня очень позитивный опыт использования таких hdd для домашних компьютеров. Но Тиском заявили, что они смогут только в течении недели сделать замену (по гарантии или без). И предложили HGST — сказали, что смогут сделать замену в течении суток.

    Стал в интернете искать что пишут про надёжность HGST — вроде нормальные отзывы, и согласился с таким выбором производителей дисков.

    Далее объём. 2Tb надо, хорошо. А что у нас дороже? +1Tb на 70$ дороже, ну я же потом себе не прощу, что сэкономил на объёме, и если мне вдруг потом понадобится ещё места. Ну и далее по линейке аналогично по чуть чуть увеличивается объём и по чуть-чуть увеличивается цена. Между 6Tb и 8Tb проходила моя граница возможности бюджета.

    Итого выбор: 2шт 6Tb HGST HDD.


    2 HDD HGST 6Tb


    Установка какой-то части raid контроллера для корзины с HDD


    Подключение корзины с HDD к Raid карте RMS3CC040

    Выбор типа SSD


    Первый вариант: просто поставить 1шт ssd 200gb. Далее я узнал, что чем больше ssd — тем больше у него ресурс перезаписи (при прочих равных). И, чтобы быстрее эту перезапись мог выполнять.

    Например у меня будет 200gb данных и объём 240gb vs объём 1000gb. Так вот при прочих равных — ресурс перезаписи большого объёма будет в 4 раза больше.

    Уж пусть специалисты меня простят, но для принятия решения — это совсем не очевидно.

    Далее я понял, надо жи raid1 использовать и надо 2 таких ssd. Да, пусть даже делаются бэкапы хоть каждый час и не страшно будет потерять единственный ssd. Но там жи ОСь, настройки всего. Актуальная БД. Придётся потратить срочно очень много времени и сил на восстановление.

    Ssd выдерживающий 2tb в день перезаписи стоит очень дорого. А ещё надо запас какой-то по этому показателю иметь.

    Далее я узнал про технологию NVMe. Это по простому: ssd диск подключённый не как обычно, а через pci слот.

    Полоса данных больше и быстрее — это для моей задачи важно. Немедленно встал вопрос — а можно ли объединить их в raid?

    Оказывается можно, но в продаже подобных raid контроллеров нет. Есть опытные образцы с неизвестной ценой.

    Вобщем на момент покупки — это был неприемлемый вариант.

    Ещё один фактор принятия решения: вот скажем я купил 2 дорогих ssd диска, объединил их в raid. Но ресурс перезаписи у них одинаково быстро расходуется. И что я получу? Что они выйдут из строя одновременно?

    Далее я выяснил, что чаще всего ssd выходят из строя не по причине выедания ресурса перезаписи, а из-за поломки контроллера в ssd. Да, для этого raid будет актуален.

    И вот выбор получается между pci-ssd (NVMe) и raid1-ssd. И с учётом приведенных выше размышлений для меня однозначно лучше pci-ssd. Ну просто тупо нет ещё 2000$ на резервный ssd, а если бы и были — то надо брать 2U систему и ещё за 400$ покупать корзину. Ну и или покупать в 10 раз хуже ssd.

    Ну да, я готов доверится известному брэнду (в данном случае Intel), в надежде, что у них достаточно надёжный девайс, чтобы заявленный срок и ресурс отработал без сбоя.


    NVMe P4800X устанавливают в райзер

    Выбор модели NVMe


    В ssd меня интересует iops на запись, скорость выполнения отдельной операции, объём, ресурс перезаписи.

    Пересмотрев характеристики тысяч ssd, я считаю, что в моём случае надо в первую очередь смотреть на заявленное количество перезаписей.

    Почти все ssd можно разделить на группы по количеству перезаписей своего объёма в день, в течении 5 лет. Группы: 0.3, 1, 3, 10, 30, 100.

    Почти всегда точное соответствие между ресурсом перезаписи и iops на запись. Отдельно выделяются ssd, чтения с которых выполняется с невероятным количеством iops, но относительно слабенький на запись. Такие мне для этого сервера не интересны.

    Производители: Intel, HGST, Huawei, HP, OCZ. Всяких разнообразных ssd — невероятное количество. Честно говоря — я слабо представляю как вообще люди объективно выбирают ssd нужный. Ssd всяких так много, они такие разные, разброс цен такой огромный.

    С моей точки зрения лучше всех сгруппировала продукты Intel. Они сумели разбить все ssd на группы так, что я смог сформировать мнение какой девайс мне нужен, а какой нет.

    3 линейки NVMe pci-ssd: P3500, P3600, P3700. По 400Gb:

    P3700 — 75000 iops — 1000$, 10 перезаписей в день
    P3600 — 30000 iops — 650$, 3 перезаписи в день
    P3500 — 23000 iops — 600$, 0.3 перезаписи в день

    Собственно очевидно, что P3500 сразу отпадает. За 50$ десятикратное увеличение важного мне параметра.

    Готов ли я за 350$ получить ~в полтора раза больше iops и в 3 раза больше ресурс перезаписи? Канешна, да.

    И вот я собрался покупать P3700 на 400Gb, но за пару месяцев до покупки появляется в продаже P4800X.

    Он стоит почти в 2 раза дороже P3700. Чуть меньше объёма. iops на запись 500000. Ресурс перезаписи 30.

    То есть итого за 800$ я получаю в 8 раз больше iops и в 3 раза больше ресурс перезаписи.
    Ну честно говоря по показателю iops — он просто прекрасен и не смотря на то, что достать дополнительные 800$ было не просто — я решил таки покупать такой ssd.

    Бонусом идёт более быстрая запись каждой отдельной команды.

    Выбор: www.intel.com/content/www/us/en/products/memory-storage/solid-state-drives/data-center-ssds/optane-dc-p4800x-series/p4800x-375gb-aic-20nm.html


    Райзер с NVMe P4800X устанавливают


    NVMe P4800X установлен


    Как NVMe виден в bios

    ИМХО про ssd


    Отдельно хочу отметить, что существует тип ssd SLC/MLC/TLC/QLC. Смысл разницы понятен: В одну физическую ячейку записывается сразу несколько битов данных. Соответственно SLC — только одну. MLC — два. TLC — три. QLC — четыре. Слева направа — от дорогого к дешёвому. За счёт скорости записи, чтения, ресурса перезаписи.

    SLC — самые надёжные, самые быстрые и… чудовищно дорогие. Например «Micron RealSSD P320h» волосатое чудовище объёмом 350Gb всего за 5000$. Заявленный iops на запись 350000. Неограниченный ресурс перезаписи.

    MLC — бывают очень разные. Это ж на заводе делают кучу чипов памяти, что-то получилось удачным — засовывают в серверный вариант, что-то не очень — засовывают в домашний вариант ssd.

    TLC — раньше делали откровенно быстро выходящие из строя, сейчас вроде как делают хорошие. И пытаются сделать представление, что TLC — это хорошо (чтобы старые раскупили глупые покупатели).

    QLC — пытались делать, но видимо товарный вариант никому не получилось сделать.

    Вот Intel недавно выпустила 3D-XPoint, это какой-то новый тип памяти. Как по мне — слоёный пирог из ssd чипов.

    Выбор материнской платы


    Для серверов в отличии от домашних компьютеров к выбору материнской платы подходят совсем по другому. Для домашнего ПК размер собственно компьютера не важен, а для сервера — надо всё-всё засунуть в 1U (Это 4.3 сантиметра!).

    Отсюда немедленно появляется другой подход к подбору материнских плат. Продаются не материнские платы, а платформы. То есть материнская плата+корпус. Тот, кто продаёт только материнские платы отдельно — немедленно проигрывает в конкурентной борьбе.

    Платформы под данный процессор бывают от разных производителей. С небольшими возможными модификациями, на сайтах можно указать ссылку только на конкретную модификацию (о модификация скажу чуть позже):

    Производителей HP и Dell — я рассматривать не буду по причине чудовищной переплаты непонятно за что.

    Supermicro
    Asus
    Intel
    — Отдельно Intel

    Выбор из этих четырёх вариантов — это самый дешёвый вариант подходящий по всем требованиям от каждого из перечисленных производителей. Цена у них примерно одинаковая получается. Вариант R1304WFTYS отпадает сразу как только вижу 1100W мощность БП (почему это важно — об этом позже).

    Про ASUS я подумал так, что они недавно вылезли на рынок серверных материнских плат, непонятно чего я буду рисковать.

    Про supermicro — они собственно только серверными платформами и занимаются уже очень давно. Но… raid контроллер. Или я беру Intel платформу или мне нужен другой контроллер и занимать слот PCI.

    Поэтому я решил выбрать Intel платформу R1304WTTGSR. Но отмечаю, что она на 10% дороже аналогичной платформы от supermicro.

    Модификация: с 10 gbit ethernet. Разница в цене 100$, а если мне вдруг понадобится жирный канал — не хотелось бы трогать сервер и устанавливать туда чего-то. А мне скорей всего понадобится жирный канал для момента старта игры.


    Платформа R1304WTTGSR запакованная в ящик


    Вот что мы видим при первом открытии новой платформы R1304WTTGSR


    Все комплектующие установлены, осталось закрыть крышку


    Вот такие сведения о платформе видны в bios

    У кого покупать


    Разумеется в первую очередь обратился к hvosting.ua, ведь я с ними уже более 15 лет сотрудничал получается. Да и объём сделок превышает стоимость обсуждаемого сервера. Но размещение сервера в Киеве после известных событий 2014 года — неприемлемо из соображений безопасности оборудования.

    hvosting.ua предложил мне размещение в ЦОД ttc teleport в Праге. Но обсуждение прекратилось на вопросе «я хочу бумажку имеющую юридическую силу о том, что я владелец сервера». Ну уж простите, я уже не студентик всецело всем доверяющий.

    Однако, если кому-то очень надо чего-то хостить в/на Украине — я рекомендую hvosting.ua был uptime ~1200 дней, потом плановый перенос сервера в соседний ЦОД и ещё uptime 700 дней. Далее я пытался сделать «apt-get upgrade» без перезагрузки сервера :) Не вышло у debian, само не смогло обновится за 2000 дней — какую-то зависимость разрулить не смогло само. Hvosting помогли разрулить.

    В общем за 15 лет не было ни одного сбоя питания и канал падал на 15 минут каждые 4 месяца, 2 раза канал упал на несколько часов.

    Особенно доставила сломанная oauth авторизация vk (у них же там vk заблокирован).

    Обзор рынка


    Стал вопрос о покупке в РФ и размещение тоже в РФ. Почему покупка и размещение в РФ? А чтобы я был бы юридически защищён. Был приятный момент, в самом начале поиска — выбор наилучшего поставщика, никаких рекомендаций, никаких предвзятостей — все равны. Помню как начал с банального поиска «datacenter в России» (потом я уже выяснил, что в РФ это называется ЦОД). И «купить сервер в России».

    Думаю будет правильно рассказывать в хронологическом порядке.
    05.12.2016

    Brigo


    В начале был очень конструктивный разговор, с интересным предложением. Я изучал возможность варианта raid1-NVMe, задал вопрос могут ли они на платформу intel поставить raid1-NVMe?
    Внезапно получил на этот вопрос: грубый отказ от ответа (меня бы кстати устроил бы и просто ответ «нет», я просто реально был не в курсе этого дела). Дальше не хотелось с ними общаться.

    У них первых я увидел P4800X в продаже и поэтому решил у них поспрашивать детали покупки.
    Разговор закончился на том, что без моего личного присутствия в Москве совершить сделку невозможно.

    05.12.2016:

    Unit Solution


    У себя на сайте пишут, что 12 лет опыта. И прочие крутые показатели. DNS whois показывает что домен был недавно зарегистрирован (за 3 месяца до рассмотрения). У меня немедленно возникает к ним вопрос: «почему такие расхождения?». Оказывается до этого была другая компания к которой остались отзывы в интернете типа «оплатил давно, нет ни сервера ни денег». Можно было бы простить спецов, создавших новую компанию после работы с нехорошим директором. Но к сожалению, то что они написали — не сходилось с историей DNS. Решил, что риски неприемлемые, хотя цену они предложили интересную.

    08.12.2016:

    ItTelo


    Граждане торгуют Б/У оборудованием. Тогда я ещё рассматривал такие варианты. Со временем решил не рассматривать, потому что DDR4 Б/У нет. sdd-hdd Б/У лучше не брать в любом случае. Ну и получается им нечего мне предложить.

    08.12.2016

    It paradigma


    Это региональный поставщик оборудования. Впринципе хороший вариант — они же рядом. Тогда ещё думал, что может есть приличный ЦОД в Краснодаре, но нет — если и есть приличные — то забиты под завязку. Парадигма загнули цены вверх и не стали отвечать на мои глупые вопросы.

    12.12.2016:

    Тринити


    Вот такая вот ссылка рабочая до сих пор: server.trinitygroup.ru/expert/25736
    Насколько я помню — меня смутила цена. Честно говоря, даже сейчас я смотрю на данную цену и не понимаю откуда такая большая цена.

    12.12.2016

    Тиском


    Их порекомендовали ЦОД tech.ru типа они сами с ними сотрудничают. Выслушал все мои хотелки — подобрал именно то, что соответствовало моим хотелкам того времени. По прекрасной цене. Далее стал раскапывать DNS whois и отзывы в интернете.

    DNS whois соответствовал описанному в переписке. При расследовании вскрылось много любопытных деталей.

    Выяснилось как компания основывалась, кем, как менялась. Нашлось как меняли сайт и попросили отзвывов о нём где-то оставить.

    Нашлись сотрудники компании. Нашлись позитивные и негативные отзывы. Всё это говорило о том, что компания старая и чем-то активно занимается постоянно.

    Ещё я проверил сертификат Intel — он был хоть устаревшим, но настоящим. Проверил ещё какой-то случайный сертификат — тоже настоящий. На сём остался очень доволен.

    Также имеется https. Тоже добавляет очков в сторону выбора их компании.

    С самого начала выглядело как очень хороший вариант.

    12.12.2016

    stss


    Первое общение — положительное. Но цена — просто нет слов какая большая. До сих пор тут висит озверевший от жадности пример. Выбираем 400Gb NVMe 75k iops. Это у нас соответствует Intel P3700. Получается, что все продают эту железку за 60000±, а они её толкают за 90000.

    Ну ладно, может этот новый сайт с багом каким-то?.. Но нет, это не баг. Вот находим это же на основном сайте со старым дизайном:
    stss.ru/products/servers/T-series/TX217.4-004LH.html?config=
    Тут в соответствующем месте выбираем ту же железку и тоже получаем +90000 к стоимости.

    50% бонусного навара это безусловно очень выгодно, но извините, мы подём другой дорогой.

    12.12.2016

    Desten


    Вообще это был очень приличный вариант и DNS whois и отзывы — выглядели хорошо.
    Но на вопрос «могут ли они без моего присутствия доставить сервер в ЦОД?» не ответили.
    Так бы всеръёз выбирал между Тиском и Desten. Был бы у них более терпеливый саппорт — возможно я бы сервер в итоге у них купил.

    13.12.2016

    Server-gid


    Они мне просто прислали конфигурацию и цену — я ужаснулся и ничего не ответил. Теперь я смотрю — цена адекватная, а почему раньше ужаснулся — потому что не понимал смысла слова «DWPD». Судя по всему у меня с ними был телефонный разговор какой-то.

    14.12.2016

    Itelon


    Граждане пытались продать мне Dell оборудование. Опять я вижу переплату за брэнд вообще непонятно за что. Сотрудник объясняет мне, что переплата за оперативную помощь. Но я чего-то не понимаю — сервер стоит в стойке ЦОД tier3. Никто его ногами бить не будет. Кроме заводского брака — ничего там не может случится. Плюс они заявили, что не могут как Тиском без моего присутствия установить сервер — непонятно было о чём дальше говорить.

    10.01.2017

    Server-city


    Сейчас я у них на сайте вижу скуденький конфигуратор серверов. Тогда у них был только сайт-визитка. И там было написано, что рассматривают варианты рассрочки, я и решил спросить на эту тему. Сказали, что такие малые суммы для рассрочки не интересны. Сервера у них DELL/HP — что имхо переплата не пойми за что.

    Разрешите обосновать моё невольство этими компаниями.
    www.regard.ru/catalog/?query=2620+v4
    Мне кто-то объяснит чем отличается «Intel Xeon E5-2620 v4 OEM» и «Dell Xeon E5-2620 v4 (338-BJEU)»? Я вот вижу только разницу в цене в 2 раза! Сами кристаллы процессоров делают Intel. Готов поверить, что они припой ставят другой, ну ок +50$ готов понять. Объясните мне глупому за что компания DELL в данном примере берёт +500$?

    Видимо как-то удачно у них сработала напоминалка и они мне позвонили за неделю до окончательного согласования конфигурации с Тиском. Попытались перехватить меня как клиента в последний момент. Но… цена оказалась выше чем у Тиском.

    Ebay


    А также бандеролька, ComputerUniverse, ogg и прочие площадки. Вариант, что доставляют мне в глубинку, а я потом как-то доставляю в Москву — выглядит ужасно. Мало того, что весь профит от отказа от посредников выедается стоимостью доставки. Так ещё и времени невероятно много съест. И главное — риски повредить появляются (ударить об что-то например).

    Вариант с доставкой в Москву — нужно где-то помещение, где я смогу собрать сервер плюс личное присутствие. Плюс трансторт между точкой выдачи, точкой сборки и ЦОД. Плюс риск накосячить при сборке (еси ж там второстепенный проводок не так подключу — не будет возможности исправить).

    Самоу побегать по Москве


    Я обратил внимание, что цена колеблется по каждой железке в разных магазинах. То есть можно побегать по Москве купить дёшего в раных магазинах. Но опять таки риски кривой сборки. Личное присутствие, место для сборки и транспорт по городу. И вопрос — а где профит от данного мероприятия?

    Местный магазинчик


    В глубинке разумеется есть магазины и они готовы за долгий срок доставить что угодно за приемлемую цену. Однако как выяснилось, у них как-то мозги подругому работают. Я им объясняю, что вот ssd дорогой мне нужен вот такой вот. А они — у нас его нет, вот берите другой с похожими характеристиками. Из «похожих» рассматривается только объём.

    Но опять таки — привезли, надо собрать (есть риск, что будет криво что-то), далее доставка, личное присутствие и т.д.

    RussianHardware


    Очень интересный вариант. Человек собирает компьютеры на заказ. Говорит прямо: берём 4% комисии. Все дополнительные расходы — за ваш счёт. Эта позиция мне очень понравилась, но никаких гарантий, что он не исчезнет после получения денег — нет. Я вот не понимаю. Что ему мешало сказать, мол вот есть вариант с договором, всё юрилически правильно оформлено. Этот вариант увеличит стоимость вот на столько. Так-то был бы очень интересный вариант. Вот основная цена, вот мои 4% наценки, вот дополнительные траты связанные с доставкой, вот траты на юридические вопросы.

    team.ru


    С этими ребятами я ни разу не общался, но провёл у них на сайте очень много времени.
    Должен признать — у них самый удобный конфигуратор из всех сайтов. Удобный не с точки зрения красивости, а с точки зрения того «как во всех этих характеристиках разобраться?». Не общался с ними потому, что у них нацека на всё 15% по стравнению со всеми остальными. У них много сертификатов всяких — для себя сделал вывод, что муниципалитетам окрестностей Московской области или Москвы — это лучший поставщик оборудования. А для меня нет — в первую очередь из-за наценки.

    Их конфигуратор настолько прекрасный, что заслуживате отдельного внимания. Рассмотрим этот пример. Возможно им его стоит продавать как сервис другим компаниям? Типа сгружают свои цены и чего есть, а пользователи уже сами компонуют чего им надо. Ну… если бы у Тиском был такой конфигуратор — это было бы супер прекрасно.

    На первый взгляд — плохой из-за дизайна. Но у нас тут не салон красоты.

    Ещё отмечу, что не смотря на кажущюся простоту в нём скрыто огромное количество мелкого и полезного функционала. Платформа. Именно благодаря этому сайту до меня наконец дошло как выбираются материнские платы для серверов (в виде платформы и их модификаций). Также тут сразу видно все модификации. Видно, что для ssd и для hdd. Видно что 10GbE и 1GbE. Тут сразу наглядно становится ясно, что если я хочу поставить себе hdd — то 2 модификации мне совсем не подходят. А разница в цене на тему 10GbE и 1GbE — это 1GbE+10% = 10GbE. И всё, больше не надо размышлять и сравнивать, задавать глупые вопросы постовщикам. Глядя на это — сразу всё ясно.

    Далее блок с процессорами — наглядно видно какие процессоры можно воткнуть в данную платформу. Процессор с кучей характеристик — на этапе «я ничего не понимаю, но хочу понять» — вываливать по столбикам все отличающиеся характеристики — очень полезно и очень разумно. Этот раздел мне очень помог понять какие характеристики процессора важны для принятия решения, а какие нет.

    Далее блок с памятью и он внезапно тоже сильно помог разобраться на какие характеристики надо смотреть для принятия решения. Тут очень наглядно видно, что надо учитывать частоту памяти и RDIMM/LRDIMM. Об этом я писал раньше.

    Далее я понял как собрать raid1-nvme. Посмотрим сюда. Там можно выбрать корзину для ssd-nvme. После этого можно выбрать nvme-ssd в эту корзину. И далее подойдёт любой современный raid контроллер из расчёта 4x pci линий на каждый nvme девайс.
    Вот так просто о самом главном — я наверное такой глупый потратил более 20 часов чтобы понять 3 строчки выше.

    Да, в современный 1U Intel аппаратный raid1-nvme собрать пока невозможно. По причине отсутствия соответствующих корзин.

    Regard


    Я здесь провёл много времени подбирая конфигурации и сравнивая цены. Цены тут хорошие, но постоянно выскакивает «нет в наличии» — что довольно сильно мешает планировать. С магазином не связывался. Потому что собственно о чём говорить? Вот товар, вот цена — плати и забирай. Поскольку надо забирать лично — вариант непремлемый.

    AND systems


    Пытался собрать сервер, но у них постоянно чего-то не было в наличии. А то, что было — не по самой интересной цене.

    Заключение


    Из всех перечисленных вариантов очевидно, что лучше всего для меня подходит Тиском. Перед покупкой согласовали окончательную конфигурацию. Заключили договор удалённо, потом после покупки — в бумажном виде. На 4й день после оплаты, как и планировалось — доставили сервер в tech.ru и я вечером того же для уже начал его настраивать. Через bios проверил, что всё оборудование есть в полном объёме и в соответствии с договорённостью.

    Всё прошло безупречно, даже придраться не к чему.

    На представленных выше фото мелькает рука. На этой руке синий нарукавник с проводом. Это не для прикола, а заземление. Это безусловный плюс к квалификации сотрудников Тиском.

    Центры Обработки Данных


    Я в истории у себя нашёл переписку только с 4мя ЦОД, но я точно помню — их было гораздо больше. Точно помню — были разные телефонные звонки. Точно помню — были обзоры сайтов.

    Довольно быстро можно выяснить, что существуют разные уровни ЦОД. tier1, tier2, tier3, tier4. Или вообще без этой марки. tier4 в РФ есть только один. Оффсайт сейчас почему-то найти не могу, но я помню я его находил и видел, что со своим 1U пролезть туда невозможно. Да и наверное цена была бы слишком высокая для меня.


    Рабочий инвентарь в ЦОД tech.ru

    tier3 очень много вариантов в РФ. Я взял этот список и стал искать соответствие. Я возьму сейчас этот список и пойду сверху вниз:

    DataSpace


    Возможность арендовать только стойки. Написали бы тут список посредников, через кого можно 1U засунуть к ним.

    Сбербанк ЦОД


    Явно просто для нужд самого банка.

    КРОК


    Не для перепродажи.

    DataPro


    Только стойками торгуют. Посредников нет.

    IT park


    Эти уже предлагаю что-то для 1U оборудования. Помню, что смотрел это место раньше, но цены не понравились и потому не стал даже писать им. Они на сайте ничего не написали про стоимость каналов связи — а и без каналов связи уже неприемлемая цена получается. Ещё меня смутило отсутствие фото. Ещё меня сейчас смущает отсутствие https. Я понимаю, что они так построили сайт, что им теперь нужен wild-ssl, который существенно дороже обычного ssl. Но нет денег на сертификат или не хватило ума правильно организовать сайт — тоже не в плюс им идёт.

    ВТБ


    Этот банк тоже сам себе ЦОД построил.

    Data Line


    Как-то я упустил такой ЦОД. Сейчас, если бы искал — я бы полюбому с ними связался бы. По ценам ничего не известно — всё через «отправить заявку». Возможно это меня и запутало пол года назад. Отсутствие https удивляет — потратили же несколько миллионов долларов на строительство ЦОД и не нашлось 10$ на покупку сертификата. Внимание вопрос: на чём ещё они сэкономили, или чего ещё упустили из виду?

    LLC “Inforesource St-Petersburg”


    Это что-то государственное.

    Mobile TeleSystems PJSC


    Это ЦОД оператора мобильной связи.

    Avantage


    Только стойками торгуют. Посредников нет.

    Акадо — интернет-провайдер построил себе ЦОД.

    Stack telecom


    При внимательном рассмотрении — видно, что tier3 сертификат у них скоро экспарится. Это значит — что они дизайн ЦОД сделали в соответствии с tier3, но почему-то до сих пор не реализовали его. Https нету, фоток нету. Цены очень хорошие, почему я им не написал — затрудняюсь ответить.

    Итого tier3


    Итого из ЦОД, офоциально соответствующих tier3 — для меня не был никто приемлемым. Что делать дальше? Я попытался поискать в разном виде в интернете сайты разных ЦОД:

    14.02.2017

    Store Data


    Видимо они первые мне попались в рекламе или при поиске. Точно помню, что меня сильно напрягло — что не было указано адреса каждого ЦОД, сейчас я его уже вижу. Ещё помню ужасную вёрстку на сайте. Даже сейчас debian+firefox смотрится ужасно. При обсуждении цен у меня были «глупые» вопросы, типа я не понимаю за что платить 30000р/мес. На один из таких вопросов они решили мне не отвечать. Ну что ж поделаешь — помоему и правда я не их клиент. Они там специализируются на платёжных системах.

    Случайный поиск не помог


    Наверняка я нашёл более, чем один ЦОД, но чем-то они мне не понравились. Я помню, что стал изучать «а что есть правильный ЦОД?». Смотреть всякие видео в интернете о ЦОД и сложилось представление о том, что я должен увидеть на фотках.

    Я пытался попасть в Ростелеком ЦОД местный. Потому что и провайдер мой — Ростелеком. И организация приличная. Провёл оптоволокно за 3000$ — очень хорошее качество связи.

    Оффтоп: У Ростелеком ужаснейший родной DNS — из-за этого наверняка у большинства бользователей ужасное мнение о данном провайдере. Но они не предлагают услуг по размещению своего оборудования, совсем, нигде.

    Тогда я просто позвонил им в поддержку центральную и спросил — «а что вы мне порекомендуете?». Этот сотрудник мне порекомендовал «hc.ru» и «tech.ru».

    16.12.2016

    Tech ru


    Терпеливо отвечали на все мои глупые вопросы (это я сейчас вижу и понимаю, что вопросы глупые). Они предложили связку поставщик+ЦОД, кроме них ещё только ЦОД в прибалтике подобное предложили. У них современный сайт, как вы видели в анализе выше — далеко не у всех такое есть. Фото оборудования — соответствует представлению о том, какой должен быть правильный ЦОД (собственно все кто выложил фото-видео соответствуют, но выложили далеко не все). Есть необычный канал «burstable rate». Цены с моей точки зрения чуть ниже чем у всех. Ну и сделали спец-предложение в виде скидки по блоке питания (БП).

    Надо немного пояснить, почему все ЦОД озверели с этим показателем максимальной потребляемой мощностью БП. Мне как потребителю вообще непонятно почему при оплате смотрят на циферку-надпись на БП. Логично было бы смотреть на потребляемую мощность или в конце концов — максимально возможную потребляемую мощность. В моём случае если собрать все железки до кучи — получится 420W максимально возможное потребление и реальное потребление сейчас наверное около 100W. А на моём БП нарисовано 750W — значит я должен платить за это 1900 рублей в месяц за превышение мощности 400W. И они не одни такие — оказалось все поголовно такие странные. Почему?

    Оказалось, что для случая выключения серверов — а потом их одновременного включения потребляется какраз максимально-возможный ток.

    Ну вот и получится, что в критической ситуации — оператор или просто нажмёт «включить всё». Или если таких как я будет много — прийдётся включать каждый сервер по очереди. Соответственно дольше простоя у некоторых клиентов. Больше причин я не нашёл — но и эта причина вполне объясняет странность такую.

    Следующая странность — это подключение к портам 100мбит/1гбит/10гбит. Даже если через этот порт будет гонятся очень мало данных — извините, это стоит очень дорого. И это никак не очевидно человеку, который не в курсе этих ньюансов.


    Вход к рабочей зоне ЦОД tech.ru

    16.12.2016

    Хостинг Центр


    Они мне в поддержке написали «Напишите нам, пожалуйста, когда сервер будет готов к установке в ДЦ». Ну и вот как мне это воспринимать? Как вежливый отказ от сотрудничества? Через 2 месяца я у них спросил есть ли у них ограничение по питанию? Внезапно оказалось что есть. Ну и какого лешего они мне сказали сначала купить сервер, а потом выяснять что надо было купить? На сём я решил, что общаться с такой поддержкой неприемлемо.

    18.01.2016

    Миран


    Спрашивал у них есть ли возможность заказа оборудования. Они предложили только сбор dedicated сервера на заказ.

    Итого


    Выбор как видно был сделан в пользу tech.ru. В первую очередь потому, что они сотрудничают тесно с Tiscom. Во вторую очередь из-за хорошего саппорта. Во третью очередь из-за скидки по питанию.

    То, что есть burstable rate, хорошо оформленный сайт, https, фото и прочие мелочи — тоже было в плюс.

    За месяц использования было зафиксировано 2 downtime канала примерно 15 минут и 3 минуты соответственно. При подключении перепутали маршрутизацию ip адресов (7 ip адресов на 10мбит канал <-> 1 ip адрес на 100мбит канал). Остальное всё прекрасно.

    Ещё я могу придратся к тому, что нету служебного API типа выяснять сколько времени у UPS осталось до выключения. Нечто подобное есть в hetzner.


    Пример стойки в tech.ru с работающим оборудованием клиентов

    Они когда узнали, что я собираюсь статью о них писать попросили, чтобы я тут оставил этот телефон: +79055628383

    Проблемы с настройкой данного сервера


    Я вынес отдельно проблемы, которые у меня возникли по ходу настройки данного сервера.
    Не стандартные проблемы с моей точки зрения. То есть решение которых не легко нагуглить.

    Настройка NVMe — как основной диск системы


    Первая проблема — как сделать NVMe диск загрузочным.

    Я начал с простого — попытался в лоб установить как есть. Не получилось. Ну то есть Debian установился и сделал NVMe загрузочным, но BIOS не видел данного варианта загрузки, ну вот никак. Трогать в BIOS того, чего я не понимаю — не хотелось, а из того что я понимал — перепробовал всё. Из вариантов загрузки нашёл UEFI вариант. Но и он не хотел запускать boot-NVMe через этот вариант. Покопавшись в UEFI — я убедился, что из командной строки реально получить информацию про установленный NVMe. А значит и реально как-то загрузится с него.
    Собственно стало очевидно, что надо что-то прописать в этот UEFI.


    Фото с места раскопок UEFI. Mass Storage Controller — наш клиент.

    Копался-копался в консольке этого UEFI — понял, что какой-то это невероятно сложный путь, должен быть проще.

    Забрёл на сайт Debian и там собственно был ответ на поверхности. Надо всего-то было:

    1. Выбрать экспертный режим установки Debian.
    2. При выборе способа загрузки (который доступен только в экспертном режиме) UEFI/GRUB -> Выбрать UEFI.
    3. Разметить специальным образом маленький кусок NVMe диска, для UEFI загрузчика.

    Вообще честно говоря это ИМХО сильный косяк со стороны Debian — ну очевидно же, что Debian устанавливается на NVMe девайс — правильно было бы в таком случае предлагать в не экспертном режиме способ загрузки и по умолчанию через UEFI.

    Debian установщик разметил и установил UEFI загрузчик на кусочек NVMe диска (аж целых 500мб ему понадобилось для этого, ну то ладно). Через ту самую консольку UEFI самостоятельно внёс настройку и выбор загрузки с данного раздела NVMe. Мне осталось в BIOS выбрать этот новый способ загрузки как основной.


    Вот такую разметку надо делать для загрузочного NVMe девайса.


    Вот это ключевой момент при установке Debian на NVMe, именно это должно быть в не экспертном режиме установке для случая установки на NVMe. И по умолчанию «да».

    Настройка Zabbix-iops


    Вторая внезапная проблема это подсчёт iops. Я наивно полагал, что zabbix умеет такое считать и оно мне будет рисовать сколько iops мой NVMe выдаёт. Оказалось, что не умеет. Как по мне — это невероятно странно.

    Выяснилось, что есть стороннее дополнение для zabbix, которое может собирать такие данные.
    Но это стороннее дополнение не умеет работать с NVMe девайсами. Пришлось допилить немного, благо это всё opensource. И способ сбора данных не совместим с последней версией zabbix, да и вообще содержал ошибку в сборе данных. Тоже подправил. Pull request тут.

    Была задачка — распаковать архив с огромным количеством мелких файлов. Данный NVMe такой быстрый, что справился с архивом в 100гигов на 10000 файлов за несколько секунд. Тем не менее zabbix зафиксировал за эту минуту: Максимальное значение которое я увидел — это 5000iops на запись при утилизации в 5%. То есть очень примерно данный девайс точно выдаст 100000iops на запись.

    Вообще такая мощность покупалась для БД и на что способна данная железка будет известно только после боевого запуска онлайн игры, которая делается. А пока вот такой синтетический простой тест.

    Ещё хочу отметить, что HDD способны выдавать 800iops на запись при утилизации 100% в течении 5 минут и далее 500iops на запись — 15 минут (тоже при утилизации 100%).

    Ещё был забавный момент когда я стянул 90гиговый архив по ошибке на NVMe девайс, а надо было его стянуть, распаковать и положить на HDD. Ну думаю сейчас распакую его на HDD, замеряю iops на чтение, понятно что не много будет, но всё-же. И внезапно я вижу iops на чтение равное нулю. Ну думаю точно в скриптах zabbix какая-то ошибка. Перепроверил всё тщательно, продебажил как следует — убедился что нет ошибки.Как тогда это возможно? А фокус в том, что это была первая тяжёлая операция на данном сервере и Debian смотрит — 90гиговый файл и 120гигов свободной оперативы.

    Ну и целиком засунул в оперативную память данный файл. Потом при обращении к этому файлу — прочитал его с оперативной памяти, а не с NVMe.

    Заключение


    Есть такая поговорка: «Как корабль назовёте, так на нём и поплывёте». Сервер получил имя «nova». Краткая форма записи на английском языке от «Гиперновая звезда». Гиперновая звезда — это очень яркая вспышка длительностью несколько сотен лет. Миг по меркам космоса. Вот и сервер должен прекрасно справится с запуском онлайн игры за «короткий» промежуток времени.

    Пройдёт ещё не менее года, прежде чем будет всё дооформлено, контент доделан, тщательно всё протестировано, публикационные материалы готовы, юридические вопросы решены и ещё тьма вопросов — и тогда прийдёт время вспыхнуть этой гиперновой. Это ж такая редкость сегодня — публикация доделанной игры.

    А пока — я готов провести синтетические тесты NVMe p4800x. Например, для mysql написать какую-то задачу в 20 потоков, чтобы очень яростно мучало данный ssd. И таки выяснить реальный предел возможностей данного девайса. С удовольствием выполню ваши нагрузочные скрипты на данном сервере и опубликую результаты тестов.

    Также готов рассмотреть варианты с инвестициями в саму игру, от 100000$ и должным образом всё оформленым и тщательным образом всё оговоренным.
    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама
    Комментарии 186
    • +2
      , 5 человек активно играют — более чем достаточно на данный момент

      Шуточек ради, вы им обязательно лычки в игре выдайте «Nova Beta Testers»)
      • 0
        Уже выдал =)
        Ну и разумеется система выдачи таких лычек отработана.
        • 0
          Почему так много ресурсов на 5 человек? держу сервис с ботами для онлайн игры на хостинге за 300р, тестировал под нагрузкой около 100 клиентов, все летает.
        • +4
          Граждане пытались продать мне Dell оборудование. Опять я вижу переплату за брэнд вообще непонятно за что.
          Сотрудник объясняет мне, что переплата за оперативную помощь.

          Показалось немного странным Ваше удивление. Судя по всему имеется в виду какой-нибудь SLA от самого DELL на оборудование, которое стоит у них в ЦОДе. И в случае выхода из строя запчасти сервера (диск, кулер, рейд-контроллер и т.д.) DELL оперативно вышлет им замену. Или, что скорее всего, у них на складе уже есть запчасти к серверам DELL (но тоже не просто так, а как часть договора с DELL).
          • –2
            SLA от самого DELL на оборудование, которое стоит у них в ЦОДе

            Я же покупаю железку у одних лиц, а размещаю железку у других лиц.
            Взаимодействие за дорого DELL с лицами, у которых размещается оборудование — понимаю.
            Взаимодействие за дорого DELL с лицами, у которых покупается оборудование — не понимаю.

            Полагаю, что корень проблемы в том, что для моей схемы (покупка сервера + размещение в ЦОД) — поддержка DELL бессмысленна. Вот если бы я в свой офис ставил сервер — тогда такие траты выглядели бы осмысленными.
            • +1
              Вы не понимаете сути гарантии вендора.
              У вас сдох ssd, или планка памяти, вы просто создаёте заявку в Dell, прикладываете лог с сервера и на next business day (ну иногда конечно 2-3 дня может быть) получаете новый для замены (при чём приезжаете инженер, способный в вашем сервере эту железку заменить). Это касается любого компонента. Купив россыпь железа, вы получаете гарантию на отдельные компоненты (и то, только в случае гарантийного случая, а не просто по тому что он сломался) и сами им несёте в СЦ на диагностику эти отдельные компоненты, будь то процы, память, мать, БП и тд.
              • –1
                Понятно, спасибо за разъяснение, стало намного понятнее. В итоге получается за эту фичу надо мне выложить 1500$ (или +20% стоимости) — как приведены расчёты в соседнем комментарии. Для меня это неприемлемо много. Фраза «россыпь железа» тоже доставляет, от этой фразы у меня ощущение, что вы не читали мою статью.
                • +2
                  На наши сервера мы обеспечиваем гарантированную замену на следующий рабочий день по Москве и области, инженер так же приезжает на место эксплуатации. Так что не надо никуда ничего нести. Причем этот пакет предоставляется абсолютно бесплатно. И не только наша компания это делает, есть и другие игроки с такими условиями. Уж Вам то это должно быть известно :-)
                  • 0
                    К слову у многих вендоров сейчас исчерпание ресурса SSD = гарантийный случай и бесплатная замена. Очень приятно к окончанию гарантии поменять SSD на новенькие.
                    • +1
                      Если продавать ссд по цене как у этих вендоров-то почему бы и нет? Любой подпишется под этими условиями. а там или «или ишак сдохнет или султан помрет » :-)
                      Но все почему то хотят видеть ссд в серверах по стоимости дисков в инет-магазине.
                    • 0
                      так и есть.
                • НЛО прилетело и опубликовало эту надпись здесь
                  • 0
                    Я готов платить за +2 ядра 250$, увеличение частоты для данной задачи это приятный бонус. Из-за ошибки в коде была получена ситуация с онлайн 500 человек, был почти полностью съеден ресурс свободной оперативной памяти на старом слабом сервере, а нагрузка на процессор была в пределах статистической погрешности.
                    • 0
                      с современными процессорами Intel приходится выбирать что-то одно — либо ядра, либо более высокая частота процессора.
                      • +3
                        либо много денег, потому что топовые многоядерные имеют большой буст при малой загрузке ядер.
                  • +8
                    Почему покупка и размещение в РФ? А чтобы я был бы юридически защищён.


                    — обоснуйте, пожалуйста, этот пункт. В чем выражается юридическая защищенность в РФ для вас?
                    • 0
                      Имея некоторые связи с представителями IT сообщества в Украине я осведомлён, что шансы изъятия сервера из ЦОД в Украине без последствий для изымающего — не равны нулю. Я это называю юридическая незащищённость.
                      в РФ/США/Европе/Китае — такое невозможно, и потому юридически защищены с моей точки зрения.
                      В США я не хотел рассматривал вариант размещения из-за пинга.
                      В Европе — тот же пример Пражский. Случись чего — мне получается надо ехать в Прагу, подавать иск в суд и добираться чего или оплачивать услуги адвокатов. Дорого это всё.
                      А если в РФ чего случится — я могу себе позволить отстаивать свои интересы в суде без проблем. Ну и я не могу себе представить, что моим сервером что-то случится в tech.ru без существенных проблем для вредителя.
                      • +6
                        Кажется будто тут речь про какую-то другую РФ, явно не ту, в которой я живу.
                        • +2
                          Это кто сказал, что в РФ невозможно изъятие? Да вообще во всех цивилизованных странах это возможно по решению суда, просто в странах СНГ к этому добавляется ещё и произвол властей.

                          Интересно, у вас уже есть положительный опыт отстаивания своих интересов в судах РФ?
                        • 0

                          Чел живет в Украине то ему РФ просто так сервер не выдаст. А пинги и физическое размещение — довольно удобны в РФ для украинца.

                          • 0
                            «Чел живет в Украине то ему КАЖЕТСЯ, ЧТО РФ просто так сервер не выдаст»
                        • +3
                          Понятия не имею что это.

                          Это TPM (Trusted Platform Module).
                          • +3
                            это модуль RMM4 для удалённого управления сервером
                          • +2
                            Самому собирать самосбор, не разбираясь в железе — та еще авантюра. Допустим сейчас это все завелось и взлетело, вопрос насколько будет стабильно работать… У нормальных вендоров есть онлайн конфигураторы серверов, где просто не получиться поставить несовместимые комплектующие. Одним словом колхоз… не одобряю :)
                            • –1
                              Уверяю вас, если бы вы прочитали статью — вы бы заметили, что я рассмотрел вариант самосбора сервера и подчеркнул проблемы с этим связанные.
                              • +3
                                Производителей HP и Dell — я рассматривать не буду по причине чудовищной переплаты непонятно за что.

                                Если бы пользовались, тогда бы знали за что. Я один год пользовался Supermicro — больше не хочу… До этого был опыт HP, IBM, Dell, и когда-то давно самосборов.
                                У серверов ведущей тройки, есть внутренний мониторинг работы компонентов. А тут купили в компанию штук 30 серверов supermicro 2-3 моделей, почти каждый отметился проблемами и нестабильностью работы. Что именно сбоит, вычисляется методом перебора, в то время как на нормальном железе к логах пишется — битая память, сбой процессора и тп.
                                При размещении на удаленной площадке, важная фишка — удаленная консоль (IPMI, ILO, DRAC,RSA и т.п.).
                                Другая фишка — обновление системного ПО, прошивок, драйверов — на самосборе этого нет.
                                • 0
                                  Не очень хочется вас огорчать, но в данном экземпляре платформы R1304WTTGSR есть IPMI, за 750 рублей в месяц я могу начать им пользоваться, если захочу или понадобится.

                                  Я уже писал, что для офисов DELL — понятно за что переплата, а вот для ЦОД — нет. Чем плоха выбранная платформа Intel?
                                  • –3
                                    Вы сравниваете автомобиль сделанный ведущим производителем, с автомобилем гаражного кулибина. Только вот Кулибин может быть не совсем в курсе того, как надо собирать автомобили, потому как его работа заключается не в этом, а собрал он развлечения ради…
                                    • 0
                                      Intel — это не ведущий производитель?
                                      • 0
                                        Сервер это не только процессор и чипсет. Даже на одних и тех же чипсетах, для обычных компьютеров, разные производители умудряются делать плохие материнские платы и хорошие. Да и платы у интела не лучшие, и никогда такими не были.
                                        • +1
                                          По части серверов — нет. Я больше скажу — Intel не производит (официально) серверы, он выпускает только платформы и процессоры — конструкторы. мы, «счастливые» обладатели нескольких серверов от Intel, проблемы с памятью на 3-х из 7 серверов получили в первый же месяц, и ждали замены по 2-3 недели…
                                          • +1
                                            Да ладно, от Интела можно получить как платформу, так и систему в сборе ( L9 уровень сборки (память, ссд и тестирование на заводе). И чего интересно Вы ждали замену 2-3 недели? Модуля памяти? Платформы? Даже если у Вас нет гарантии от местного сборщика- то AWR за неделю (а зачастую на следующий день) с помощью DHL присылает замену (или с локального склада или из Европы)
                                            • 0
                                              Даже если у Вас нет гарантии от местного сборщика- то AWR за неделю (а зачастую на следующий день) с помощью DHL присылает замену (или с локального склада или из Европы)

                                              Конечно у Вас не было опыта видать с серверами большой тройки когда оборудование с уровнем сервиса " 4 часа восстановления " везли неделю. А оборудование со стандартным сервисом NBD (реакция) заменяли в течении месяца

                                              Вы сами себе противоречите, не считаете? От интела нам месяц ехала память из европы, типа ddr 4 у них кончилась…
                                              • +3

                                                Вы сборщик или конечник? Я отвечаю за сервера, которые продаю клиентам. И их МОИ проблемы во взаимоотношении с Интелом не волнуют и я обеспечиваю быструю гарантийную замену. Поэтому проблем у моих клиентов с отсутствием памяти нет.

                                          • 0
                                            Этот сервер был раработан не Intel, кстати.
                                            • +2
                                              Могу дать контакты подразделения EPSD Intel. Они занимаются разработкой решений.
                                              • 0
                                                Нет спасибо… Спросите у них, если у Вас такие контакты…
                                      • +1
                                        Как-то купили 4 новеньких IBM, через месяц на двух умерли материнские платы.

                                        SuperMicro делают нормальные сервера. С ними всегда было минимум проблем. Особенно, если нужно установить что-то экзотическое. У SuperMicro проще и дешевле дизайн (механический, к примеру), но сейчас 1U сервера на много лучше, чем были 3 года назад.

                                        У всех производителей свои проблемы, например, попробуйте поставить M.2 SSD в DELL.
                                        • 0
                                          supermicro брали именно под изврат — соболя в нормальные сервера не воткнуть, плюс заказчик под санкциями… сервера якобы собраны в США, на одном не работала память, открыл — вставлена планка памяти так, что раздавлен слот DIMM. Представительства в России нет, есть пара поставщиков непонятной адекватности. Общался с обоими по лицензированию IPMI, оба не смогли ответить на вопрос активации ключей (что дают, и как получить нужный нам функционал).
                                          С контроллерами тоже все очень забавно, есть ограничения по максимальному числу дисков, сейчас деталей не помню. (помоему RAID10 не более 8-10 дисков, на шасси где 24 диска можно установить). Каждый сервер почему-то имеет свой внешний вид IPMI и BIOS, отличный от других, пришлось писать документацию заказчику под каждую модель. RAID контроллеры тоже каждый по своему конфигурится, создать RAID10 это куча кликов по невнятным меню.
                                          Как раз пользовались 1-2 юнитовыми серверами 50\50…
                                          Ну и с качеством проблемы, да, виснут в процессе работы, или просто перестают отвечать на внешние раздражители (клава, монитор, мышь и сеть не работает, но система живет). Под проект купили больше сотни, я успел пощупать штук 30, очень много брака, причем много вылазит в процессе экплуатации. А так, да, дешево…
                                          • 0
                                            за 5 лет эксплуатации пары десятков серверов не заметил указанных вами проблем, рискну предположить что вам под видом supermicro продали какой-то шлаковый самосбор.
                                            а вот интеловские железки вообще не радуют, особенно блейд mfsys25v2
                                          • 0
                                            В Dell PowerEdge R640 m.2 прекрасно ставятся.
                                            Кстати, это 1U сервер, в котором можно собрать массив из двух m.2 накопителей.
                                            • 0
                                              Если я не ошибаюсь, это уже 14 поколение, а у нас 12. С SuperMicro никаких проблем с любым, и с Fujitsu тоже.
                                          • 0
                                            Что именно сбоит, вычисляется методом перебора

                                            Откройте для себя mcelog, например.

                                            • 0
                                              Спасибо, а под винду что-то подобное есть? А то гугл не помог… а bsod-ы не всегда возникают
                                              • 0

                                                Под винду не знаю. Подозреваю, что можно загрузиться с линуксом и mcelog все покажет, ибо, кажется, пишется все это биосом куда-то в районе nvram или еще как-то, независимо от операционной системы.

                                      • –1
                                        однозначно лучше pci-ssd

                                        Ага, в качестве единой точки отказа, бекапы восстанавливать будете куда? Даже пара SATA SSD будет надёжнее. В рейде естественно.
                                        Итого выбор: 2шт 6Tb HGST HDD.

                                        И неделя ребилда? И при этом бекапы будут литься ооооочень медленно.

                                        Просто ради интереса накидал, без учёта каких-либо скидок:
                                        Dell PowerEdge R430 rack 1U up to 4 x 3.5″ SAS/SATA HDD / 2 x Intel Xeon E5-2630v4 (2.2GHz, 10C, 25MB, 8.0GT/s QPI, 85W) / 8 x 16Gb PC4-19200(2400MHz) DDR4 ECC Registered DIMM / 2 x 200GB SSD SATA Mix Use MLC, 6Gbps HS 2.5″ in 3.5″ Carrier / 2 x 6TB 7.2k Near Line SAS 12Gbps HDD HS 3.5″ / PERC H730 RAID(0,1,5,6,10,50,60) Controller 1Gb NV Cache 12Gb/s with battery / no DVD / iDRAC 8 Enterprise 8GB SD card / Broadcom 5720 4x1Gb Integrated card / 2 x Power Supply, 550W, Hot Plug / no OS / 3Y NBD

                                        441766 руб. (по сегодняшнему курсу — 7683$)
                                        • +1
                                          Ага, в качестве единой точки отказа, бекапы восстанавливать будете куда? Даже пара SATA SSD будет надёжнее. В рейде естественно.
                                          Извините бюджет не резиновый. А задача сервера — не работать под нагрузкой 5 лет, а выдержать заявленную выносливость в течении 3-5 месяцев, когда прийдёт время.

                                          Да, единая точка отказа. Я вроде подробно расписал, почему я осознанно пошёл на такой риск. В конце-концов сервер должен решать бизнес задачу, а не просто быть купленным для галочки.

                                          Судя по статистике zabbix ребилд будет… 8 дней. Ну а какие есть варианты по этому вопросу?

                                          200GB SSD SATA Mix Use MLC
                                          Убрали железку стоимостью 120к рублей и добавили 2 железки стоимостью 20к рублей.
                                          Убрали 10 гигабитные порты за 10к рублей.

                                          Я считаю получился прекрасный пример непонятной переплаты в 90к рублей за оборудование DELL.
                                          • +1
                                            Я вроде подробно расписал, почему я осознанно пошёл на такой риск.

                                            Видимо я этого или не увидел, или не посчитал аргументом. Да, у вас будет пара простых SATA SSD в RAID1 и при этом 3 года гарантии их замены! При этом, это полноценный рэйд, и потери данных в случае выхода из строя одной железки не произойдёт. Уж я то PCI-E SSD насмотрелся. habrahabr.ru/search/?q=PCI-E+SSD#h (то, что Блог компании ADVANSERV — моё творчество). Конкретных требований по IOPS у вас в тексте я не вижу, кроме «вау, архив распокавался за секунды!» — сервер не для этого, тем более продуктивный под приклад), по этому на мой взгляд можно было ограничиться и 3x200Gb SATA SSD raid1 + spare, если уж таких требований нет и не описан характер нагрузки на сервер приложением.

                                            Я уж молчу про аргументацию за 128Gb… на сколько микросекунд оно будет медленнее и в каких именно операциях? И какие сотые процента разницы вы получите на своём приложении?

                                            Ну а какие есть варианты по этому вопросу?

                                            4x2Tb raid5, меньше объём, больше шпинделей = быстрее ребилд

                                            Убрали 10 гигабитные порты

                                            Их просто не заметил, каюсь, уж больно много текста

                                            пример непонятной переплаты

                                            За эти деньги, вы получаете не кучу железа в рассыпухе, а готовое решение, а 3-х летней гарантией работоспособности всех компонентов на протяжении 3-х лет.
                                            • 0
                                              если уж таких требований нет и не описан характер нагрузки на сервер приложением
                                              По статье разбросано много требований к ssd. 1-2tb перезаписей в сутки. Про iops каюсь, надо было указать, что надо было примерно 50000iops на запись гарантированно иметь (разумеется это не линейно, что 1 игрок требует 1 iops всё время, но очень примерно). Чем быстрее перезапись — тем лучше. И т.д. Основная нагрузка — от БД. Но мне её сейчас нечем нагрузить. Только синтетические тесты. Открыт для предложений по оным.

                                              На тему памяти — надо было купить 64 сейчас и возможно 64 потом? Сэкономить на этом 500$. Я ж описал, что недостаток памяти для этого проекта — это маленькая катастрофа. Вот, и получается — на одной чаше весов риск+500$, а на другой без риска, но без 500$. Я выбрал сразу установку 128Gb. Или речь про задержки? Ну какая мне разница? Ковыряние памяти — основная задача данного приложения, поэтому я выбрал максимально хороший вариант в рамках моего бюджета по памяти.

                                              4x2Tb raid5, меньше объём, больше шпинделей = быстрее ребилд
                                              Понял, согласен, спасибо.

                                              готовое решение
                                              А у меня получилось не готовое решение?
                                              • +3
                                                1-2tb перезаписей в сутки

                                                Это не просто много, это безумные объёмы, и даже PCI-E SSD на 400Gb тут жить будет очень плохо и скорее всего не долго. Вы, с точки зрения дисковой подсистемы учитываете требования к нагрузке, говорите про количество перезаписей, выбираете самую дорогую модель, но одну! Поймите — никто не даст гарантию, что он не умрёт через неделю после покупки при 100 раз меньше нагрузке. И что тогда вы будете делать? Ехать в цод, вынимать, везти продавцу, отдавать в СЦ, это минимум неделя простоя, боюсь к тому времени у вас пользователей не останется. Да, покупать 2 таких карточки хотя бы в софт-рейд — дорого, в таком случае нужно искать золотую середину между отказоустойчивостью и производительностью.

                                                надо было купить 64 сейчас и возможно 64 потом?

                                                А может быть было достаточно пока взять 12х8Гб? Получить память с запасом, место для дальнейшего расширения и при этом ставить более дешёвые модули, что помогло бы сэкономить бюджет?

                                                Опять-таки, я не увидел аргументов в пользу выбора E5 процессоров, кроме экономического
                                                слишком слабые процессоры: E5-2603, E5-2609, потому что денег точно хватит на 2шт E5-2620

                                                вы считаете это правильным подходом? При том, что в камментах я увидел лишь рассказ о том, как приложение сжирало память, при низкой утилизации процессора, так нужно ли вам на самом деле 40 потоков? Или опять-таки — можно было сэкономить, и взять тот же второй P3700? Железо — не лучшее решение для простого вложения денег.

                                                А у меня получилось не готовое решение?

                                                Да, но за работы этого решения — отвечаете вы. Выходит из строя любой из компонентов, вы едете в цод, вынимаете его, сдаёте в СЦ, ждёте его решения, возможно (в случае если это признаётся гарантийным случаем) получаете новую железку (через пару недель) затем едете ставить её обратно. Гарантия вендора на сервер работает иначе. В случае выхода из строя любого компонента, вы создаёте онлайн заявку, прикладываете логи с сервера, а 3NBD говорит о том, что в течении 3-х лет вы получаете замену на следующий (ну порой 2-3) рабочий день, и вы не должны ничего объяснять, как вы ей пользовались, по какой причине она вышла из строя и тд. В этом то и разница, за это и переплата, и поверьте моему опыту — она того стоит.

                                                Я не пытаюсь убедить вас, что вы сделали что то не так, в любом случае это ваш опыт и деньги уже заплачены, оборудование установлено и работает, я просто надеюсь, что когда ваш проект разовьётся (а я вам этого желаю без сарказма) и вы решите расширять свою систему, вы уже будете понимать, чем отличается сервер от «большой тройки», от самосбора на интеле, супермирке или асусе.
                                                • 0
                                                  Спасибо за развёрнутый коммент. Тиском заявил, что они поменяют любую детальку в течении этого-следующего рабочего дня. А потом мы с ним спокойно разберём это был гарантийный или не гарантийный случай. Разумеется не за бесплатно. Но суть я уловил, спасибо.

                                                  Что будет если выйдет из строя раньше времени данный NVMe? Видимо будет downtime около недели и море потерянного времени. Ну и тут появится новая статья полная боли и ненависти к Intel. Надеюсь этого не будет.

                                                  На тему подхода — я думаю вот чего. У меня будет ровно одна попытка, чтобы мою игру увидели миллионы игроков. Все площадки с играми имеют раздел с играми-новинками. Одна игра может только один раз туда попасть. Только один шанс. Взвесив все варианты развития игры я выбрал этот путь, именно поэтому все важные показали железа берутся с запасом насколько позволил бюджет. После момента старта нельзя будет выключать сервер и чего-то туда устанавливать, иначе ломается вся бизнес модель. А я хочу иметь хотя-бы шанс на успех. И после этой попытки есть ровно 2 варианта развития событий, либо игра успешная и как можно быстрее собираются деньги на кластер серверов — и строится полноценная инфраструктура для полноценного бизнеса. Или игра не успешная — и ей место в моём портфолио, и тогда надёжность и возможный downtime через 5 лет в неделю не страшен.
                                                  • +2
                                                    Я готов подтвердить эти слова. Причем NVMe меняется так же NBD. В ЗИП они есть.
                                                    • 0
                                                      У меня будет ровно одна попытка, чтобы мою игру увидели миллионы игроков. <...>

                                                      Вот для подобного идеально арендовать облако с возможностью быстро расширить ресурсы. А уже через какое-то время, зная детально сколько и каких ресурсов в среднем потребляется, брать под это железо.
                                                    • +3
                                                      Конечно у Вас не было опыта видать с серверами большой тройки когда оборудование с уровнем сервиса " 4 часа восстановления " везли неделю. А оборудование со стандартным сервисом NBD (реакция) заменяли в течении месяца. :-)
                                                  • 0
                                                    А кто Вам сказал что здесь куча рассыпухи? Здесь так же готовое решение, за которое мы несем ответственность на протяжении 3-х лет. Склад ЗИП у нас полон, даже Optane (P4800x) мы готовы менять NBD (на данный момент их 4 в ЗИП).
                                                    • 0
                                                      Готовое решение, которое собирал покупатель? И вы за него несёте ответственность? Видимо с такой моделью бизнеса я ещё не сталкивался у нас. А если он ножки погнёт на сокете при установке проца или планку памяти повредит при неправильной установке — то же замените?
                                                      • 0

                                                        Решение собирали мы. Соотвественно кучи рассыпухи нет. А если вы у делл погнете сокет- заменят?:-)

                                                        • 0

                                                          Погнутый сокет — это естественно негарантийный случай. В 90 % случаев сможем выправить ноги.

                                                          • 0
                                                            Успокойтесь, не надо так много писать. Как работаю компании, подобные вашей — я знаю, сам когда то работал. Лишь ошибся в понимании того, что же автор всё-таки в итоге купил.
                                                            • 0

                                                              Да я особо и не волновался, просто зная Вас давно не ожидал подобных комментариев:-)

                                                              • 0
                                                                Вы давно меня знаете? Интересно :)
                                                                не ожидал подобных комментариев

                                                                подобных — это каких? недоверия к самосбору? :)
                                                        • 0
                                                          Или на фотография вовсе не руки автора, а вашего инженера и вы поставляли всё-таки уже готовое решение? Исходя из фоток и подробного текста о выборе комплектующих я сделал вывод о первом, видимо я был не прав? Тогда извиняюсь.
                                                          • +1

                                                            Руки нашего инженера. Автор просил сделать фото, публикацию на хабре мы не просили.

                                                            • 0
                                                              те ему даже за рекламу скидка не перепала? какая печаль
                                                              • 0

                                                                Нет, не перепала:-) и о таком развитии событий на я хабре я подозревал)

                                                                • +1
                                                                  И так цена хорошая, даже в самый последний момент (за неделю до собственно покупки) Server-city связались со мной и сказала «а давайте мы дешевле предложим и конфигурацию буква-в-букву». И оказалось дороже.
                                                                  • 0
                                                                    В ситях сейчас как то всё не очень хорошо :)
                                                    • 0
                                                      во-во, с гарантией на железо 3 года, и гарантией работоспособности решения… Причем Dell в России не самый дешевый вариант.
                                                      • +3
                                                        А кто сказал что здесь нет гарантии работоспособности решения? Моя компании отвечает за это. И отвечает более 20 лет уже. Поверьте, к нам бы клиенты не возвращались, если это было бы не так.

                                                    • 0
                                                      Какой хоть жанр игры?
                                                    • 0
                                                      У AMD устаревшие процессоры, серьёзно? Про AMD EPYC никто не слышал что ли?
                                                      • 0
                                                        Пол года назад их не было.
                                                      • 0
                                                        Планируете хранить бекапы на самом сервере? Не самое лучшее решение
                                                        А почему не облачное решение? За довольно большие деньги для стартапа, вы получили риски отказа железа, геморой с мониторингом железа,, геморрой с восстановлением железа в случае проблем, отсутствие резервной площадки в случае проблем с основной, и как все было бы просто, если б вы арендовали себе кусочек облака?
                                                        • 0
                                                          Ну ок. Предположим, я беру в облаке — предположим игра оказывается финансово несостоятельной. Всё, закрываем проект полностью. И в портфолио я смогу положить только дырку от бублика. Я уже ловил такую проблему в прошлом и об этом в статье написал. А сейчас получается даже если приносить будет 50$ в месяц — уже финансово состоятельная и у меня уже есть оборудование для следующей попытки чего-то сваять.
                                                          Предположим игра оказалась успешной и при запуске она примерно соответствует максимальным ожиданиям — это мне за хостинг надо будет платить 1000$ в месяц. А работающий продакшн трогать — себе опаснее и переносить на свой сервер. Тьма времени и сил и денег. Было уже так, не хочу повторения.

                                                          На тему бэкапов — соглашусь.
                                                        • +2
                                                          А в чем смысл вообще всех этих действий?
                                                          Сейчас он у вас не нагружен, то есть оборудование будет загружено, дай бог на 5%, в течение года. По моему просто выброшенные деньги. Да и устареет он через год.
                                                          Да и «нЬюансы» и «нвИстиции» в статье как-то напрягают.
                                                          • +6
                                                            Судя по всему человеку захотелось поиграть в админа, вот на это деньги и выброшены. Облачное решение как минимум до старта релизной версии игры было бы намного разумнее.
                                                            • 0
                                                              Спасибо, что обратили внимание на опечатку.
                                                              • +3
                                                                А почему оборудование устареет за год?
                                                                За последних 2-3 года производительность E5-2xxx выросла на проценты, а не в разы.
                                                                Выбранная материнка поддерживает до 1.5ТБ ОЗУ.
                                                                Единственное узкое место на мой взгляд — корзина на 4 диска. Но это зависит от задач.
                                                                Обычный сервер в цод (под виртуалки).
                                                                Как я понял, если проект не взлетит — автор будет пробовать еще что то и для этого что то нужно будет железо.
                                                                И даже через 3-5 лет это сервак будет вполне актуальным для второстепенных задач.
                                                              • 0
                                                                Выбор как видно был сделан в пользу tech.ru

                                                                и тут внимательный суслик увидел, что на скринах фигурирует адрес kvm1.idc3.msm.ru
                                                                • 0
                                                                  Внезапная внезапность. MSM.ru и TECH.ru — это одна компания.
                                                                • +3
                                                                  А мне статья понравилась, этакий гик-порн. С удовольствием бы поковырялся со сборкой и настройкой такой железки. Автор, уверен — железка будет хорошо и долго работать, удачи с запуском игры! А то набежали тут энтерпрайзники со своими страхами.
                                                                  • 0
                                                                    Спасибо большое! Очень приятно, для таких как вы я и старался. С подробностями, как всё было, ход мыслей, с фотками.
                                                                  • 0
                                                                    Дайте пожалуйста ссылку на игру
                                                                    • 0
                                                                      Как только игра будет доделана — обязательно опубликую ссылку.
                                                                    • 0
                                                                      А блок питания задублирован?
                                                                      smart-атрибуты с NVMe с его «моторесурсом» снимаете? А то при ошибке какой этот шустрый диск выжрет свой ресурс за неделю — будет обидно.
                                                                      • 0
                                                                        Покупка второго БП запланирована за пару месяцев до планируемого старта. Так-то да, бага в коде и оп-оп подавай новый p4800x, iops мониторю через zabbix, состояние hdd-raid смотрю через спец команду кучерявую.
                                                                      • +2
                                                                        Интересный кейс. Вероятно, отправной точкой все же послужил солидный бюджет на такую затею? ТС очень скрупулезно подошел к выбору всего чего только можно, пусть и в рамках субъективного взгляда на все тонкости выбора и покупки. Очень даже хорошо получилось, если закрыть глаза на стоимость.

                                                                        Админы компаний, где серверная инфраструктура огромна и в приоритете максимальное удобство взаимодействия с железками, качественная и оперативная поддержка со стороны вендора будут советовать альфа бренды. Те же, у кого неоправданно высокая стоимость оборудования съест большую часть профита, а железо так или иначе через пару лет станет неактуальным — будут защищать золотую середину или на худой конец «самосбор».
                                                                        Мы, скорее попадая во вторую группу, попробовали и альфа-бренды, и интелы и супермикро.
                                                                        Да, новые HP, Dell — круто, стильно, модно. И очень дорого. Может быть для кого-то удобно и целесообразно менять платформы раз в 1-2 года. Для нашей модели работы оказалось совсем неприемлемо.

                                                                        Интел — хороший средний вариант, ничего плохого не скажешь (у нас стабильно работают еще с 10 платформ на S5520), но и похвалить особо не за что. Пример — было несколько серверов SR1625URSASR — все работало отлично, ровно до того момента, когда мы захотели сменить HDD на SSD — половина работали, половина нет, саппортед лист — кот наплакал. Ну и в довершение — все завязано на весьма старый SAS-контроллер+бекплейн, 3Гбит/с. Приехали, меняйте платформу.

                                                                        У супермикро, на котором мы и остановились, бекплейны 10+ летней давности без проблем работают на 6Гбит/с. Экспандируемые решения — имеют ограничения, но нет проблем заменить SCSI на SAS2 или SAS на SAS3 — все унифицировано. То же касается и замены какой-то древней платформы на Х10/Х11.
                                                                        Касательно надежности — даже не припомню проблем по вине именно оборудования вышеупомянутого вендора — или партия винчестеров плохая попадалась, или модули БП от старости вылетали.

                                                                        PS: Честно, поддержу мысль что ТС похоже слишком много внимания уделил серверу. Ведь это лишь инструмент. Если речь идет об игре, которая может привлечь тысячи, десятки тысяч игроков — да этот сервер отойдет на 10 план!
                                                                        • 0
                                                                          У Intel лучше гарантия в РФ, поэтому сервер в сборе с пятилетней гарантией (от местных «вендоров») выходит существенно дешевле Супермикры.
                                                                          • 0
                                                                            Спасибо за хороший коммент.

                                                                            Деньги свои и для меня это огромная сумма. Даже больше скажу: самая дорогая покупка в моей жизни. Поэтому уж извините, в такой покупке я хочу быть уверенным, что каждая копейка вложена правильно.

                                                                            На тему внимания к серверу — согласно бухгалтерии, это не самые большая часть расходов проекта (самая большая — это графика, и внезапно юридические вопросы тоже значительно денег кушают). По времени — ну если очень примерно считать в процентах из общего числа потраченных часов, наверное меньше 5% времени на проект в этом направлении ушло (на сервер).
                                                                          • +2

                                                                            Скажу откровенно, статья так себе, как и муки выбора оборудования, не смог дочитать до конца. Обратитесь к нормальному системному интегратору, и Вам объяснят на пальцах что лучше и почему. Кстати у процессора E5-2620v4 частота 2.1, а у процессора E5-2630v4 2.2, о каких 10% разница в частоте? Далее память LRDIMM, это не обычная регистровая память, прочитайте хоть в чем суть и плюсы данной памяти.
                                                                            Сравнивать самосбор с самосбором можно, но для реально важных задач стоит, однозначно, выбирать А Бренд и ещё с дополнительным сервисом, и если сервер будет уже в продуктивнее, то время простоя может стоить Вам не только потери репутации, но и бизнеса в целом, этим и отличаются, в частности, серверы именитых производителей, firmware постоянно допиливается, баги фиксят. По поводу выбора рейда, это жесть вообще: например, raid 1, Вам и вправду нужен для БД игры, это самый быстрый рейд, а вот для бекап в используется raid 5 or raid 6, для увеличения объёма, но эти рейд группы являются достаточно медленными, то есть не для всех задач подойдут. Вообще замечаний много, а хотелка секономить, очень часто оборачивается полным провалом и огромными затратами позже. Если возникнут кнут техн чешские вопросы касательно северного оборудования и схд, обращайтесь, проконсультирую :)

                                                                            • +2
                                                                              Интересно, системные интеграторы и прочие прослойки между вендором и покупателем готовы работать с покупателем одного сервера?

                                                                              Скорее наоборот, у меня остались вопросы, почему автор не попробовал распараллелить игру шардингом на нескольких серверах, и тогда открываются возможности
                                                                              1) несколько самосборов на i7/ryzen
                                                                              2) несколько б/у серверов без ddr4

                                                                              не сильно понятно желание работать только с ddr4. Если, скажем, можно было бы раздобыть б/у систему с новыми дисками за $4000, но с ddr3, то реально ли прирост от ddr4 стоит $3680. Проводились ли тесты? Все таки, если цель делать бизнес, то надо точно понимать, за что платятся деньги.

                                                                              PS не знаком с российскими ценами, но если бы бралось в Германии, и там же бы размещалось в серьезном ЦОД, было бы дешевле. $7680 за 20*2.2 ядер + 50 ГБ памяти это на первый взгляд много.
                                                                              • 0

                                                                                В Украине, системные интегратор, работают с теми кто спрашивает, так же предоставляют консультацию по многим вопросам и проводят полную настройку оборудования под задачи заказчика.

                                                                                • 0
                                                                                  Ну ок, игра прекрасно паралелится между несколькими железками. Собираем десяток «несколько самосборов на i7/ryzen» и «несколько б/у серверов без ddr4». Разумеется это будет значительно дешевле $7680.

                                                                                  Но какая внезапность: место в стойке ЦОД стоит денег. И такая радость будет кушать в лучшем случае 500$ в месяц, даже в Германии. А за данный агрегат оплата чуть больше 50$ в месяц, потому что он 1U.

                                                                                  На тему тестов сравнения ddr3-ddr4 как мне надо было поступить? Арендовать на месяц сервер с ddr3 и арендовать на месяц сервер с ddr4, заранее подготовить тесты — запустить на сервере. Итого часов 20 возни и около 300$.
                                                                                  Я вроде в статье написал, что планирую пользоваться данным девайсом 15 лет — зачем вообще с такими планами делать подобный замер?

                                                                                  Почему для выбранной бизнес-модели неприемлемо постепенное наращивание я где-то писал в камментах. И да, если бы я выбрал постепенное наращивание — то гораздо дешевле было бы использовать облако, чем рой дешёвых серверов.
                                                                                  • 0
                                                                                    планирую пользоваться данным девайсом 15 лет

                                                                                    Это очень большой срок. ЕМНИП даже топ-ведноры не обеспечивают поддержку более 10 лет, по крайней мере с приемлемыми SLA. Oleg_Shi, ваша компания готова обеспечить наличие в ЗИП компонентов выпущенных 15 лет назад? Тогда снимаю шляпу, вы круче топов!

                                                                                    • 0
                                                                                      10 лет вендор не бесплатно же предоставляет? Наличие ЗИПа гарантировано в течении гарантийного (или сервисного)периода у меня на складе. Будет запрос на 15 лет-будет ЗИП. Стандартный срок жизни (выпуска) 5 лет для стандартных компонентов, 7 лет для индустриальных решений.
                                                                                      • +1

                                                                                        Вот в том и фишка. Вендор гарантирует доступность для заказа компонентов для ремонта в течение определенного срока после окончания поставок основного оборудования. У hp, например, это пять лет. для покупателя это "как бы ничего не стоит" (но мы то понимаем, что все включено в цену продукта).
                                                                                        Например если я беру у hp сервер на процессоре X, а производитель процессора прекращает его выпуск через 3 года, то я могу быть уверен, что в течение 5 лет после окончания продаж этой модели сервера я могу заказать замену сгоревшему процессору у hp. Да, по "конским" ценам, но могу. При этом вообще говоря не важно, заключил я договор на послегарантийную поддержку или нет. Причем о дате, после которой заказ будет невозможен я узнаю за пять лет до ее наступления. И так по всему перечню комплектующих: память, диски, mainboard, контроллеры, батарейки, вплоть до направляющих. Теоретически можно даже собрать так полный сервер (вот только цена очень не понравится).


                                                                                        Так вот, даже с именитыми брендами 15 лет службы сервера — это утопия. Нет. конечно если по ринципу "пусть работает пока не сдохнет", то можно, но вот "планировать пользоваться данным девайсом 15 лет" все же несколько опрометчиво, я считаю.

                                                                                        • 0
                                                                                          По конским ценам Вы сможете и Интел запчасти купить. Да и EOL заранее объявляется. А много ли клиентов покупают детали на 5-ти летний сервер? процентов 80 берут б/у железку, остальные 20 процентов корпоративных пользователей или выводят из эксплуатации или отдают отделам разработок и программерам на растерзание. Просто трезво нужно смотреть на вещи. 5 лет-это оптимальный со всех сторон срок службы сервера. И с точки зрения производительности и с точки зрения энергоэффективности. Да и остаточный ресурс компонентов уже вызывает сомнения.
                                                                                          • 0

                                                                                            Так кто же будет с этим спорить? Ну уж точно не я! Это же ваш клиент собрался сервер 15 лет эксплуатировать, вот я и удивился...


                                                                                            p.s. Запчасти купить конечно можно, только вот это превращается в увлекательный квест с неожиданным финалом. А это скорее по части культмассовых работников, чем службы эксплуатации ;-)

                                                                                    • 0
                                                                                      Почему десяток? Выбранный процессор со частотой в 2.2 перекрывается по перфомансу далеко не топовыми процессорами (AMD Ryzen 7 1700 например). Да, процессора 2, а райзен поместится 1 на плате, поэтому надо 2 сервера, но далеко не 10.

                                                                                      планирую пользоваться данным девайсом 15 лет

                                                                                      это не выгодно. 15 летнее оборудование сейчас потребляет столько энергии и места в стойках, что дешевле его выкинуть, и на освободившиеся платежи взять виртуалку с бОльшей производительностью (если, конечно, сервер не стоит в самодельной серверной, охлаждаемой сплит системой, и оснащенной домашним интернетом)
                                                                                • 0
                                                                                  А при таких требованиях к SSD не рассматривали вариант хранить всё в оперативной памяти? А сливать данные на диск/SSD изредка для backup'а и при сигнале от UPS'ы?
                                                                                  • 0
                                                                                    Рассматривался и ещё запланирована работа по подобной оптимизации. Но всё-же было принято решение сделать ставку на возможность падения сервиса игры в любом месте без потери целостности данных и без потери данных пользователя. Поэтому получается, что каждое «активное» действие пользователя должно сбрасываться на диск со всеми причастными данными, в рамках одной транзакции.
                                                                                    • 0
                                                                                      Классический патерн использования очерей с персистенсом (к примеру, кафки). Насколько знаю, такие решения ни разу не требуют hi-end дисков (так, как делают линейную запись, которая под силу и очень слабым дискам). Могу предположить, что все таки random write частый идет, не нужный для данного паттерна.
                                                                                      • 0
                                                                                        У меня реализована самодельная ORM система, которая при задаче сброса на диск изменений куска игрового мира — формирует множество INSERT, UPDATE, DELETE и выполняет всё это в транзакции. Как это переделать в потоковую запись — весь во внимании.
                                                                                        • 0
                                                                                          Тут недавно на Хабре была статья про Tarantool: За счет чего Tarantool такой оптимальный — может какие иди возникнут.
                                                                                          • 0
                                                                                            Спасибо, бегло прочитал — суть понял, но переделывать наверное уже ничего не буду. Есть реализованный и проверенный механизм без багов, под него куплена специальная железка.
                                                                                  • 0
                                                                                    А ссыль на игру можно уже?)
                                                                                    • 0
                                                                                      Такой вопрос уже был. Как только игра будет доделана — обязательно опубликую ссылку.
                                                                                    • +2
                                                                                      Хоть меня никто и не просил, приложу пару ссылок из нашей внутренней вики, из раздела про выбор процессоров:
                                                                                      www.microway.com/knowledge-center-articles/detailed-specifications-of-the-intel-xeon-e5-2600v4-broadwell-ep-processors
                                                                                      www.pugetsystems.com/labs/hpc/Intel-Xeon-E5-v4-Broadwell-Buyers-Guide-Parallel-Performance-820
                                                                                      Ну и да, по базовой внутренней метрике (не учитывая всякие штуки типа вред от NUMA или минимальную требуемую ширину шины памяти), E5-2630v4 лучший по соотношению цены/производительности. На пятки по этому соотношению ему наступает E5-2680v4 (он существенно дороже но и существенно мощнее). Среди односокетных с полной шиной — оптимальный вариант E5-1650v4, с «обрезанной» — E3-1270v6.
                                                                                      • 0
                                                                                        Я вот тоже недавно прикупил сервер домой. Сейчас с удовольствием с ним копаюсь. В 2009-м он стоил как приличное авто (HP Proliant G5 на E5450, 16ГБ RAM), а сейчас — 90 дол. Докупил в него 16ГБ DDR2 за 20 дол. Получился вполне приличный комп. Как выяснилось, мой комп на базе i7-4790k всего лишь в 2.5 раза быстрее по CPU, а на интенсивном IO так вроде даже и не быстрее.
                                                                                        • 0

                                                                                          Спасибо, полезный материал, особенно краткая аналитика по железу, надо тонны материала проанализировать, чтобы понять что по чем и в чем различие. Плохо что нет каких-то единых маркетинговых стандартов

                                                                                          • 0

                                                                                            Стандарты есть, возможно не все на поверхности, но есть. Например, касательно SSD, есть общих три типа RI, MU, WI — рассчитанные на чтение, смешанные нагрузку или максимальную запись. Плюс важен параметр DWPD, и на сколько он рассчитан лет, в основном это 5 лет.

                                                                                            • 0
                                                                                              Согласен, что плохо, что нет стандартов ssd адекватных и безумно сложно разобраться. Но зато мы не переплачиваем за подгон чипов под стандарты, а платим за то, что реально есть. К сожалению всё не так просто как «RI, MU, WI + DWPD».
                                                                                              • +1

                                                                                                Это самое простое на что стоит обращать внимание при выборе SSD. Вы правы, что все сложно, для этого и существуют люди, которые постоянно учатся и получают подтверждение своих знаний и навыков, сдачей экзаменов и участием в реальных проектах и закрытием определённых кейсов…

                                                                                          • 0
                                                                                            Не боитесь в открытом виде публиковать ссылку на потенциально дырявый KVM?
                                                                                            • 0
                                                                                              Сразу после завершения использования IPKVM по моей отдельной просьбе был отключён. В логах linux увидел факт отключения. Вроде достаточно, чтобы не беспокоится по этому вопросу?
                                                                                            • 0

                                                                                              Так а что за игра то?

                                                                                              • 0
                                                                                                Такой вопрос уже был, дважды. Как только игра будет доделана — обязательно опубликую ссылку.
                                                                                              • 0

                                                                                                Забавно наблюдать сначала "отчёт о том как я вставлял память в материнку" а потом — муки "какую же память выбрать".
                                                                                                Так же странно видеть подряд утверждения "много занятых слотов — меньше скорость, поставлю ка лучше одну планку большого объёма" а потом "поставлю планки во все слоты поровну, так лучше". Дело даже не в том, что первое утверждение неверное (этого автор мог просто не знать), а в том, что первое и второе утверждения прямо друг другу противоречат и автора это кажется не смущает.

                                                                                                • 0
                                                                                                  Как писали, выше, мне кажется автор сделал рискованый и не совсем правильный выбор
                                                                                                  сейчас сервер 2xE5-2670 / 128GB / 8x4TB + 2x480GB SSD стоит 250$ в месяц или дешевле в нормальном ДЦ и нормальным каналом, причем все проблемы с дисками, ложатся на хостера

                                                                                                  я не понимаю в чем тут экономия…
                                                                                                  • +3
                                                                                                    Честно скажу. По прочтению статьи у меня от лица рука не отлипала.
                                                                                                    Во-первых мотивация. Я куплю сервер за 7800$, размещу его в ЦОД за 50$ (3000р примерно с учетом канала) в месяц для того, что бы «стартап не загнулся от отсутствия средств.»
                                                                                                    Сервер стоит ~436800 рублей. Экономия в месяц, по сравнению с тем же Selectel (прям такой конфигурации нет, но есть похожее PL11-SSD 2 × Intel Xeon Silver 4114 2.2 ГГц, 20 ядер 2 × 480 ГБ SSD + 2 × 4 ТБ SATA 96 ГБ DDR4 19000р в месяц) — 16000р в месяц или 192 тысячи в год. Если платить за год/два года там еще скидка.
                                                                                                    Причем такие мощности вот прям щас не нужны и в принципе не думаю, что большая проблема будет иметь что-то вроде 2 × Intel Xeon 5645 2.4 ГГц, 12 ядер 2 × 2ТБ SATA + 2 × 240 ГБ SSD 96 ГБ DDR3 за 7000 ₽!!! в месяц на старте. Денег за сервер хватит лет на 10?..
                                                                                                    Вторая проблема менее очевидная.
                                                                                                    Сервер обслуживаете вы. Сгорел SSD, а с деньгами проблемы? Это ваши проблемы. Да — первые 2 года есть гарантия, а дальше?
                                                                                                    В-третьих про программный и аппаратный рейд это прям с точностью до наоборот. Добавить диск в программный рейд — 1 команда. Удалить — 1 команда. Собрать массив из SSD — 1 команда. Без перезагрузки. Аппаратный рейд без батарейки по всем характеристикам = программный.
                                                                                                    В-четвертых. Железо быстро устаревает и дешевеет. Взять б/у сервер с аналогичными характеристиками + новые диски обойдется примерно в 2-3 раза дешевле.

                                                                                                    • 0
                                                                                                      Я в начале статьи чётко написал о причинах покупки, а не аренды. Удивительно, что так много комментариев от людей, которые не могут планировать чего-то дальше 2х лет.

                                                                                                      192 тысячи в год? Вы серьёзно считаете это лучшим выбором, что тот что сделал я?? То есть на одной чаше весов 3 года пользования раза в 2 слабее сервером, а на другой чаше весов 15 лет (включая стоимость места в стойке) пользования сервером в 2 раза сильнее.

                                                                                                      А ещё у меня есть опыт поднятия стартапа: хостинг за 5$ потом 20$, потом 100$ потом 600$. Внезапно переезды между серверами — это время, много времени. Вместо того, чтобы сделать очередную полезную фичу — время тратится на переезд. И аренда дорогая выедает часть дохода от проекта. Вы уж извините, но не всем удаётся заработать миллионы, даже 1000$ доход в месяц — это тоже результат. В данном проекте хостинг-аренда легко достигнет 1000-3000$, хорошо ещё если проект будет окупать такой хостинг. А если нет? Я не готов столько платить из личных денег. Вытереть из своей истории эту попытку поднять стартап? Я ж чётко написал — у меня есть такой опыт и это нанесло чудовищный урон моему благосостоянию вцелом, речь идёт о упущенном размере зарплаты, как специалиста — речь идёт примерно о 20000$-30000$, потому что я не мог предъявить выполненный проект в прошлом — у работодателей по факту есть непонимание: «как это, сайт с миллионной аудиторией закрылся?». И они правы в своём непонимании. Извините сразу эти суммы в статье не написал, думал «чудовищная сумма» будет достаточно.

                                                                                                      Решение принимается с учётом всех факторов, а не с учётом одной грани. Неужели это не очевидно!?
                                                                                                      • +1
                                                                                                        Я в начале статьи чётко написал о причинах покупки, а не аренды. Удивительно, что так много комментариев от людей, которые не могут планировать чего-то дальше 2х лет.

                                                                                                        Я могу планировать дальше 2х лет, но это точно не покупка сервера.
                                                                                                        192 тысячи в год? Вы серьёзно считаете это лучшим выбором, что тот что сделал я?? То есть на одной чаше весов 3 года пользования раза в 2 слабее сервером, а на другой чаше весов 15 лет (включая стоимость места в стойке) пользования сервером в 2 раза сильнее.

                                                                                                        Эмм. Я специально брал вариант максимально похожий на ваш. Слабость там в виде 96GB памяти вместо 128 и 4Тб дисках вместо 6Тб?
                                                                                                        За 18000 там был сервер с 128Гб памяти, но не было дисков для бекапа.
                                                                                                        Вы очень странно считаете.
                                                                                                        Если оплатить сервер на 2 года экономия будет 30%, так что грубо 3 за два.
                                                                                                        % с 500 тысяч за 3 года считать будем?
                                                                                                        Итого на одной чаше весов лет 4,5-5 минимум пользования сервером БЕЗ дополнительных затрат с возможностью как даунгрейда так и апгрейда сервера в ЛЮБОЙ момент времени против 2х лет гарантии и дальше как повезет с очень дорогим апгрейдом и без возможности даунгрейда и высвобождения средств.
                                                                                                        Опять же — я просто оставлю тут:
                                                                                                        Причем такие мощности вот прям щас не нужны и в принципе не думаю, что большая проблема будет иметь что-то вроде 2 × Intel Xeon 5645 2.4 ГГц, 12 ядер 2 × 2ТБ SATA + 2 × 240 ГБ SSD 96 ГБ DDR3 за 7000 ₽!!! в месяц на старте. Денег за сервер хватит лет на 10?..

                                                                                                        Такой вариант с переплатой 4000р в месяц не рассматривается? А с учетом процентов по вкладу на 5000р — вообще без переплат.

                                                                                                        А ещё у меня есть опыт поднятия стартапа: хостинг за 5$ потом 20$, потом 100$ потом 600$. Внезапно переезды между серверами — это время, много времени. Вместо того, чтобы сделать очередную полезную фичу — время тратится на переезд.

                                                                                                        Я слабо представляю что там за много времени. Переезжал своим маленьким проектом в 5 виртуалок + пара тестовых. БОльшую часть времени заняла синхронизация массива. Пару дней по 1-2 часа вечером и все переехало.

                                                                                                        И аренда дорогая выедает часть дохода от проекта. Вы уж извините, но не всем удаётся заработать миллионы, даже 1000$ доход в месяц — это тоже результат.
                                                                                                        В данном проекте хостинг-аренда легко достигнет 1000-3000$, хорошо ещё если проект будет окупать такой хостинг. А если нет?

                                                                                                        Хмм. Я слабо представляю сколько вы будете иметь пользователей для кластера за 3000$ в месяц, но подозреваю, что у вас большие проблемы с монетизацией если вам не хватает доходов оплатить хостинг проекта. Свою зарплату тогда из чего платить будете?

                                                                                                        Я не готов столько платить из личных денег.

                                                                                                        Уже заплатили.

                                                                                                        Вытереть из своей истории эту попытку поднять стартап? Я ж чётко написал — у меня есть такой опыт и это нанесло чудовищный урон моему благосостоянию вцелом, речь идёт о упущенном размере зарплаты, как специалиста — речь идёт примерно о 20000$-30000$, потому что я не мог предъявить выполненный проект в прошлом — у работодателей по факту есть непонимание: «как это, сайт с миллионной аудиторией закрылся?». И они правы в своём непонимании. Извините сразу эти суммы в статье не написал, думал «чудовищная сумма» будет достаточно.

                                                                                                        Решение принимается с учётом всех факторов, а не с учётом одной грани. Неужели это не очевидно!?

                                                                                                        Ну есть резонный вопрос. Как сайт с миллионной аудиторией закрылся не окупая даже хостинга. Я почитал ваши комментарии. Не проще было взять в аренду несколько серверов в разных локациях (минимальный пинг) и спокойно масштабировать? Ваш сервер сейчас — единая точка отказа.