Бюджетный «датацентр» на Nutanix CE



    Читающие наш блог не первый месяц знают, что год назад мы выпустили специальную версию ПО Nutanix, Nutanix Community Edition, который, в отличие от наших «взрослых» систем, продающихся вместе с аппаратной платформой, и стоящих довольно увесистых денег, можно скачать бесплатно, установить на свое железо подходящей конфигурации, и пользоваться. Да, на получившееся нет нашей классной (и даже русскоязычной!) поддержки (только наш англоязычный community-форум, впрочем, довольно активный и помогабельный), зато бесплатно, Карл! И хотя изначально мы планировали, что CE будет применяться в качестве учебной лабы, для экспериментов, знакомства с продуктом, и тому подобного, не секрет, что есть немало пользователей, которые решили взять CE и применить его в продакшне. Что-ж, это возможно, мы понимаем, времена для IT бюджетов в стране тяжелые, глупо было бы отказываться от такой возможности.
    Но остается вопрос: как и из чего построить «идеальную платформу» под Nutanix CE, да так, чтобы и денег зря не потратить, и получить на выходе то, на что будет не страшно поставить продакшновые задачи. Поэтому в этой статье я попробую спроектировать такую dream-платформу под Nutanix CE с прикидкой на использование ее не в домашней лабе (о таком варианте я уже недавно писал в своем блоге), а для более или менее «боевых» задач.

    Что-ж, начнем. Строить нашу «боевую» платформу под Nutanix CE мы будем вокруг материнской платы хорошо известной «в узких кругах» серверных сборщиков компании SuperMicro, наверное, самого именитого и популярного из вендоров Tier-2 разработчика серверных платформ.

    Мы, в Nutanix, сами выбрали SuperMicro в качестве поставщика платформ (не секрет, что готовые бандлы Nutanix NX это платформы Supermicro определенной нами конфигурации, с нашим софтом на них), и опыт работы с SM у нас вполне положительный. Итак, берем Supermicro, тем более, что в огромном арсенале производимого SuperMicro серверного хабара нашлась идеально подходящая для Nutanix CE система, вот она:
    Supermicro Mini-ITX 2133/1866/1600MHz ECC DDR4 Single socket FCBGA 1667 Motherboard (X10SDV-TLN4F-O)



    Это материнская плата формата Mini-ITX (что уже необычно для серверного решения), на базе интересного CPU, выпущенного Intel в прошлом году: Intel Xeon D-1541.

    Это низкопотребляющий (всего 45W) серверный процессор семейства Xeon, нацеленный на SoC (System-on-Chip) платформы. По производительности он примерно соответствует, например, E5-2620v4, то есть вполне ничего себе серверный Xeon начального уровня для однопроцессорных систем.

    Он также включает в себя два интерфейса 10G, которые есть и на нашей материнке. Процессор имеет 8 физических ядер (16 c HT), 2,1GHz частоты, 12MB кэша и поддерживает до 128GB ECC RAM.

    Из стоимости материнки, примерно 600$ (581$ recommended price Intel), в результате, составляет как раз он.

    Также под эту mini-ITX материнку SuperMicro выпускает симпатичный корпус, напоминающий форматом хорошо и справедливо любимый многими HP MicroServer, называется он: Supermicro Superchassis CSE-721TQ-250B Mini-Tower with 250W Power Supply.



    Давайте рассчитаем, во что обойдется нам платформа для Nutanix CE, если мы решили на базе этого бесплатного решения построить платформу для серьезных «боевых» сервисов в компанию.
    Я буду брать цены Amazon.com, валидные на момент написания текста. Хитрые технологии продвижения товара на Amazon используют тот факт, что товар поднимается в выдаче после того, как цена на него понижается продавцом, что провоцирует «оптимизаторов» на постоянные «качели» с понижением (и повышением позиции в выдаче), потом возвратом в прежней цене повыше, и снова «скидкой», с попаданием в список «лучший выбор». Так что если вы не увидите по моей ссылке приведенной цены, то, скорее всего, это оно. Подождите несколько часов, или поищите по названию товара другое размещение (часто от того же продавца, под чуть отличающимся именем).

    Итак, начнем. Берем в корзину материнскую плату X10SDV-TLN4F-O
    Это дает нам материнскую плату с процессором (он распаян на материнке, так как это SoC), кулером, сетевыми портами, но без памяти и дисков.

    Supermicro Mini-ITX 2133/1866/1600MHz ECC DDR4 Single socket FCBGA 1667 Motherboard (X10SDV-TLN4F-O)
    $899

    Источник: www.amazon.com/Supermicro-Mini-ITX-1600MHz-Motherboard-X10SDV-TLN4F-O/dp/B010W32T62

    Добавляем к ней корпус CSE-721TQ-250B



    Supermicro Superchassis CSE-721TQ-250B Mini-Tower with 250W Power Supply
    $185.99

    Источник: www.amazon.com/Supermicro-Superchassis-CSE-721TQ-250B-Mini-Tower-Supply/dp/B00REWHHNU

    Добавим память. Эта материнка поддерживает до 128GB DRAM DDR4 планками вида ECC RDIMM (регистровой) и 64GB ECC UDIMM (нерегистровой). Вполне солидная емкость для Mini-ITX сервера. Помню, что в Microserver даже с бубном больше 32GB не лезло.
    Поставим 64GB двумя планками по 32GB, с запасом на расширение в будущем. Вот такая память нам точно подойдет (Amazon ее даже часто предлагает бандлом с нашей материнкой):



    Samsung DDR4-2133 32GB/4Gx72 ECC/REG CL15 Server Memory M393A4K40BB0-CPB
    $156.98 x2

    Источник: www.amazon.com/Samsung-DDR4-2133-Server-Memory-M393A4K40BB0-CPB/dp/B00X04FO9K

    Теперь надо определиться с SSD и HDD.

    Наша материнка имеет один слот становящегося все более популярным формата M.2, не буду останавливаться на том, почему это хороший выбор, вкратце — это, фактически, PCIe, поддерживающий NVMe. Сейчас Nutanix не поддерживает NVMe как таковой, только SSD, но мы работаем в этом направлении, следите за новостями.
    Раз уж у нас есть этот интерфейс, давайте не будем жмотиться и поставим SSD именно в него.
    SSD этого формата существенно дороже привычным всем SSD на интерфейсе SATA, но не просто так. Поэтому, раз уж мы собираем dream car, берем M.2 SSD, например, такой:



    Samsung 950 PRO Series — 512GB PCIe NVMe — M.2 Internal SSD (MZ-V5P512BW)
    $317.99

    Источник: www.amazon.com/Samsung-950-PRO-Internal-MZ-V5P512BW/dp/B01639694M

    Впрочем, если хочется вариант побюджетнее, то возможен и он, например, с таким SATA SSD:



    SanDisk X400 SSD SATA 2.5" 7mm 512G SD8SB8U-512G-1122
    $135.29

    Источник: www.amazon.com/SanDisk-X400-SATA-512G-SD8SB8U-512G-1122/dp/B0196FPT1Y

    UPD: Обсуждение статьи в нашей публичной группе в Telegram дало еще один вариант: SATA SSD Intel S3610 на 480GB, за практически те же деньги, что Samsung, но с, ориентировочно, более высокой устойчивостью к записям (мы его, кстати, используем в «больших» Nutanix NX)

    Intel SSDSC2BX480G401 DC S3610 Series 480GB 2.5inch SATA 6Gb/s 7mm MLC SSD Bulk OEM
    $337.75

    Если вы ожидаете очень высокую интенсивность нагрузок на запись, то берите его.

    Источник: https://www.amazon.com/Intel-External-Solid-State-SSDSC2BX480G401/dp/B00Q86RDNM

    Выбор SATA SSD сейчас достаточно широк, выбирайте на свой вкус, Nutanix тут не диктует выбор модели, разве что не забывайте, что «много емкости SSD не бывает», и я рекомендую вам рассматривать емкость SSD для Nutanix по меньшей мере от 480GB (несмотря на то, что в минимальных требованиях указано 200GB, часть SSD также занимают данные самой системы Nutanix, и вашим данным останется на 200GB совсем немного).

    Одного SSD, особенно такого быстрого, нам пока достаточно. Добавим к нашему серверу еще пару HDD, например, хорошо себя зарекомендовавших WD Red 2TB:



    WD Red 2TB NAS Hard Disk Drive — 5400 RPM Class SATA 6 Gb/s 64MB Cache 3.5 Inch — WD20EFRX
    $89.99 x2

    Источник: www.amazon.com/Red-4TB-Hard-Disk-Drive/dp/B00EHBERSE

    Обратите внимание, мы не берем WD Black и RE, просто потому, что от скорости HDD в нашем случае ничего не зависит. Они хранят холодные блоки, поэтому высокая производительность именно SATA HDD нам не нужна, производительность будет обеспечиваться hot tier-ом SSD, так что вваливать денег в дорогие HDD мы не будем, выигрыша вы от этого особо не получите. В остальном же выбирайте тот HDD, который вам кажется более правильным и надежным, специальных требований со стороны Nutanix тут также нет.



    Почти готово. Просуммируем все, чтобы получить итоговую цену:

    899 + 186 + 157*2 + 318 + 90*2 = 1897 USD

    Можно сюда добавить долларов 70 на доставку каким-нибудь майлфорвардером (я пользуюсь для себя Бандеролькой, подсев на их мармеладки;D, да и их пункт выдачи у меня рядом, но выбор на рынке есть, смотрите сами что вам по душе).

    Итого, за ~1900 USD (то есть, фактически, дешевле, например, 15" MacBook Pro!), вы получаете современный, качественный, компактный, с малым энергопотреблением сервер (8 физических ядер, 64GB RAM, 2x10G, SSD), на который вы можете поставить наш Nutanix CE, и развернуть в нем виртуальные машины вашей компании.
    По сути мы сейчас собрали примерный эквивалент самой младшей модельки Nutanix, что-то типа NX-1065S, односокетного сервера с одним SSD и 64GB RAM на CPU типа E5-2620v4. CE будет помедленнее на дисковых операциях, это связано с тем, что мы несколько по-другому, чем в «большом Nutanix» работаем с дисковыми устройствами (это было сделано для того, чтобы увеличить число поддерживаемых CE платформ), что приводит на той же платформе к ухудшению дисковой производительности процентов на 30, наверное. Но и это очень неплохо.

    Какие у нас есть дальше варианты?
    Во-первых, на одном сервере у вас не будет отказоустойчивости. Для серьезной системы это неприемлемо, поэтому сразу забиваемся на кластер. Nutanix CE поддерживает варианты из одного, трех, и четырех серверов в кластере. Обратите внимание, варианта с двумя серверами нет, как нет варианта и с большим числом, чем четыре. Два не позволяет обеспечить нужную отказоустойчивость и логику работы кластера, а если вам нужно больше четырех серверов в кластере — добро пожаловать в мир «больших ребят» :), вы переросли CE.
    Сервера в кластер соединяются с помощью сетевых ethernet-интерфейсов. У нас их, напомню, на нашей материнке с избытком. Пара 10G Base-T и пара гигабитных. Будем использовать 10G раз уж он у нас есть. Но куда их будем подключать?

    Вот уже пару лет как на рынке присутствует интересный продукт, который развеивает миф о том, что 10G — это супер-супердорого, и вообще это для гигантских энтерпрайзов, типа Газпрома, а мы не газпром, поэтому будем колхозить LACP на гигабитках Реалтек. Долой вот это вот все! :)
    Докидываем в корзину вот это:



    NETGEAR ProSAFE 8-Port 10-Gigabit Ethernet Web Managed Switch (XS708E-200NES)
    $749.99

    Источник: www.amazon.com/NETGEAR-ProSAFE-10-Gigabit-Ethernet-XS708E-200NES/dp/B01GTWPTJY

    Да, это оно, 8-портовый (а есть варианты и на больше портов: 12, 16 и более) управляемый 10G свитч.
    Я не стану говорить, что это убийца Нексусов, Арист, и что это лучший в мире свитч. Нет конечно. Но он есть, он 10G, у него достаточно паспортного bandwith на свитчинге для работы портов без oversubscribing-а, и он работает. Если у вас есть деньги на что получше — берите это получше. Но на сегодня эти нетгиры — лидеры в Price/Performance. Поискав по базару можно найти и варианты немного дороже (и немного интереснее), от того же Netgear, от Dell Networks, Mellanox. Но раз уж мы мастерим «бюджетно-бюджетно», возьмем этот Netgear.
    Для отказоустойчивой свитч-фабрики берем их два, в каждый из них пойдет один кабель из пары портов 10GBase-T нашего сервера, и у нас еще останутся по 4 порта на свитче для каких-то внешних серверов, например, чтобы включить кластер во внешнюю сеть компании.

    Далее, мы можем добавить памяти (не забывайте, что сам Nutanix CE примерно 12GB возьмет с хоста себе под свои нужды), у нас на это остались два слота в каждом сервере, мы можем поставить еще два HDD для хранения холодных данных, либо добавить SSD, либо сделать AllFlash (обратите внимание, что AllFlash хост нельзя смешивать в одном кластере с хостами с HDD, но можно смешивать в кластере разные хосты гибридной конфигурации, например с разным числом и объемом дисков).

    В итоге, за сумму менее 10K USD мы получили высокодоступный гиперконвергентный виртуальный датацентр из четырех серверных хостов виртуализации совсем неслабой конфигурации, 10G сетевым бэкбоном, с прекрасными перспективами расширения (если возникнет такая необходимость), и полностью бесплатной софтверной гипервизорной частью. И все это в объеме 19" стойки всего около 8U.

    По-моему, очень впечатляющий результат.

    UPD: В Nutanix CE версии 2016.06.30 теперь включены Acropolis Block Service и Docker Support, о которых мы писали в посте про версию 4.7.
    Nutanix 34,19
    Компания
    Поделиться публикацией
    Комментарии 146
    • 0
      Впечатляет, жаль мне такое ни к чему, так бы попробовал.
      • +1
        Да уж, круто, 10 килобаксов на пробу, мне бы их хотя бы на посмотреть...:-))
        • 0
          Ну, не у всех так плохо живется, что 10К ужос-ужос, не надо нагнетать. 10К на датацентр на 4 сервера и несколько активных десятков виртуалок это подъемно даже для малого бизнеса. Конечно такого, который может это загрузить задачами. А который не может загрузить, ему, конечно, и не нужно.
          • 0
            кому на пробу — можно менее чем в 1000$k уложиться, роман статью делал у себя в блоге.

            http://blog.in-a-nutshell.ru/diy-lab-for-nutanix-ce-intel-nuc/
            • 0
              уложиться менее чем в лям баксов?? ;-)
              • 0
                Рука соскользнула )
                • 0
                  Да, привыкли что-то к большим проектам ;)))
              • +4
                мне бы их хотя бы на посмотреть


                Да без проблем. Энджой!)))

                10K
            • –1
              Довольно таки интересное решение. Осталось только бюджетно выбить скорость в 10ГБ/с у провайдера.
              • +1
                Совсем необязательно. 10G нужно внутри кластера, для работы механизма кластерной записи на дисках Nutanix, ну и для связи VM между собой. Снаружи часто вполне достаточно куда меньшего трафика. Много дисковых операций происходят внутри инфраструктуры датацентра, не выходя наружу.
              • 0
                Так без 10-ки будет работать или нет? Допустим что есть обычный свитч с гигабитными интерфейсами и по 2 апплинка на узел.
                • 0
                  Будет и по гигабиту работать, но так как технология записи в кластерную файловую систему такова, что записываемый блок синхронно, для хранения избыточной копии данных, реплицируется на другие ноды кластера (если их больше одной, для одной это неприменимо, там нет ни отказоустойчивости ни репликации), то использование гигабита в качестве кластерного интерконнекта сильно снизит производительность кластера на запись и увеличит задержки (latency). На чтение это (почти) не влияет, только на записи.

                  Теоретически на гигабите это даже работает, у нас когда-то даже были модели NX-1020 с гигабитом (только). Но вы потеряете много потенциальной производительности дисков на этом (система сможет больше, чем вы на гигабите из нее извлечете). Так что на практике, если есть возможность использовать 10G, используйте его, не пожалеете.
                  • 0
                    Во сколько раз? Не кривите душой.
                    Допустим есть не 2, а 4 апплинка. В lacp это будет 4gbs на узел, вместо требуемой 20-ки.
                    Требование 10 gb хоронит тему с «лабой».
                    С esxi и vsan я не вижу таких проблем )) (на 4 узла max)
                    Для SBS maybe )
                    • –1
                      Зависит от объемов и характера операций записи, сложно сказать точную цифру.

                      > Требование 10 gb хоронит тему с «лабой».

                      Для лабы можно взять однонодовую конфигурацию, и обойтись без сети вообще. Для продакшна, как мне кажется, один или два свитча стоимостью менее 800$ вообще не проблема.
                      На дворе второе десятилетие XXI века! 10G появились уже у бытового нетгира! Сколько можно мучать лошадку гигабита? ;)

                      > С esxi и vsan я не вижу таких проблем

                      Наоборот, у VSAN это ГОРАЗДО БОЛЬШИЕ проблемы, потому что там данные не локальны и гоняются по сети как на чтение, так и на запись (у Nutanix — только запись). У VSAN гораздо выше загрузка сетевого бэкбона. Так что если на ваших задачах вы не видите проблем с производительностью на гигабите на VSAN, вы тем более не увидите их и на Nutanix.
                      • 0
                        У большинства ENT заказчиков в России до сих пор лом серверов подключенных через гигагибитные апплинки. Про чей двор вы говорите ) Про SMB тем более можно промолчать.
                        • –1
                          Ну так сами себе злобные буратины :)
                          Впрочем, может они даже гигабит не загружают, так тоже бывает. Видел крупный онлайн-ритейл, у которых максимальная загрузка дисков серверов была в районе 6000 IOPS. Для Nutanix это, к слову, «семечки».
                          • –1
                            Тут 10gb исключительно как замена СХД. Вы посмотрите сколько стоит полно HP P2000 в самом минимальном варианте :)
                            А там еще надо FC контроллер, модули итд.
                            Я уже давно начал проктиковать замену таких полок, чем то другим.
                          • 0
                            10GBASE-T не так часто встречается, и Netgear редкий представитель этого семейства.
                            • 0
                              Не часто, но есть, и сейчас 10GBase-T самый недорогой вариант войти в «мир 10G», все же SFP+ это дорого, и даже twinax-кабеля — тоже (прежде всего на стороне портов свитча). А на метр, от сервера до свитча — да и пусть будет по витухе.
                              • 0
                                Мы в свое время расчитывали на оборудование Cisco, но ничего годного так и не нашлось. Есть определенные сомнения в надежности этих Netgear. Для Cisco сейчас появились бюджетные SFP-10G-SR-S (ниже нуля градусов не работают), но цена все равно «не очень».
                                • 0
                                  Ну так опять «за рыбу — деньги». Есть сомнения — не берите, у тех кто взял — работает. Если у вас есть что взять лучше и хватает на это денег — берите это то, что лучше. Nutanix не диктует каких-то требований к коммутатору (кроме того, что чем он быстрее и ниже задержки — тем лучше)
                                  • 0
                                    Из неплохих и недорогих (относительно) — Mellanox SX1012 коммутаторы (которые «половинка юнита»), но конечно далеко от цены netgear ;)
                                    • 0
                                      Nexus 3524X самый дешевый среди взрослых вендоров.
                                      • 0
                                        Взрослость вендоров существует обычно только в воображении пользователя.
                                        D-Link куда «взрослее» той же Arista, но это не делает его продукцию лучше.

                                        Короче, делая эту бесконечную пикировку обозримой: Вы можете составить ваш проект, лучше чем это отстой и плохие советы, который написан выше? Список оборудования с подтвержденными ценами. Приведите его, обсудим предметно. Пока видно только пустомольство. «Ах то плохо, ах процессор не люб! Да я бы, если бы захотел, в пять раз дешевле и в сто раз лучше бы составил!»

                                        Пока я вижу только пустословие с вашей стороны, ни единого конкретного предложения с официальной ценой.
                                        • 0
                                          Нет, Mellanox стоит примерно так-же или дешевле (особенно при пересчете на 1 порт), при том что там 12x 40G порта которые «расшиваются» на 48 портов.

                                          Мелланокс на один порт получается в полтора раза дешевле Nexus.

                                          Вот первые попавшиеся (я точно брал мелланоксы дешевле 5$k)

                                          http://www.newegg.com/Product/Product.aspx?Item=N82E16833736041

                                          http://www.newegg.com/Product/Product.aspx?Item=N82E16833423083&cm_re=3524X-_-33-423-083-_-Product
                                        • 0
                                          Dell, Huawei?
                                        • 0
                                          Под Twinax есть Dell Networking X4012 за 80 тыр, а в Base-T стрёмно вкладываться — можно влететь на замену адаптеров в серверах после покупки нормальных коммутаторов.
                                          • +1
                                            Два-три года назад я построил 10g ethernet SAN сеть на двух Dell Networking 8132F (ранее Dell PowerConnect 8132F) — 24 порта 10GbE SFP+ на каждом, плюс дырка под модуль расширения (2x40G или 4x10g — если понадобится рост).
                                            Все линки в пределах двух стоек — медные twinax-кабеля.
                                            На тот момент это были самые дешевые 10g свитчи более-менее приличного уровня (2 питания, поддержка mlag и т.п.), если не изменяет память по 5000 баксов за штуку.
                                            • 0
                                              Ну, за «два-три года» в этой области поменялось довольно много, прежде всего в ценах.
                                        • 0
                                          Dell N4032, N4064
                                      • 0
                                        «Требование 10 gb хоронит тему с «лабой».»

                                        зачем кривить душой? 10G коммутатор на ебеях всяких нынче предельно дешев.
                                        • 0
                                          Ты сам видел, что пока пролетал только 1 БУ коммутатор за вменяемые деньги )) Я не знаю, как там у олигархов ))
                                        • 0
                                          LACP даст выигрышь, по клиентам. У клиента так и булет 1 Gb.
                                          Это примерно будет как 120 на диск (считай как скорость PCI) для одного клиента.
                                          10gb тут решает как не крути.

                                          Я лично вполне могу загрузить по iscsi windows на машину и вполне комфортна с ней работать.
                                          По Netgear, нареканий нет вообще. Я ими уже пользуюсь лет 6, L3/L2 все отлично, работает и есть не просит.

                                          Да я тут в другой теме прикидывал аналог X10SDV-TLN4F-O, дешевле не получается :)
                                          Правда если мы строим кластер СХД на CEPH, можно не брать как я I7, а поставить i3, хватит за глаза.
                                          • 0
                                            Вы немного преувеличиваете возможности LACP. Нельзя просто так взять, загнать 4 порта и получить по 4Gbit/s в обе стороны, для этого столько звезд на небе должно сойтись.
                                            • 0
                                              Абсолютно верное замечание, но есть нюансы (с).

                                              Nutanix — многопоточная архитектура, даже iSCSI мы превратили в многопоточный (у нас отдельный iSCSI поток на каждый виртуальный диск для нашего гипервизора)

                                              Так что в общем-то от LACP некий (достаточно существенный) толк будет.
                                            • 0
                                              Кирилл, для лабы есть совершенно до фига самых простых 10G коммутаторов с малым количеством портов.
                                              1 Gb я пробовал на VSAN, спасибо, больше не надо сказок.
                                            • 0
                                              Кстати. С lacp то вы дружите? Можно ли агрегировать, к примеру, 8 апплинков?
                                              Все-таки очень смущает ваша фраза «Теоретически на гигабите это даже работает». Не вижу уверенности.
                                              • +1
                                                Да без проблем, но зачем? 10G решает.
                                                • 0
                                                  Коллега из VMware, ну мы же уже обсуждали :)

                                                  Если VSAN на 1G будет просто мертвый наглухо при любых более-менее серьезных нагрузках, то Нутаникс вполне себе работает за счет локализации ввода-вывода. Например Nutanix SX младшие модели официально идут с 1G интерфейсами.

                                                  Вопрос про LACP — да, официально поддерживается и есть инструкции как включать. Само собой, никаких «enterprise plus» редакций как у VMware в данном случае не требуется.
                                                  • 0
                                                    Коллега из Nutanix ) Я примеряюсь для своей лабы ) Аргументы твоего коллеги, что зачем мне 3 узла и что 10 гб стоит копейки мне не очень нравятся ))
                                                    • 0
                                                      Все будет работать на 1G, значительно лучше чем VSAN.

                                                      «зуб даю» :)
                                                    • 0
                                                      Лабу можно и на гигабите сделать, конечно. Но потенциал системы это не раскроет, я собственно про что речь веду. На 10 вы выжмите все (почти все), на гигабите — за счет бОльших задержек на вводе-выводе всей скорости вы не получите, только и всего.
                                                      Но работать будет и так и так.
                                                      • 0
                                                        Дорого для лабы — это факт.
                                                        • 0
                                                          Сетап для лабы — вот: http://blog.in-a-nutshell.ru/diy-lab-for-nutanix-ce-intel-nuc/

                                                          Ну и, конечно, никто не запрещает «колхоз». Цель поста была все же в другом.
                                                          • 0
                                                            Вы тут немного путаете, мне кажется.
                                                            ENT подобные вещи брать не будет.
                                                            Для SMB — как вариант.
                                                            Для лабы — слишком дорого.
                                                            Лабу в один узел не предлагать. Мне кажется не стоит того, чтобы «посмотреть интерфейс», как вы выражаетесь.

                                                            Я у себя в лабе сейчас могу поднимать любые продукты своей компании в полном объеме и тестировать все фитчи.

                                                            При этом, я понимаю, что я не могу сейчас поднять Nutanix CE, т.к. потеряю все текущие «бенифиты», которые уже есть. 3-ть ресурсов — это уже плохо. Ну и в конце-концов по дискам не пролезаю, хотя сейчас таких проблем нет.
                                                            • 0
                                                              Вот именно что «кажется», и выводы совершенно некорректные.

                                                              У нас на такой конфигурации очень много «клиентов» по миру — собственно на форуме народ делится наиболее ходовыми конфигурациями.

                                                              Например для test & dev конторы ставят. Много кто дома собирает (благо для инженера в США / EU вполне подьемные деньги). SMB. И тд.

                                                              http://next.nutanix.com/t5/Discussion-Forum/bd-p/Discussion

                                                              Ну а сочувствовать работнику VMware по поводу того что ему не хочется сносить ESXi… А мы-то тут причем?
                                                              • 0
                                                                В моем случа лаба обошлась в минимум в 2 раза дешевле.
                                                                А то что в Штатах/Европе и у нас, ты сам знаешь )

                                                                Если рассматривать test/dev и SBM то скорее всего никто не будет покупать это у нас (без документов для бухгалтерии, гарантии и т.д.). Да для себя можно купить. Контора такие риски не возьмет. С Амазона никто не потащит для компании. И доставка всего этого не будет стоить 30$. И вы видели цены тут в магазинах и на амазоне на одни и те же позиции?
                                                                Реалии немного другие.

                                                                Т.е. если собирать это в Штатах, то да — все похоже на правду. Там и ЗП другие у инженеров и с Амазоном дружат и т.д.
                                                                • 0
                                                                  Никогда не говори «никогда» (с) :)

                                                                  Вот тут выше человек просит посмотреть как выглядит 10K $ ;)
                                                                  Ситуации бывают разные. Мы, как сотрудники Nutanix, конечно же не одобряем такие сетапы, и официальная позиция компании — нет денег — иди ищи. :) Но как жители России мы понимаем, что ситуации бывают разные. Сегодня ты — IT-стартап из трех сотрудников, а завтра миллионнодолларовый бизнес. У нас тут иная ситуация чем в Америке. Надо подходить гибче.
                                                                  Вот как образец такого подхода — статья. Мы не пропагандируем самосбор как основу для IT-инфраструктуры. Но если уж пришлось таким заниматься, то лучше, чтобы это была достаточно мощная и надежная платформа.
                                            • 0
                                              Все вот никак не найду Nutanix CE End User License Agreement, не поможете?
                                              • 0
                                                При инсталляции (или просто загрузке с образа) выдается.
                                                • 0
                                                  Это мне известно, не затруднит ли кого-то привести его текст без необходимости загрузки инсталлятора?
                                              • 0
                                                И еще вопрос по поводу общего оверхеда по памяти.
                                                Сколько памяти сожрет Nutanix CE? В минимальных требованиях написано 16GB. Сколько останется мне?
                                                • 0
                                                  Можно дать меньше в CE, по умолчанию, если я правильно помню — 12GB. Эта величина меняется в зависимости от того, используете ли вы «тяжелые» фичи, типа дедупликации и онлайн-компрессии, которые потребляют много памяти при работе. Так что это настраиваемо.
                                                  Но для таких дохлых процессоров, скорее всего, вы не упретесь здесь в производительность движка дедупликации, например, гораздо раньше вы упретесь в возможность самого процессора. Это все важно скорее для топовых систем, с 2xE5-2680v4, например.

                                                  Так что 64GB минус 12GB для VM самого Nutanix, остальное — ваше, для ваших VM.
                                                  • 0
                                                    Спасибо!
                                                    • 0
                                                      Очевидно еще минус 12GB в резерв на каждом сервере, необходимых для запуска виртуальных машин при выходе из строя одного сервера? То есть 36 в сухом остатке.
                                                      • 0
                                                        Э-э! Нет. На каждом хосте работает VM Nutanix. Она фиксированного размера. По умлчанию в CE это 12. То есть при 64 это 12 (доступного — 52GB) и при 128 это 12 (доступного 116). Это значение при работе не меняется. То есть при 128GB на хосте VM-ам всегда доступно 112 GB RAM, на каждом хосте.
                                                        • 0
                                                          Я вот такие расчеты произвел. Исходя из публикации, в хосте 64Gb. Из них Nutanix возьмет максимум 16. Осталось 48.
                                                          Предположим, что хост упал. Надо 48 раскидать на три оставшихся узла. То есть на каждый перенести по 16Gb RAM.
                                                          Значит на каждом узле примерно этот объем надо предварительно зарезервировать. Ошибаюсь?
                                                          • 0
                                                            Да, примерно так.

                                                            У нас предусмотрены различные режимы резервации — можно целиком хост (как spare), или только память (best effort).

                                                            Это все автоматически работает.

                                                            Можно так-же выставить приоритеты HA для VM, так-же как для части вообще отключить HA (если они второстепенные)
                                                    • 0
                                                      Это, кстати, на узел?
                                                      У меня в узлах по 32GB и это MAX.
                                                      VCSA жрет 8-ку. ESXi (сами) всего по 1 GB.
                                                      Тут я 1/3 лабы просто «теряю» при таком раскладе… :\
                                                      • 0
                                                        Это зависит от того, как вы настроите емкость. VM Nutanix это просто VM с Linux и сервисами в нем. Цель отдавания такого объема в Nutanix VM — не ограничивать дисковый ввод-вывод. Не исключено, что на гигабите и с дохлыми CPU можно дать меньше (оно больше не прожует). Но зачем? Память нынче дешевая.
                                                        • 0
                                                          Ну вот не надо опять про треть лабы и прочее ;)

                                                          Как мы уже выясняли в обсуждениях раньше, для работы VSAN требуется на самом деле куда больше ресурсов (и процессорных и RAM) чем Нутаниксу. Просто у нас сразу выделены ресурсы, а ESXi начинает их мощно кушать «внезапно».

                                                          • 0
                                                            Максим, я разбираю, конкретно, свой случай ) Не надо путать теплое и мягкое. Я то уже точно понимаю, что у меня сейчас есть и что и как жрет )))
                                                            • 0
                                                              Кейс для SMB, причем годный такой.
                                                              При цене HP ML150 в 15-20к ваше решение выглядит очень клево.
                                                      • 0
                                                        И 200 gb SSD — это тоже минимум? У меня сейчас есть по 2 диска SSD по 120GB и 1TB диски. 10% под кеш в рамках VSAN у меня четко есть.
                                                        У меня тут есть варианты?
                                                        • 0
                                                          С 200GB — заведется. Но доступного на SSD места будет очень мало для пользовательских блоков, производительность пострадает. Для лабы «посмотреть интерфейс» — ОК, для боевой работы — мало.
                                                          • 0
                                                            Со 120 заведется? Не с 200. У меня 2 диска по 120.
                                                            • 0
                                                              2 по 120 это суммарно — 240. Заведется, но результат не понhавится. Поставьте больше SSD, добром прошу )
                                                              • 0
                                                                Поставьте 10-ку и диски по 512GB ) Как у вас все просто ))
                                                                • 0
                                                                  Это гораздо проще, чем потом преодолевать сложности. Опять же, мы сейчас тут не про «домашнюю лабу», а про боевую систему. Я бы не советовал собирать боевую систему «из говна и палок», даже если это система под бесплатным CE. Домашняя лаба это одно, тут — хозяин — барин. Система крутить бизнес-задачи — совсем иное.
                                                                  • +1
                                                                    Вот то, что вы предлагаете для продуктива это и есть — «говно и палки». Никто в ENT это даже рядом рассматривать не будет. Не надо себя обманывать ) Вы же заказчикам в ENT и SMB совсем другие решения предлагаете и совсем за другие деньги.
                                                                    Хотя, как я сказал ранее, для SMB кейс клевый на самом деле.
                                                                    • 0
                                                                      Так во-первых энтерпрайз разный бывает. Вон в Америках SMB это «менее 500 сотрудников» (типа выше — уже энтерпрайз), а в России? Отсюда частое недопонимание.
                                                                      Но даже если родился не в той стране это еще не повод поднимать лапки вверх и сдаваться, как мне кажется.

                                                                      Во-вторых — энтерпрайзу мы «самосбор» и не предлагаем, у нас ему есть что предложить и без этого ;)
                                                                      Однако в российском бизнесе именно SMB сейчас тяжелее всего.
                                                                      И если уж человек выбрал использовать решение без поддержки, то было бы неплохо дать ему возможность не падать в многочисленные gotchas по дороге создания такого сетапа. Дальше он сам решит, копить денег, или пользоваться бесплатным. Наше дело — предложить варианты.
                                                                      • +1
                                                                        Я всю жизнь считал что SMB это где-то до 25 человек. По крайней мере MS так лицензировало (по крайней мере раньше) свои SMB продукты.
                                                                        • 0
                                                                          United States
                                                                          In the United States, the Small Business Administration sets small business criteria based on industry, ownership structure, revenue and number of employees (which in some circumstances may be as high as 1500, although the cap is typically 500).
                                                                          Both the US and the EU generally use the same threshold of fewer than 10 employees for small offices (SOHO)

                                                                          https://en.wikipedia.org/wiki/Small_and_medium-sized_enterprises#North_America
                                                                          • 0
                                                                            Я ж говорю ориентировался на MS (не могу представить чтобы можно было залицензировать SBS на 500+ чел):

                                                                            Q What are the license access limits for Windows Small Business Server 2011 products?

                                                                            A. Windows Small Business Server 2011 Essentials is designed for use with up to 25 user accounts

                                                                            https://social.technet.microsoft.com/Forums/en-US/194fc056-a109-4365-97ae-6b2b3f344854/sbs-2011-running-out-of-licensed-users-what-are-my-options?forum=smallbusinessserver
                                                        • +1
                                                          В сухом остатке. Учитывая стоимость решения для SMB под TEST/DEV очень даже здорово.
                                                          Надо учитывать, что в России под ключ все будет стоить совсем других денег.
                                                          А для лабы, к сожалению, очень дорого.
                                                          • 0
                                                            Кирилл, лаба на VSAN будет стоить ровно столько же.
                                                            Это если у тебя еще доступ будет к партнерским или другим NFR / non-production лицензиям.
                                                          • 0
                                                            Браво, в корпоративных блогах редко встречаются сборники вредных советов.

                                                            Твины с настоящими процессорами стоят почти столько же, диски выбрали худшие из возможных, так ещё и покупать железки предлагаете без гарантии.
                                                            • +1
                                                              Это что за поток сознания? :D

                                                              Диски 2TB WD далеко не худшие (по тем же данным от битблейз, которые при этом весьма субьективны ввиду того что они их эксплуатируют тоннами засовывая в один корпус), в статье прямо пишут что просто не получается закупать большие партии.

                                                              По CPU с твинами — так не стесняйтесь приводить свои варианты, посмотрим насколько «почти столько же».

                                                              А то даже (опять-же по ссылке) пишут что очень довольны теми процессорами что мы рекомендовали:

                                                              «Part of STH’s hosting cluster is actually a number of 1U Intel Xeon D-1540 servers so the Xeon D-1540 and D-1541 we are well aware of. The performance of the parts is overall excellent so long as you can handle lower single thread performance and do not need more RAM.»
                                                              • 0
                                                                Диски 2TB WD далеко не худшие


                                                                Насколько далеко? Хуже них только еще 5 моделей, а 13-то получше будут — https://www.backblaze.com/blog/hard-drive-failure-rates-q2-2016/
                                                                • 0
                                                                  1) заявление «худшие» уже невалидно

                                                                  2)… не забываем добавлять «по совершенно нерепрезентативным данным одной компании, ввиду того что у них WD дисков очень мало, но они тупо экстраполировали данные»
                                                                  • 0
                                                                    Так и написано — берите те, в которые верите. У меня вот пять Red разного размера работают в домашнем NAS, самые первые вот уже третий год и меня все устраивает, упрекнуть не в чем. Я бы взял его. Не нравится Red, берите какой угодно другой. От него, по сути, не зависит ничего. Я только предостерег от соблазна накупить Raid Edition и Велоцирапторов. :)
                                                                    • 0
                                                                      >Я только предостерег от соблазна накупить Raid Edition и Велоцирапторов. :)

                                                                      почему?
                                                                      • 0
                                                                        Потому что от производительности HDD производительность системы зависит очень мало, все горячие данные и операции записи происходят на SSD. Вы можете потратить в три раза больше денег на более производительные HDD и получить 2% прироста, или не получить совсем. Тогда зачем тратить больше?
                                                                        • 0
                                                                          Raid Edition вроде понадежнее должны быть, это имеет значение?
                                                                          • 0
                                                                            В нашем случае не имеет никакого значения. Мы не используем RAID никак.
                                                                            • 0
                                                                              Меня уговорили развернуть ответ :)
                                                                              Диски RE отличаются от обычных несколькими вещами. Более высокой ценой, потенциально более высокой надежностью (по крайней мере так обещает вендор), а также иной обработкой ошибок чтения секторов, так называемым TLER — Time Limited Error Recovery. Дело в том, что на работу диска в составе RAID-массива накладывается ряд специфических требований. Обычный диск, когда контроллер обнаруживает плохо читающийся сектор, стремится снова и снова его прочитать, невзирая на таймауты. Однако в составе RAID это может плохо кончиться. Такой «зависший» диск контроллер может счесть вышедшим из строя и выкинуть из RAID. Поэтому в составе RAID диск, зная, что потеря информации будет восстановлена средствами отказоустойчивости RAID, быстро перестает повторные чтения, и отдает сбойный сектор «наверх», в контроллер RAID, рассчитывая, что тот там сам разберется.

                                                                              В Nutanix мы не используем RAID, и не нуждаемся в этой функциональности. К тому же восстановление сбойного диска у нас происходит очень быстро, так что, по крайней мере за цену, которую требуют за RE, брать его бессмысленно. О том, что скорость системы очень мало зависит от скорости HDD, потому что все активные операции у нас остаются на SSD, я уже писал.

                                                                              Отсюда вывод: в качестве HDD наиболее выгодно использовать самые простые и дешевые диски, тратить деньги на специальные, особо надежные, быстрые и с расширенной специальной функциональностью диски — экономически бессмысленно, лучше их потратить на память или SSD, там выигрыш от дополнительных трат будет куда заметнее.
                                                                              • 0
                                                                                Спасибо за развернутое объяснение, полезное не только в контексте Nutanix.
                                                                                • 0
                                                                                  Просто сперва мне показалось, что про все перечисленное уже все-все знают, и я счел излишним снова писать все детали. Оказалось — нет.
                                                                    • 0
                                                                      Получается дороже на полтора килобакса, но Твины мощнее с расширением до 8 CPU/16 DIMM, резервированием БП и охлаждения.
                                                                      А если читать внимательно, то можно заметить что STH сравнивает 1540 с шестиядерным 2620v3 (в v4 их восемь) и у WD худший AFR.

                                                                      Выбор SSD тоже странный, потребительские 850 Pro и X400 со смешной выносливостью и дорогой S3610, когда есть SM863.
                                                                      • 0
                                                                        Смотрю уже менее категоричные-то утверждения пошли ;)

                                                                        1500 за 3 сервера?

                                                                        За эти деньги можно взять «сильно более лудшие» SSD, памяти по 128… И суммарная производительность — порвет твин на тряпки.

                                                                        Ибо виртуализация крайне редко упирается в процессор нынче, но память и IOPS намного более важно.

                                                                        А вот процессоры — более чем good enough. Особенно для лабы / test&dev / SMB.
                                                                        • 0
                                                                          Смотрю уже менее категоричные-то утверждения пошли ;)

                                                                          Не вижу противоречий с первым комментарием. Вы как будто боитесь, что кто-то с деньгами соберёт аналог NX-1065/3060 под CE и продвигаете откровенный колхоз из микросерверов.

                                                                          1500 за 3 сервера?

                                                                          За четыре, микра не вынимает «лишние» серверы из коробки.

                                                                          но память и IOPS намного более важно

                                                                          Тут выигрывает Twin, где шесть дисков в шасси под SFF и по восемь DIMM у каждого ЦП.

                                                                          А вот процессоры — более чем good enough.

                                                                          Тяжелые серверы под Test/Dev и VDI процессоры очень любят.
                                                                          • 0
                                                                            Дабы завязывать с «пальцераскидыванием» на пустом месте, просьба привести точную конфигурацию и цену на нее (со ссылками в свободной продаже).

                                                                            Дальше мы уже обсудим конкретику.
                                                                            • 0
                                                                              2028TP-HTTR/6028TP-HTTR ~ $3700
                                                                              E5-2620v4 ~ $420
                                                                              SM863 ~ $290

                                                                              Даже конфигуратор нашел, правда они не дают поставить по одному ЦП и включают свою гарантию в цену.
                                                                              • 0
                                                                                E5-2620v4 практически идентичен по производительности Intel Xeon D-1541, при этом кушает почти в два раза больше (-> греется и шумит охлаждение).

                                                                                В чем «цимес»?

                                                                                Цена платформы публичная что я вижу — около $4,500 (newegg, amazon и другие). Откуда 3700? На сайтах где налоги штата не учитываются? Ну так тогда и конфиг что в статье можно купить сильно дешевле.

                                                                                Да, кому потребуется больше производительность и потратить тысячи на 3-4 больше долларов готовы — хороший вариант тоже, согласен. Но статья — про наиболее эффективный вариант «доллар на единицу производительности / макс. цена»


                                                                                И кто тут вредные советы дает? :)
                                                                                • 0
                                                                                  E5-2620v4 практически идентичен по производительности Intel Xeon D-1541

                                                                                  Шестиядерный E5-2620v3 быстрее D-1541, а восьмиядерный E5-2620v4 ещё на 30-40% быстрее.
                                                                                  Откуда 3700?

                                                                                  Попробуйте Google. Супермикры с Цисками не покупают на Амазоне, также как и Нутаникс.
                                                                                  и потратить тысячи на 3-4 больше долларов готовы

                                                                                  $3700 + $1680 + $1256 + $1160 + $720 = $8516 против $7588 на микросерверах.
                                                                                  • 0
                                                                                    Отличие вашего «гугла» от Амазона в том, что если цена на Амазоне есть конечная цена, я ее плачу, и получаю товар. То «цена из гугла» таковой не является. Мне даже стыдно, право, вам рассказывать такие элементарные вещи. Даже если вы только закончили школу, что я делаю из вашего всезнающего тона, все равно должны знать такие элементарные вещи. ;)
                                                                                    • 0
                                                                                      Прекрасно, вместо ответа по сути переходите на личности с левого аккаунта.

                                                                                      Кроме Амазона есть куча магазинов и с таким бюджетом есть смысл обратиться к сборщикам, чтобы получить готовое изделие с адекватной гарантией, а не груду железок с ремонтом от трёх недель.
                                                                            • 0
                                                                              Easy, boy. :)

                                                                              Вбрасывать наезды — наихудший путь получать ответы на свои вопросы. Если вас интересуют ответ, а не просто продемонстрировать какой вы знающий спец, то лучше спилить мушку :)
                                                                    • 0
                                                                      Подскажите, пожалуйста.

                                                                      Исходим из того, что все создано по примеру. Есть 3 узла.

                                                                      На каждом узле лежит по, условно 5 ВМ под VmWare. На одном из узлов лежит некий файл-сервер для всего кластера, соответственно дисковое пространство заполнено не равномерно
                                                                      70% на 25% и на 25%

                                                                      Если верить логике на nutanix.ru, то запуститься демон, который захочет все это сбалансировать и сделать 40% 40% 40%.

                                                                      Вопрос 1: каким образом будет осуществляться регулярный доступ к данным этого файлового сервера, если данные «разъехались» и «локального» чтения/записи уже не получается.

                                                                      Вопрос 2: если та или иная машинка в кластере на других узлах в определенный момент будет «хотеть много данных» с данного файл-сервера, не вызовет ли это бесконечной попытки Nutanix «перелить» файл-сервер на другой узел?

                                                                      Вопрос 3: сколько дискового пространства, хотя бы примерно, съедает «избыточность» Nutanix — что-то близкое к математике RAID 5?

                                                                      Вопрос 4: если лег узел и при этом лег один из дисков в оставшихся двух узлах, то? если проще — то какое условие «сваливания» NDFS по дискам/узлам. Как я понимаю, пережить потерю от 1 диска до целого узла Nutanix может. А больше?

                                                                      Вопрос 5: при «выключении» одного из узлов, оставшиеся 2 переходят в условный режим RAID 1 (зеркало) или? Каким образом обеспечивается избыточность в данной ситуации? Или никак: главное что работает, как и при 3-х, но резервов по потерям уже никаких.

                                                                      Заранее спасибо,
                                                                      Вопросы немного дублируют друг друга, если ответ на предыдущий отвечает на последующие — не заморачивайте себя, пожалуйста.

                                                                      • 0
                                                                        Добрый день.

                                                                        Все вопросы в общем-то имеют ответы в «библии Нутаникс».

                                                                        1) горячие блоки данных всегда локализуются (если есть место на SSD локальных). холодные блоки данных (SATA уровень) нет смысла локализовывать — latency сети меньше чем latency SATA дисков

                                                                        Для CE поддерживается RF2 (2 копии данных на кластере), одна из них собственно будет локализовываться вслед за VM (например файл сервером в вашем случае)

                                                                        Если места локально не хватает — используется доступ по сети к «соседним» SSD и SATA.

                                                                        2) Нутаникс не гоняет бесконечно «туда-сюда» данные, ему достаточно содавать одну реплику (горячую) локально и вторую «где-то на сетевых узлах».

                                                                        3) Сложный вопрос — формально для RF2 кушается ~50% (две копии), но у нас есть встроенное сжатие и дедупликация (в CE тоже) которые обычно имеют 1.7-2.5 коээфицициент. По итогу — виртуально очень часто «не съедается ничего».

                                                                        Для EC-X работает другая математика, но на 3-4 нода EC-X имеет мало смысла.

                                                                        4) Кластер всегда пытается перестроиться и восстановить количество реплик. Если есть 4 узла (поддерживаемый максимум для CE) и достаточно места на дисках, то можно «потерять» один узел со всеми дисками, произойдет «ребилд» кластера, и далее еще один узел например выдержит отказ.

                                                                        Взрослые версии Nutanix выдерживают множественный одновременный и неоднократный отказ оборудования без потери данных и контроля над облаком.

                                                                        5) Нет, не переходят — у нас честный кластер (в основе Нутаникс используются NoSQL / BigData технологии), кластер 2 узла — это аварийная ситуация. Работать будет, но отказа еще одного узла не выдержит — это split-brain ситуация. Поэтому если нужно резервирование дополнительное — делайте кластер из 4-х узлов или покупайте коммерческий Нутаникс (который умеет RF3 — т.е. выдерживает отказ двух и более узлов одновременно)

                                                                        • 0
                                                                          Спасибо за пояснения.

                                                                          Небольшой нюанс: у KVM все ок с пробросом USB в машинки?
                                                                          Возможно где-то есть стенд с Nutanix CE или «взрослым» Nutanix?
                                                                          • 0
                                                                            Мы убрали много опасного кода из KVM, включая проброс USB, SPICE протокол от RH и прочее.

                                                                            Поэтому наш AHV, хотя и базируется на KVM, но намного более безопасен и «вычищен».

                                                                            Сама идея втыкать в USB порты серверов / нодов не очень архитектурно красивая.

                                                                            Если требуется пробрасывать USB то намного лучше использовать что-то вроде http://www.digi.com/products/usb-and-serial-connectivity/usb-over-ip-hubs/anywhereusb

                                                                            Стенды безусловно есть.
                                                                            • 0
                                                                              К сожалению, в реальности это приходится делать: для кучи софта до сих пор только аппаратные ключи.

                                                                              Очень полезная информация.

                                                                              А где можно найти стенды или информацию о них, дайте наводку, по возможности?

                                                                              Спасибо
                                                                              • 0
                                                                                Например есть стенды у дистрибуторов.

                                                                                Точно есть лаборатория у Navica Data (контакт — Sergey Bogolyubov <s.bogolyubov@navicadata.ru> )
                                                                                • 0
                                                                                  Для аппаратных ключей существует Digi AnywhereUSB и проброс в гостевую ОС по IP.
                                                                            • 0
                                                                              И еще пара моментов:

                                                                              Как я понял перелить машинки из Esxi в KVM не проблема, а обратный процесс, при необходимости?
                                                                              • 0
                                                                                Обратно тоже просто — создается VM и подключается уже существующий диск.

                                                                                AHV и ESXi используют одинаковый формат хранения данных на дисковой системе, у нас даже поддерживается автоматический DR между AHV <-> ESXi
                                                                          • +1

                                                                            Регулярно и с удовольствием читаю и смотрю Paul Braren aka TinkerTry потому сразу же напомнило то, что он делает.
                                                                            В первую очередь вот этот guide: https://tinkertry.com/superservers

                                                                            • 0
                                                                              Да, я тут, готовя пост, просмотрел много тем с конструированием платформ под CE, и его работа как раз была одной из лучших и легла в основу этого поста.
                                                                            • 0
                                                                              количество vCPU под CVM подкручивать нужно для нормальной работы или стандартное значение работает?
                                                                              • 0
                                                                                Зависит от задач. Большинству хватает стандартных настроек.
                                                                              • 0
                                                                                Вы выбрали довольно скромное железо по надежности, без какого-то резервирования.
                                                                                Могли бы вы рассказать, как происходит в Nutanix CE замена «мертвого» SSD или узла в сборе?
                                                                                • 0
                                                                                  Железо не требуется резервировать в пределах узла, это RAIN архитектура — домен изоляции сбоев в данном случае хост (для небольших конфигураций), а не диск.

                                                                                  Замена SSD легитимная и документированная процедура.
                                                                                  • +1
                                                                                    Замена SSD легитимная и документированная процедура.


                                                                                    Вот стало любопытно, и решил немного изучить вопрос на вашем форуме

                                                                                    И пишут там такие слова
                                                                                    The SSD/HDD replacement works completely differently in CE than it does in our commercial product.

                                                                                    If you do not have dual SSD's, you'll always need to rebuild the CE node that fails if a SSD fails


                                                                                    Поэтому замена SSD в CE — не легитимная и не документированная процедура.

                                                                                    С вот таким продолжением

                                                                                    I succeeded in rebuilding and adding it back to the cluster.
                                                                                    But, when I want to remove the old node, with «ncli host remove-start id=XXXX» command line, I have this error message: «Cannot mark node for removal. Node 642876 is in the process of being added to the cluster.». The 642876 is the last node that I added to the cluster.


                                                                                    И даже добавление нового узла не помогло пользователю — призрак старого узла не удаляются.
                                                                                    Хорошенькие приключения для production-ready-system.
                                                                                    • 0
                                                                                      Мне кажется вы не поняли что такое RAIN архитектура.

                                                                                      Да, для CE надо будет заменить SSD и сделать ребилд нода — займет минут 15. Если один SSD был. В чем проблема?

                                                                                      Для коммерческих версий это сделано намного быстрее быстрее и удобнее, ввиду другого принципа работы с дисками (о чем в статье пишется).

                                                                                      По поводу «приключений» — там надо снять задачу (это делается за 5 секунд), человека попросили выдать вывод команды ( «progress_monitor_cli -fetchall» ) но он не ответил. Есть такая фраза — ССБ («сам себе буратино»).

                                                                                      При этом никаких потерь данных и прочего, даже при том что человек сделал неправильные действия.

                                                                                      • 0
                                                                                        Понятно, спасибо.
                                                                                • +4
                                                                                  Роман.
                                                                                  Тут коллеги (Антон) подсказывают, что EULA разрешает крутить Nutanix CE ТОЛЬКО в лабе и для тестов! О каком продуктиве вы вещаете-то? Разъясните, пожалуйста.
                                                                                  Цитата «Система крутить бизнес-задачи — совсем иное». Это про что тогда?
                                                                                  • 0
                                                                                    Я не в первый раз спрашиваю об этом уважаемых авторов, но никак никто не опубликует EULA. Придется ставить в итоге.
                                                                                    В прошлые разы у нас все заканчивалось в духе — «ставьте в production, shapa / nutanix / romxx разрешает, мы за вами вдвоем точно не придем». Звучит неплохо, но в юридическом смысле скользко.
                                                                                    • 0
                                                                                      Нет, как официальное лицо Nutanix никто не может это разрешить. Это личная ваша ответственность, как вы используете Nutanix CE.
                                                                                    • 0
                                                                                      Вам решать, что и как крутить. Мы не поддерживаем, но и не можем запретить такие действия.
                                                                                      И раз уж человек решил использовать CE таким образом (не секрет, что очень многие это делают), то моя позиция: пусть уж он делает это на правильном и хорошем железе.
                                                                                      • +1
                                                                                        Если наши действия противоречат EULA — так нельзя.
                                                                                        Преступление, отнесенное к ст. 146 УК РФ относится к делам публичного обвинения, а значит для возбуждения уголовного дела не требуется заявления потерпевшего.
                                                                                        • 0
                                                                                          Коллега, аккруатнее.

                                                                                          Мы в EULA прямо прописываем условия использования (внтренние бизнес-цели, не продакшен). Другой разговор что «что такое продакшен» мы никак не описываем.

                                                                                          License Grant. The Software and Documentation are licensed, not sold, to you by Nutanix. This Agreement confers no title or ownership and is not a sale of any rights in the Software. Subject to the terms and conditions of this Agreement and the authorized scope of use of the Software, you are hereby granted a personal, limited, non-assignable, non-exclusive, non-sublicensable and non-transferable right to install and run one copy of the object code version of the Software (which Software may be activated by a valid user registration for the Software) during the term of the license for internal business operations and non-production use only, subject to any additional licensing metrics or volume or user limitations specified in the Documentation (which form an integral part of and restriction on your permitted use of the Software) (the foregoing right, «Permitted Use»). Use of the Software outside the scope of the Permitted Use is unauthorized and shall constitute a material breach of this EULA and shall give rise to an immediate termination of this Agreement. You agree to use Your best efforts to prevent and protect the contents of the Software and Documentation from unauthorized disclosure or use. Nutanix and its licensors reserve all rights, including but not limited to ownership and intellectual property rights, not expressly granted to You. Nutanix's licensors are the intended third party beneficiaries of this Agreement and have the express right to rely upon and directly enforce the terms set forth herein. There are no implied licenses granted by Nutanix under this Agreement. Except as expressly specified above, You shall have no rights to the Software.
                                                                                          • 0
                                                                                            непонятна эта фраза «for internal business operations and non-production use only»

                                                                                            Какие могут быть «internal business operations» чтобы они при этом были «non-production use only»? Разве они по определению не «production»?
                                                                                            • 0
                                                                                              Ну первое что приходит в голову — Test/Dev. Это internal operations, и при этом процесс test/dev не является production use, потому что под последним понимается основная деятельность компании. То есть если компания занимается продажей автомобилей, но при этом разрабатывает для внутреннего использования систему складского учета, то это будет internal operations и при этом non-production use.
                                                                                              • 0
                                                                                                Очевидно что если основная деятельность компании — Dev/Test то это уже будет полноценным production?
                                                                                                • 0
                                                                                                  Да, если основная деятельность именно Dev/Test — тогда Dev/Test будет production, и с точки зрения legal department для таких задач CE использовать нельзя.
                                                                                              • 0
                                                                                                Я не могу комментировать официально терминологию (не юрист), но мы собственно даже не даем определения production.

                                                                                                Вообще EULA в нормальных компаниях первую очередь делается для снятия рисков с вендора, а не «наказания неугодных».
                                                                                                • 0
                                                                                                  хорошо если так, но вы же не подпишитесь под тем что ваша компания гарантированно не придет ко мне с аудитом? :)
                                                                                                  • 0
                                                                                                    В России вендоры не ходят с аудитами от слова совсем. Ну если только по приглашению заказчика с темой аудита под легализацию.
                                                                                                    С аудитами на легальность и дальнейшими обвинениями в прокуратуру ходят люди из более других структур.
                                                                                        • 0
                                                                                          Вы забыли про SATA-DOM под систему (флешки лучше не использовать).
                                                                                          С сетью есть ещё пара альтернативных вариантов (Dlink 1210-10TS, Zyxel XS1920-12) в той же ценой категории, вроде чуть лучше Netgear(мы взяли Dlink на нем задержки меньше).
                                                                                          Платформы с Xeon D в России достать почти невозможно, мы собирали на SYS-6028R-TRT(2620V3 2шт, 128GB RAM, 2 SSD Intel 3710, 6 HDD HGST) 3 хоста. Больше полу года работает, периодически между релизами отваливается что-нибудь несущественное :) Помню Rest не работал, снапшоты в веб-интерфейсе порезали, ещё какие-то мелочи были. Виртуализация админится нормально, считай немного порезаный/доработаный kvm(virsh и тп работает), это на случай когда в веб-интерфейсе чего-то нет(например добавить новый диск в CVM).
                                                                                          • 0
                                                                                            В материнке есть разъем под SM SATADOM (SuperDOM), желтенький и разъем для питания, позволяющий вставить обычный SATA DOM в любой из разъемов SATA, так что сделать можно без проблем.

                                                                                            С сетью — да, есть варианты, но вот остерегаюсь я D-Link, уж очень много с их продукцией странного случалось. Может это и предвзятость. Но в посте цель была не навязать конкретный продукт, а подтолкнуть к поиску, взяв предложенную конфигу за исходную точку пути. А так-то — конечно возможны варианты. Кто-то может без проблем докинуть еще тысяч пять, и тут сразу несколько интересных вариантов вырисовываются.
                                                                                            • 0
                                                                                              Платформы с Xeon D в России достать почти невозможно

                                                                                              Серверы уже появились, но стоят на треть дороже чем в США.
                                                                                            • 0
                                                                                              Боюсь собрать весь пятничный «позитив», но все же :)
                                                                                              Ребят, ну в чем отличие именно в работе/производительности ВМ на nutanix CE от ВМ на том же Proxmox? Я понимаю, что nutanix CE это «пощупать взрослую игрушку» и если понравится перейти на нее. Но даже несмотря на споры по поводу EULA, кто то уже используют CE в бою. Точно так же в небольших проектах и Proxmox крутится. Можно ли обосновано сказать, что какие то вещи у nutanix'a ce уделывают proxmox? Без холивара, пожалуйста.
                                                                                              • 0
                                                                                                Вполне разумный вопрос

                                                                                                Для начала — гипервизор Nutanix AHV это лишь (очень) небольшая часть того что умеет делать Нутаникс.

                                                                                                В первую очередь — уникальная распределенная ФС (с сотнями «фич», включая тиринг / дедупликацию / сжатие / DR / снапшоты (консистентные в том числе), разработанная работниками из Google / Facebook / Amazon и прочих.

                                                                                                Которая при нормальном железе даже на CE легко выдаст сотни тысяч IOPS (на 4-х узлах например).

                                                                                                Так-же кластер может работать параллельно как внешняя iSCSI хранилка, так-же как встроенный scale-out file server.

                                                                                                Proxmox в свою очередь — просто простенькая управлялка стандартным KVM, работающая «по старинке». Собственно, это как Airbus A380 сравнивать с «кукурузником».

                                                                                                Nutanix AHV сертифицирован для использования почти всеми ключевыми вендорами (включая Microsoft например), proxmox и прочиее — само-собой нет.

                                                                                                Nutanix CE запускается под ключ максимум за полчаса, аналог скрутить из «палок и коровьих лепешек» на proxmox + ceph + прочем — сутками ковыряться, без гарантий результата и надежности работы.

                                                                                                При этом я Proxmox намного больше уважаю чем тот-же OpenStack например (хотя это и несколько разные вещи) — как минимум для своих задач работает вменяемо.

                                                                                                Суммируя — да, многим нравится возможность поставить High-End технологию вместо того чтобы иметь развлечения с «опенсорсом»
                                                                                                • 0
                                                                                                  Спасибо. Как раз перечитал еще раз до просветления «Nutanix Community Edition — открыто бета-тестирование», особенно комментарии :)
                                                                                                  Теперь все стало понятнее. Пойду за паяльником и искать деньги на три ноды для лабы :)
                                                                                                  • 0
                                                                                                    Потом стоит поискать 13 000 000 — 14 000 000 ($201,501) на коммерческую версию Nutanix.
                                                                                                    • 0
                                                                                                      • 0
                                                                                                        Потом стоит поискать 13 000 000 — 14 000 000 ($201,501) на коммерческую версию Nutanix.

                                                                                                        Я пожалуй паяльник выключать не буду тогда, может еще и на маленький ДЦ денег насобираю :)
                                                                                                        • 0
                                                                                                          Может да, а может нет.

                                                                                                          Во сколько обойдутся 4 узла:
                                                                                                          Dual Intel Broadwell: E5-2620v4 [16 cores, 2.1 GHz]
                                                                                                          1x SSD 960Gb
                                                                                                          2x HDD 4 TB
                                                                                                          128GB RAM
                                                                                                          Dual-Port 10 GbE
                                                                                                        • 0
                                                                                                          Если коротко — vmware врет, причем нагло. Они показывают наши GPL цены (вы много знаете компаний которые покупают что-то по GPL?) и не сравнивают реальный функционал.

                                                                                                          Считать реально — то мы в разы дешевле выходим (ибо включаем сразу DR и много других технологий, за которые VMware берет бешеные деньги).

                                                                                                          p.s. Chuck — известный прикормленный балабол.
                                                                                                          • 0
                                                                                                            Не могу судить врет VMware, или нет, но цены GPL — это факт, а других фактов мне не известно. Если бы вы утверждали — даем скидку 35% от GPL всем покупателям из России, особенно оборонному сектору и предприятиям, разрабатывающим шельф на предмет нефти и газа, то это можно было бы тоже рассматривать как факт. В отсутствии иной информации, опираемся на имеющуюся. Я попросил автора статьи чуть выше прикинуть примерную стоимость довольно скромной конфигурации, но ответа, к сожалению, нет.

                                                                                                            Кроме того, по ссылке автор предлагает играть и по вашим правилам, с учетом скидки, которую может дать Nutanix.
                                                                                                            • 0
                                                                                                              Если у вас есть реальный проект и желание купить Nutanix по правильным ценам, а не просто сравнивать GPL, то обратитесь ко мне. Продам с удовольствием и со скидкой от GPL далеко не 5%.
                                                                                                              • 0
                                                                                                                вас не услышали. «по правильным ценам, а не просто сравнивать GPL...» как-то так
                                                                                                    • 0
                                                                                                      Коллеги, много вопросов по EULA (где посмотреть). Она встроена в Nutanix CE и выводится инсталлятором, но кому хочется в онлайне:


                                                                                                      COMMUNITY EDITION END USER LICENSE AGREEMENT

                                                                                                      IMPORTANT — READ CAREFULLY

                                                                                                      READ THIS COMMUNITY EDITION END USER LICENSE AGREEMENT (THE «AGREEMENT») BEFORE DOWNLOADING, INSTALLING, COPYING, CONFIGURING, ACCESSING, DEPLOYING AND/OR USING THE SOFTWARE. BY DOWNLOADING, INSTALLING, COPYING, CONFIGURING, ACCESSING, DEPLOYING AND/OR OTHERWISE USING ALL OR ANY PART OF THE SOFTWARE OR BY CLICKING ON AN «ACCEPT» BUTTON, YOU AGREE TO THE TERMS AND CONDITIONS OF THIS AGREEMENT. YOU FURTHER AGREE THAT YOU ARE BOUND BY AND ARE A PARTY TO THIS AGREEMENT, AND, IF YOU ARE ACCEPTING THESE TERMS ON BEHALF OF ANOTHER PERSON OR A COMPANY OR OTHER LEGAL ENTITY, YOU REPRESENT AND WARRANT THAT YOU HAVE FULL AUTHORITY TO BIND THAT PERSON, COMPANY, OR LEGAL ENTITY TO THESE TERMS.

                                                                                                      YOUR USE OF THE SOFTWARE IS EXPRESSLY CONDITIONED ON YOUR ACCEPTANCE OF THE TERMS AND CONDITIONS OF THIS AGREEMENT. IF YOU DO NOT AGREE TO THE TERMS AND CONDITIONS OF THIS AGREEMENT, DO NOT DOWNLOAD, INSTALL, COPY, CONFIGURE, ACCESS, DEPLOY, CLICK ON AN «ACCEPT» BUTTON AND/OR OTHERWISE USE THE SOFTWARE.

                                                                                                      This Agreement is between You, either in your individual capacity or, if you are downloading, installing, copying, configuring, accessing, deploying and/or otherwise using the Software in your capacity as a representative of a company, partnership or business entity, on behalf of the company, partnership or business entity that You represent («You» or «Your») and Nutanix, Inc. a Delaware corporation, with offices located at 1740 Technology Drive, Suite 150, San Jose, CA 95110, USA («Nutanix»).

                                                                                                      «Software» means any Nutanix software, library, utility, tool or other computer or program code, in object (binary) or source-code form that is provided to You and for which your acceptance of this Agreement is required, as well as to any copies (whether complete or partial) made by You or on Your behalf, including without limitation firmware. The term «Software» also includes any updates, upgrades or other new features, functionality or enhancements to the Software made available directly or indirectly to You. «Documentation» means any on-line read me, help files, or other explanatory materials related to the Software.

                                                                                                      License Grant. The Software and Documentation are licensed, not sold, to you by Nutanix. This Agreement confers no title or ownership and is not a sale of any rights in the Software. Subject to the terms and conditions of this Agreement and the authorized scope of use of the Software, you are hereby granted a personal, limited, non-assignable, non-exclusive, non-sublicensable and non-transferable right to install and run one copy of the object code version of the Software (which Software may be activated by a valid user registration for the Software) during the term of the license for internal business operations and non-production use only, subject to any additional licensing metrics or volume or user limitations specified in the Documentation (which form an integral part of and restriction on your permitted use of the Software) (the foregoing right, «Permitted Use»). Use of the Software outside the scope of the Permitted Use is unauthorized and shall constitute a material breach of this EULA and shall give rise to an immediate termination of this Agreement. You agree to use Your best efforts to prevent and protect the contents of the Software and Documentation from unauthorized disclosure or use. Nutanix and its licensors reserve all rights, including but not limited to ownership and intellectual property rights, not expressly granted to You. Nutanix's licensors are the intended third party beneficiaries of this Agreement and have the express right to rely upon and directly enforce the terms set forth herein. There are no implied licenses granted by Nutanix under this Agreement. Except as expressly specified above, You shall have no rights to the Software.

                                                                                                      Use.

                                                                                                      Limitations on Use: You must not use the Software or Documentation except as permitted by this Agreement. You must not:
                                                                                                      (a) alter, decompile, disassemble, modify, unbundle or create any derivative works of the Software, the underlying source code, or the Documentation in any way, including without limitation customization, translation or localization;

                                                                                                      (b) port, emulate the functionality, reverse compile, reverse assemble, reverse engineer, create derivative works, or otherwise reduce to human readable form or attempt to separate any of the components of the Software or derive the source code for the Software;

                                                                                                      © copy, redistribute, encumber, sell, rent, lease, license, sublicense, or otherwise transfer rights to the Software or Documentation, use the Software for the benefit of any third party or on a hosted basis;

                                                                                                      (d) remove or alter any trademark, logo, copyright or other proprietary notices, legends, symbols or labels in the Software or Documentation or any product in which the Software is embedded;

                                                                                                      (e) block, disable or otherwise affect any features that constitute an integral part of the Software, including without limitation any security features designed to enforce the terms of this Agreement;

                                                                                                      (f) disclose the results of testing, benchmarking or other performance or evaluation information related to the Software or the product to any third party without the prior written consent of Nutanix;

                                                                                                      (g) access or use the Software or Documentation for any competitive purposes (e.g. to gain competitive intelligence; to design or build a competitive product or service, or a product providing features, functions or graphics similar to those used or provided by Nutanix; to copy any features, functions or graphics; or to monitor availability, performance or functionality for competitive purposes);

                                                                                                      (h) use any «locked» or key restricted feature, function or capability without first purchasing the applicable license and obtaining a valid key, even if such feature, function or capability is enabled without a key; or

                                                                                                      (i) distribute any copy of the Software to any third party, including as may be embedded in equipment sold in the secondhand market.

                                                                                                      You must not cause, encourage or permit any third party to do any of the foregoing.

                                                                                                      If You believe that any of the foregoing restrictions are prohibited by local law, You agree to provide Nutanix with at least ninety (90) days advance written notice of Your belief and provide all reasonably requested information from Nutanix to evaluate Your claim. Nutanix may, in its discretion, impose reasonable conditions, including a reasonable fee, on such use of the Software, or offer to provide alternatives to ensure that Nutanix's proprietary rights in the Software are protected and to reduce any adverse impact on Nutanix's proprietary rights.

                                                                                                      Third Party Software. You acknowledge that the Software may contain copyrighted software of third parties which are obtained under a license from such parties («Third Party Software»). All third party licensors retain all right, title and interest in and to such Third Party Software and all copies thereof, including all copyright and other intellectual property rights. Your use of any Third Party Software shall be subject to, and You shall comply with, the terms and conditions of this Agreement, and the applicable restrictions and other terms and conditions set forth in any Third Party Software documentation or printed materials, including without limitation an end user license agreement.

                                                                                                      Open Source. The Software may use or include one or more of the open source software components listed in the Nutanix open source attribution file, which is available at www.nutanix.com/opensource. The terms of this Agreement shall not apply to any open source software accompanying the Software. Any such open source software is provided under the terms of the applicable open source license agreement or copyright notice accompanying such open source software or in the open source attribution file. Please refer to the open source attribution file for the open source license disclosures and pertinent terms.

                                                                                                      Proprietary Rights. You acknowledge and agree that the Software belongs to Nutanix or its licensors. You agree that You neither own nor hereby acquire any claim or right of ownership to the Software and Documentation or to any related patents, copyrights, trademarks or other intellectual property, including all modifications and derivative works of any of the foregoing. Nutanix and its licensors retain all right, title and interest both tangible and intangible in and to all copies of the Documentation and the Software at all times, regardless of the form or media in or on which the original or other copies may subsequently exist. This license is not a sale of the original or any subsequent copy. The Software and Documentation are protected by copyright and other intellectual property laws and by international treaties. Any and all other copies of the Software or Documentation made by You are in violation of this license. All content accessed through the Software is the property of the applicable content owner and may be protected by applicable copyright law. This license gives You no rights to such content. All trademarks used in connection with the Software and Documentation are owned by Nutanix, its affiliates and/or its licensors and other suppliers, and no license to use any such trademarks is provided hereunder.

                                                                                                      Feedback. The purpose of this license is the internal testing and evaluation of the Software by you. In furtherance of this purpose, you and/or the Software shall from time to time provide comments and feedback to Nutanix concerning the functionality and performance of the Software, including, without limitation, usability, bug reports, potential errors and improvements, test data, results, and analytics, and performance data and test results (collectively, «Feedback»). You hereby assign to Nutanix all of your right, title and interest in and to any Feedback, including any intellectual property rights you may have in such Feedback, and in the event that any such assignment is found to be invalid, you hereby grant to Nutanix a worldwide, non-exclusive, perpetual, irrevocable, royalty-free, fully paid-up right and license (i) to use, reproduce, copy, disclose, sublicense, modify, make, have made, distribute, sell, offer for sale, display, perform, create derivative works of, permit unmodified binary distribution and otherwise exploit such Feedback (and any derivative works thereof) with any restriction, and (ii) to sublicense to third parties the foregoing rights, including the right to sublicense to further third parties. All Feedback shall be deemed Confidential Information of Nutanix and shall be subject to the provisions of Section 12 below.

                                                                                                      No Support Services. Nutanix is under no obligation to support the Software in any way or to provide any modifications, error corrections, bug fixes, patches or other updates to or for the Software («Updates»). In the event Nutanix, in its sole discretion, supplies any Update to you, such Update shall be deemed Software hereunder and shall be subject to the terms and conditions of this Agreement. Upon Nutanix's release of any Update, you shall upgrade your software reflect the Update and cease all use of the former version of the Software within 30 days of the release of the Update.

                                                                                                      Roadmap. Nutanix may disclose information related to its development and plans for future products, features or enhancements («Roadmap»). Roadmap information is subject to change at any time, without notice. Nutanix provides no assurances, and assumes no responsibility, that future products, features or enhancements will be introduced. You acknowledge that: a) you are not making a decision to use the Software based upon reliance of timeframes or specifics outlined in the Roadmap, and b) such decision would not be affected if Nutanix delays or never introduces the future products, features or enhancements.

                                                                                                      Term and Termination. This Agreement and Your right to use the Software and Documentation may be terminated by You at any time upon written notice. This Agreement automatically terminates if (a) You or any of Your employees or consultants fail to comply with its terms and conditions; or (b) You terminate or suspend Your business, become insolvent, admit in writing Your inability to pay Your debts as they mature, make an assignment for the benefit of creditors or become subject to any bankruptcy or insolvency proceeding. Upon expiration or termination of this Agreement for any reason: (a) all licenses granted by Nutanix shall immediately terminate; (b) You shall immediately discontinue use of the applicable Software and products; © You shall promptly remove Your confidential data, if any, and immediately return the products and related materials to Nutanix or the party from whom the product was obtained; (d) You shall destroy all copies of the Software and Documentation in Your possession, custody or control; and (e) if requested, You shall certify to Nutanix in writing that such return or destruction has occurred. The preamble as well as Section 2, 4, 8, 9, 10, 11, 12, 13, 15, 16, and 17 shall survive any expiration or termination of this Agreement.

                                                                                                      NO WARRANTY. YOU AGREE THAT THE SOFTWARE AND DOCUMENTATION ARE PROVIDED TO YOU ON AN «AS IS» BASIS, AND THAT NUTANIX AND ITS LICENSORS MAKE NO OTHER WARRANTIES AS TO THE SOFTWARE OR DOCUMENTATION, INCLUDING WITHOUT LIMITATION UNINTERRUPTED USE, ACCURACY, AND DATA LOSS. NUTANIX AND ITS LICENSORS DISCLAIM ALL OTHER WARRANTIES, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE IMPLIED WARRANTIES OF MERCHANTABILITY, NON-INFRINGEMENT AND FITNESS FOR A PARTICULAR PURPOSE (EVEN IF NUTANIX KNOWS OR SHOULD HAVE KNOW OF SUCH PURPOSE), RELATED TO THE SOFTWARE OR DOCUMENTATION, ITS USE OR ANY INABILITY TO USE IT, THE RESULTS OF ITS USE AND THIS AGREEMENT, AND ANY WARRANTIES ARISING BY STATUTE OPERATION OF LAW, COURSE OF DEALING OR PERFORMANCE, OR USAGE OF TRADE, OR THAT THE SOFTWARE WILL BE COMPATIBLE OR WORK WITH ANY THIRD PARTY SOFTWARE OR HARDWARE OR ANY OTHER NUTANIX PRODUCTS. NUTANIX AND ITS LICENSORS DO NOT WARRANT THAT THE SOFTWARE OR DOCUMENTATION OR ANY RESULTS OF USE THEREOF WILL BE FREE OF DEFECTS, ERRORS OR VIRUSES, RELIABLE OR ABLE TO OPERATE ON AN UNINTERRUPTED BASIS OR IN A PARTICULAR ENVIRONMENT, OR THAT ERRORS THEREIN, IF ANY, WILL BE CORRECTED. YOU FURTHER ACKNOWLEDGE THAT THE SOFTWARE IS NOT INTENDED OR SUITABLE FOR USE IN SITUATIONS OR ENVIRONMENTS WHERE THE FAILURE OR TIME DELAYS OF, OR ERRORS OR INACCURANCIES IN THE CONTENT, DATA OR INFORMATION PROVIDED BY THE NUTANIX SOFTWARE COULD LEAD TO DEATH, PERSONAL INJURY, OR SEVERE PHYSICAL OR ENVIRONMENTAL DAMAGE.

                                                                                                      LIMITATION OF LIABILITY. TO THE FULLEST EXTENT PERMITTED BY LAW, NUTANIX AND ITS LICENSORS SHALL NOT BE LIABLE FOR ANY DAMAGES, WHETHER IN CONTRACT OR TORT (INCLUDING NEGLIGENCE) OR ANY OTHER LEGAL OR EQUITABLE THEORY, ARISING FROM THIS AGREEMENT, INCLUDING WITHOUT LIMITATION ANY INDIRECT, CONSEQUENTIAL, SPECIAL, EXEMPLARY, INCIDENTAL DAMAGES, EVEN IF NUTANIX HAS BEEN ADVISED OF THE POSSIBILITY OF SUCH DAMAGES OR FOR ANY LOST REVENUES, GOODWILL OR PROFITS, BUSINESS INTERRUPTION, PROCUREMENT OF SUBSTITUTE HARDWARE, SOFTWARE OR SERVICES, LOST DATA, WORK STOPPAGE, RE-RUN TIME, INACCURATE OUTPUT, COMPUTER FAILURE OR MALFUNCTION. YOU AGREE THAT YOU SHALL HAVE THE SOLE RESPONSIBILITY FOR PROTECTING YOUR DATA, BY PERIODIC BACKUP OR OTHERWISE. IN ANY CASE, NUTANIX'S SOLE LIABILITY AND YOUR EXCLUSIVE REMEDY UNDER ANY PROVISION OF THIS AGREEMENT SHALL BE THE REPLACEMENT OF THE SOFTWARE FOUND TO BE DEFECTIVE, WITH THE EXCEPTION OF DEATH OR PERSONAL INJURY CAUSED BY THE NEGLIGENCE OF NUTANIX TO THE EXTENT APPLICABLE LAW PROHIBITS THE LIMITATION OF DAMAGES IN SUCH CASES. NUTANIX SHALL NOT BE LIABLE FOR ANY CLAIM BROUGHT MORE THAN ONE YEAR AFTER THE CAUSE OF ACTION FOR SUCH CLAIM FIRST AROSE. BECAUSE SOME JURISDICTIONS DO NOT ALLOW THE EXCLUSION OR LIMITATION OR LIABLITY FOR CONSEQUENTIAL OR INCIDENTAL DAMAGES, THE PRECEDING LIMITATIONS MAY NOT APPLY TO YOU IN WHICH CASE NUTANIX'S LIABILITY UNDER THIS AGREEMENT WILL NOT EXCEED $100.

                                                                                                      Infringement. Subject to the remainder of this section, Nutanix shall defend or settle, at its own expense, any third-party action against You to the extent based upon a claim that the Software infringes any copyright or trademark or misappropriates any trade secret, and will pay such damages or costs as are finally awarded against You attributable to such claim, provided that You (i) notify Nutanix promptly in writing of any such action, (ii) give Nutanix sole control of the defense and/or settlement of such action (iii) give Nutanix all reasonable information and assistance, and (iv) are not in material breach of this Agreement. Should the Software become, or in the opinion of Nutanix be likely to become, the subject of such an infringement claim, Nutanix may replace or modify, in whole or in part, the Software to make it non-infringing. Nutanix assumes no liability hereunder for: (a) any method or process in which the Software may be used; (b) its compliance with Your specifically requested specifications; © use of software other than a current unaltered release of the Software or use of any older version of the Software when the use of a newer release of the Software made available to You would have avoided the infringement; (d) the combination, operation or use of the Software with non-Nutanix products or services; or (e) use of the Software in a manner or for a purpose for which it was not intended. You shall indemnify and hold harmless Nutanix and its officers, directors, employees, agents, successors and assigns against any damages, losses, and expenses (including reasonable attorneys' fees) arising from any third-party action to the extent based upon a claim that the Software infringes any copyright or trademark or misappropriates any trade secret due to any of the foregoing factors, and shall give Nutanix all reasonable information and assistance regarding such claim.

                                                                                                      THIS SECTION SETS FORTH NUTANIX'S ENTIRE LIABILITY AND OBLIGATION AND YOUR SOLE REMEDY FOR ANY CLAIMS OR ACTIONS OF INFRINGEMENT OF ANY INTELLECTUAL PROPERTY RIGHTS.

                                                                                                      Confidentiality. «Confidential Information» shall mean the Software and Documentation and all other information disclosed to You that Nutanix characterizes as confidential at the time of its disclosure either in writing or orally, except for information which You can demonstrate: (a) is previously rightfully known to You without restriction on disclosure; (b) is or becomes, from no act or failu