Как установить Nutanix CE под VMware ESXi



    После запуска нашего Nutanix Community Edition, бесплатной, «софтовой» версии Nutanix, которое может устанавливаться на произвольное, пользовательское «железо», мне часто приходилось отвечать на вопросы: «А что делать, если у нас нет подходящего физического сервера? Можно ли поставить его как „виртуальный апплаенс“, внутри гипервизора, на виртуальную машину?»

    Летом разработчики собрали версию, которая научилась работать в режиме nested virtualization, то есть виртуалка CVM, работающая в гипервизоре KVM, который, в свою очередь, работает в гипервизоре VMware ESXi, и этот последний как раз и эмулирует для нашего гипервизора нужное «железо».

    Вот как это можно сделать:

    Для начала, вам нужен сервер под гипервизором ESXi и достаточным количеством памяти. CVM каждой ноды займет 16GB, и еще сколько-то вам будет нужно оставить для самих ваших VM в среде Nutanix CE.
    Минимальное число нод у CE — одна (при этом, конечно, не будет никакой отказоустойчивости), максимальное — четыре. Две не поддерживается, соответственно вариантов три: одна (без отказоустойчивости), три и четыре.

    Так как бесплатный VMware Hypervisor держит только 16GB RAM, он вам не подойдет. Но триальный ESXi работает хорошо.

    Вот пример сервера, на котором описанный метод тестировался:

    2 x 8 core Intel Xeon E5-2680
    384GB RAM
    500GB SSD
    1024GB HDD
    VMWare ESXi 5,5 U2

    Помните, однако, что, в любом случае, вам понадобятся в сервере диски SSD. Да, существует способ «обмануть», и сделать так, чтобы и ESXi и Nutanix сочли подсунутый вами HDD как SSD, но ничего хорошего из этого не выйдет, поверьте, так что — только SSD. Не обязательно это должен быть серверный Intel S3700/S3610, как используем мы, но это должен быть диск достаточного размера и с хорошим быстродействием, иначе произвдительности вы не увидите.

    Подготовим boot-диск. Вы скачали с форума Nutanix CE образ диска для установки, который выглядит как-то так: ce-2015.06.08-beta.img.
    Теперь переименуем его в файл, с именем: ce-flat.vmdk.
    Создадим файл дискового дескриптора: ce.vmdk

    Содержимое файла дискового дескриптора (для версии ce-2015.06.08-beta) можно использовать вот это:
    # Disk DescriptorFile
    version=4
    encoding="UTF-8"
    CID=a63adc2a
    parentCID=ffffffff
    isNativeSnapshot="no"
    createType="vmfs"
     
    # Extent description
    RW 14540800 VMFS "ce-flat.vmdk"
     
    # The Disk Data Base
    #DDB
     
    ddb.adapterType = "lsilogic"
    ddb.geometry.cylinders = "905"
    ddb.geometry.heads = "255"
    ddb.geometry.sectors = "63"
    ddb.longContentID = "2e046b033cecaa929776efb0a63adc2a"
    ddb.uuid = "60 00 C2 9b 69 2f c9 76-74 c4 07 9e 10 87 3b f9"
    ddb.virtualHWVersion = "10"
    


    Теперь создадим виртуальную машину.

    Создадим новую VM, в качестве типа выберем CentOS 4/5/6/7 (64bit).
    Зададим количество vCPU — 12 (минимум — 4, но не рекомендуется).
    Зададим объем RAM — 128GB (минимум — 16).
    Установим объем HDD равным 900GB, маппинг на SCSI0:0 (минимум — 500GB)
    Установим объем SSD равным 350GB, маппинг на SCSI0:1 (минимум — 200GB)
    Выберем NIC типа Intel E1000.

    Теперь можно зайти в датастор по SCP, и залить туда наш ce-flat.vmdk и ce.vmdk

    Отредактируем настройки VM. Установите настройки VM – CPU -> Hardware virtualization -> Expose hardware assisted virtualization to the guest OS.



    Добавим новый SATA-контроллер.
    Смонтируем наш vmdk на этот контроллер.

    Теперь можно запустить VM и инсталлировать CE.

    Запускаем VM, и входим в ее BIOS, нажав при загрузке F2.
    Устанавливаем как загрузочное устройство SATA-контроллер.
    Загружаемся.

    Как вы уже знаете, в CE используется KVM на базе CentOS в качестве гипервизора. Другие варианты на CE мы не делаем. Но, с KVM Management Tool, имеющемся в GUI, можно достаточно удобно работать в KVM.

    После загрузки и до инсталляции можно сделать несколько опциональных настроек:
    Отредактировать файл /home/install/phx_iso/phoenix/sysUtil.py, указав (изменив) там строки: «SSD_rdIOPS_thresh = 5000” и “SSD_wrIOPS_thresh = 5000”, это поможет, если у вас не вполне подходящий SSD.

    Отредактировать размер памяти, выделяемый под нужды CVM.
    Там же, в файле /home/install/phx_iso/phoenix/sysUtil.py отредактировать строку “SVM_GB_RAM = 16” (это объем памяти, который будет выделен CVM в гигабайтах).

    Помните, однако, что память для CVM насущно нужна, и уменьшение ее объема может существенно снизить быстродействие.
    Логин в консоль: root, пароль: nutanix/4u (10 символов, все маленькие, восьмой — слэш).

    Запускаем инсталляцию, логинясь пользователем install

    На коммутаторе vSwitch, к которому подключен VM с Nutanix CE, следует включить Promiscous Mode, иначе CVM не увидится.

    Готово. Например с помощью такой nested install удалось поставить Nutanix CE под ESXi 5.5U2 на сервер HP ProLiant, не подходящий по оборудованию для установки CE.

    Однако помните, что производительность такого решения может быть далека от того, что оно может показать „на железе“, однако чтобы „посмотреть“ или научится можно использовать и такой вариант.
    Nutanix 31,12
    Компания
    Поделиться публикацией
    Комментарии 16
    • +2
      А когда обновят CE?
      На форуме только древняя июльская бета, которая ничего не умеет и с кучей багов.
      • –5
        Как много резких слов и гипербол. :) Прямо вот «древняя» июльская, которая прям «ничего не умеет» ;)
        Потерпите, все будет. В конце концов вы за нее не платите, чтобы что-то требовать от разработчиков.
        • 0
          Я интересуюсь.
          По багам есть темы на форуме, по фичам — честно говоря сам бросил знакомство после второй беты, в которой даже ISO для установки нельзя было загрузить. А по хайпу ждал увидеть что-то вроде ESXi версии 3.5, но получил наскоро сделанный техникал превью.

          ce-2015.07.16-beta
          Add-node capability will function with nodes that do not have IPMI interfaces.
          Erasure Coding Tech Preview: Erasure coding increases the effective or usable capacity on a cluster.
          Acropolis Image Service: Image service enables you to import the images (ISOs, disk images, or any images which are supported in ESXi or Hyper-V format) directly into Acropolis.
          Acropolis High Availability (HA): When a node becomes unavailable, VMs that are running on that node are restarted on another node in the same cluster.
          Acropolis Volume Management: The Acropolis volumes API exposes back-end NDFS storage to guest operating system, physical hosts, and containers through iSCSI.
          Improved single-node cluster setup during the installation process — 192.168.5.x is explicitly disallowed for host & CVM, other 192.168.x.x IPs will work correctly.
          Improved installation error handling.
          Installation process will correctly truncate device WWNs that exceed 16 characters.

          В юльской бете добавили загрузку и ещё несколько фич, но желания тестировать это до большого у меня нет и на форуме такое мнение тоже высказывали.
          • 0
            Загрузка ISO — она делается на датастор, можно например по NFS. В новой версии сделали в том числе через браузер и :2222 sftp, как более удобный вариант дополнительный.

            Что означает «нельзя было загрузить» — не ясно, видимо отсутствие желания читать документацию :) Загружать можно было с самой первой версии.

            Список что привели — просто небольшой список улучшений / новых фич / изменений логики, но это НЕ исправления багов.

            Еще раз просьба указать «кучу багов» с которой вы столкнулись.

            • +1
              > Я интересуюсь.
              А, ну так бы сразу и сказали, что вы из «любопытствующих», а то я было подумал… ;)

              > честно говоря сам бросил знакомство после второй беты
              Вот-вот %) А сколько крику было…

          • 0
            По поводу беты — забавно.
            Это полноценная 4.1 с тонной функционала, который по большей части большинство вендоров еще не смогли имплементировать и на которой до сих пор у нас 80% клиентов сидит.

            Баги — о какой «куче» идет речь? Что конкретно не работает?
          • +3
            Как это не платим? А время, вовлечённость, отзывы и популяризация в целом? Бесплатность не должна подразумевать второсортность!
            • –4
              > А время, вовлечённость, отзывы и популяризация в целом?
              Но-но, полегче. А то еще пару шагов, и Nutanix окажется вам должен денег за то, что вы хотя бы скачали у него бесплатный продукт ))

              А никто и не говорит про «второсортность». Что же касается «ничего не умеет» и «с кучей багов» это у человека фантазия разгулялась. ) Продукт вполне рабочий и функциональный, есть примеры вполне удачного его использования в продакшне (хоть мы, официально, и не рекомендуем). Посмотрите хотя бы форум комьюнити.
              • +3
                Уточнение: не просто скачали, а стали использовать. Т.е. инвестировали свои средства и время. Поверили, в конце концов!
                Я в другом посте немного дискутировал с вами на этот счет. Повторяться не буду.

                Удачи в развитии продукта! Не забывайте про тех, кто использует CE. Неудачные эксперименты с ними могут привести к негативному эффекту (не будут рекомендовать, или, хуже того, будут отговаривать от коммерческих решений Nutanix — даже если это будет не совсем справедливо).
                • +2
                  > Я в другом посте немного дискутировал с вами на этот счет.

                  Со мной? Не припомню. Вы, вероятно, меня путаете с shapa
                  Он — это он, я — это я, мы два разных человека.

                  > Не забывайте про тех, кто использует CE.
                  Никто про них не забывает, но и с вашей стороны становится в позу «я тут в вас инвестирую, поэтому, будьте ка добры передо мной вести себя как перед дорогим клиентом» — тоже чрезмерно высокомерно и наивно.
                  Хотите использовать бесплатную версию — берете и используете. Не хотите — не используете. Пойдите вон Торвальдсу расскажите, что вы «в него инвестируете», расскажете, что он вам ответит ;)
              • 0
                Все это очень ценится, задача компании получить «армию здоровых фанатов» :)

                CE использует тот-же самый код, но всегда будет чуть отставать (месяц-два) от коммерческой ветки ввиду заведомо меньших инженерных ресурсов выделенных.

                Ввиду того что CE имеет определенную специфику (не использует проброс PCI устройств, а маппинг дисков — для совместимости с разными моделями контроллеров), требуется некоторое время на выпуск.
              • +4
                Так как бесплатный VMware Hypervisor держит только 16GB RAM, он вам не подойдет.

                У вас какие-то устаревшие данные. Уже давно нет лимита по памяти в том числе и в бесплатной редакции VMware ESXi (кроме, естественно, оговоренных максимальный конфигураций, для 5.5, например, 4 ТБ)
                • 0
                  Да, коллега ошибся — я тоже когда вчера читал обратил внимание, но с айфона статью поправить сложно оказалось.

                  Number of cores per physical CPU: No limit
                  Number of physical CPUs per host: No limit
                  Number of logical CPUs per host: 480
                  Maximum vCPUs per virtual machine: 8

                  • 0
                    Спасибо, не слежу особенно за Free версией. С мая этого года действительно лимиты отменили.
                  • 0
                    Вы забыли учесть NUMA при создании vm.
                    Сокетов должно быть 2, в вашем случае, а не 8.
                    Как я вижу, вы сделали 8 сокет по 2 цпу.
                    • 0
                      Нет планов сделать CE апстримом Акрополиса? А не даунстримом с месячной задержкой, как он выходит сейчас.

                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                      Самое читаемое