Мои любимые intel 670p вне троттлинга в нулевом power state хотят 5.5W. WD Black SN850 без троттлинга в PS0 заявляют 9W. И на примере Corsair MP400 можно посмотреть на рост потребления в зависимости от размера диска - 4W для 1TB версии и уже 6.5W для 4/8TB версий.
Реальное потребление тестировали у Samsung 990 Pro - The power consumption of the 990 Pro while writing is between 5.0 W and 5.1W depending on the drive’s capacity, and the read varies from 5.4W on the 1TB option to 5.8W on the 2TB model. А вот тут даже с картинками для того же 990 Pro в зависимости от iodepth.
Сами же Сосунги пишут про потребление своего диска так: Average: 5.4 W Maximum: 7.8 W (Burst mode)
Конечно, реальное потребление несколько ниже (я бы закладывался на PS1 в реальном мире - или на минус 2W, как у самсунга), но как только диски "увидят" что они не получили достаточно вольтажа по требованию - они вольны деградировать до любых минимальных значений.
Вообще же спеки NVMe рекомендуют стабильные 12W+ на каждый девайс. Это, конечно, цифры именно для NVMe, а не m.2 ssd, но в качестве пищи для размышления тоже стоит оставить эту информацию для ваших последователей.
В любом случае, вы не первый, кто пытается припаять 6х дисков к армовой плате, и проблемы с питанием у них возникали. Вот вам ещё раз ссылка, у них питания на 3 диска хватило.
Скорее всего, у вас 30W питания во всём устройстве, процентов 20 улетает на нагрев, из 24 оставшихся где-то 7 уходит на SoC под нагрузкой (который пыжится, пытаясь что-то сделать с raid5), 4-5 уходит на m.2 в основном слоте, ещё сколько-то на всякие wifi-модемы-плашку памяти. Сколько там остаётся пяти дискам? Точно ли всё, что остаётся, подаётся на их плату?
Либо, как вариант, диски отжирают всё питание, а троттлится из-за недостатка питания наоборот процессор - и не справляется с математикой для raid5
А что если я вам скажу, что у них в те же 8х на том же процессоре есть версия на 12 nvme -) ?
В общем, у них распаяно не 1 lane == 1 nvme, к сожалению. Используются PCIe-бриджи, и как оно там внутри - без даташита не разберёшься. Очень кажется, что часть дисков у них сильно меньше получает BW, чем другие.
ЗЫ - сам восхитился, потянулся покупать, а потом посмотрел реальные тесты -(
@mdevaevне хотите, кстати, в PiKVM community что-то похожее сделать на 4 диска в ваших корпусах? (сорри, что личный mention, больше никого на хабре не видел)
Здесь ещё подобное делают, может с ними совместно попробовать (они, правда, целятся в 6 дисков, но тоже уже хлебнули с питанием, хватает только на 3 от одного порта).
Ещё бы на ASM2806 и на nvme вместо мертворождённых m.2 ssd
Идея-то хорошая, только проблем у данной реализации много - питания всем дискам не хватает, проца под raid5 не хватает.
А в корпус V4 Plus как раз на глазок 4х2280 влезут на плате с двух сторон >_>
Хотя про Flashstore я может и зря быканул, тестов нет, а распаян он очень странно. Про него известно только то, что он 10 гигабит может отдавать, а вот локальный FIO ему никто толком не запускал.
Буду считать, что Flashstore выдаёт не миллионы, а всё же 3 сотни тысяч IOPS (3 сотни 4k randread он выдаст точно, больше нужно смотреть тестом - скорее всего, упрётся в 4 гигабайта в секунду (на 8 он не распаян точно), что даст миллион IOPS только в идеальных условиях, если вся нагрузка распределится по дискам идеально так, как того требует распайка, а этого, конечно, никогда не случится).
Кстати, о каких вы чипах по 250 баксов для PCIe-коммутатора вы рассказываете - тоже непонятно (хотя допускаю, что конкретно PLX стоит именно столько, но альтернативы-то ему вы не поискали - хотя и утверждаете, что сделать устройство быстрее вашего в том же размере невозможно, не добавив к его цене 250 баксов).
ASUS, например, построили свой PCIe-коммутатор на чипах, которые стоят 30 баксов в розницу
Проще дождаться, когда парни из https://www.jeffgeerling.com/blog/2023/building-tiny-6-drive-m2-nas-rock-5-model-b решат проблемы с питанием (у них тоже не хватает питания на 6 дисков под нагрузкой но в отличии от вас они эту проблему хотя бы планируют пытаться решить), чем вам что-то доказывать. Как минимум, у них уже до 2 гигабит в секунду по сети, а у вас FIO на локальной ФС меньше гигабита выдаёт.
Сотню тысяч IOPS выдаёт вообще любое устройство, в котором диски подключены по m.2. Включая, например, USB3-m.2 переходники.
Можете взять за ориентир этот вариант, если так уж нужна конкретная ссылка, 5 дисков, каждый из них подключен напрямую и работает быстрее, чем весь ваш массив (при этом минимум в 4 раза).
Да, устройств на 6 m.2 SSD в ровно таком же размере нет, даже у silvertips labs габариты другие - но связано это с тем, что люди в реальном мире решают реальную проблему "получить Х места, чтобы влезло в сумку", а не ищут устройство строго ваших габаритов строго за вашу цену (сколько, кстати?), строго на 6 дисков, строго m.2 ssd.
За 450 евро можно купить Flashstore - ужасающе огромные 200-250 евро переплаты (при стоимости одних только дисков в 750-1500 и до бесконечности евро) позволят подключить 6 дисков по миллиону IOPS с каждого вместо трёх тысяч со всех. Ни на что не намекаю, кстати, но блок питания у них на 65W, из которых процессор потребляет только 10.
Уф, устал. Большая часть комментов состоит в следующем:
Разберитесь, почему в вашем устройстве диски работают в 500 раз медленнее _любых_ других устройств, закрывающих те же задачи, а потом уже заявляйте, что вы сделали готовое решение.
В качестве "упрощения" для переносного устройства допустимо потерять пусть даже 80% производительности дисков, но не 99,8%.
А читателю, который мимо проходил почитать, я рекомендую взять Lenovo tiny mini pc и получить 4-5 дисков в 1 литре с суммарной производительностью выше миллиона IOPS.
250 баксов - это цена одного nvme на 4ТБ, самого-самого дешманского в РФ. Kingston уже 300+ будет, там хоть какая-то гарантия и сервис (впрочем, сами диски отвратительные).
И вы опять проигнорировали большую часть комментария - по ссылке можно посмотреть на фото, как в Lenovo tiny поставили 4 nvme и +1 2.5'' ssd без PLX-контроллера.
не очень доверяю результатам, полученным на бушных ноутбуках
Ага, на новом ноутбуке рассчёты будут хуже, да?
откуда берутся 50Вт питания
Вот специально выделил. Конкретные цифры ищите в спеках своего диска, вряд ли кто-то публиковал power-тесты для noname-дисков.
При этом чем больше объёма диски используются, тем выше потребление:
The power consumption of the 990 Pro while writing is between 5.0 W and 5.1W depending on the drive’s capacity, and the read varies from 5.4W on the 1TB option to 5.8W on the 2TB model.
400-450 евро на авито он стоит, у меня в ЕС ещё дешевле будет. Lenovo tiny refub будет <200 стоить, ещё переходников на сотню евро с али.
Оба варианта можно пойти и купить, а цену на своё устройство вы и вовсе не озвучили. Судя по цене готовых устройств на Rk3568 - не меньше 250 евро, если вы его планируете продавать и хоть сколько-то зарабатывать с одного устройства.
с которой вы постоянно сравнение делаете
Я сравниваю с разными конфигурациями, а не с одной - и ни в одной нет 500-кратной потери производительности дисков. Даже в варианте, когда диск подключен по USB.
Не требуется, если найти карту с PLX соответствующего размера
Но люди собирают туда 4 nvme другим способом Тут человек даже 5 дисков умудрился поставить, правда, 2.5 '' видимо будет просто на скотче, а не на болтах.
Аргумент "в PixelNAS диски работают в 500 раз медленнее, зато их шесть" не состоятелен.
Более того, я вам привёл пример, как в устройстве вашего форм-фактора получить более миллиона IOPS - да, готового нет, но и платить замедлением скорости работы дисков в 500 раз, используя ваше устройство, тоже нет никакого смысла, когда есть возможность добиться того же объёма на трёх-четырёх дисках в мобильном варианте, которые будут работать с нормальной скоростью.
Собирать устройство, работающее со скоростью текущей версии PixelNAS на твердотельных дисках банально нет смысла, вся экономия улетит в трубу при покупке дисков.
Делайте m2 nvme-версию, в которой диски подключены через нормальный PCI (хотя бы все через один - уже будет в сотни раз быстрее) Переходите на одноплатник с нормальным процессором, а не армом. Добавьте питание от type c через 2 порта, если делаете "мобильный" NAS - чтобы использовать power-банки. Добейтесь хотя бы ста тысяч IOPS со всех дисков Тогда можно задумываться о том, что это "готовый мобильный NAS".
Скорость PixelNAS ограничена производительностью 1GbE
У вас FIO показал 3 тысячи, при чём тут 1GbE? NAS занимается не только тем, что отдаёт-принимает данные по сети.
Например, после перезапуска торрент-клиента PixelNAS будет переиндексировать локальные 20 террабайт торрентов (6 дисков по 4 террабайта в raid5) на протяжении... эээ... 4.5 дней блоками по 512к и 19 дней блоками по 4к, если я нигде не ошибся.
В спеках на диски обычно указывается разброс рабочих значений напряженй.
А так же в спеках на диски указаны idle power и потребление под нагрузкой. Для idle у вас питания хватает, диски запускаются, а дальше в полную скорость работать не могут - это, конечно, теория, её нужно проверять, но я не вижу, откуда у вас взяться 40-50 ваттам питания на вашей плате в любом случае.
Каждый диск по отдельности видит достаточно питания, но когда все они пытаются употребить электричества по максимуму - его не хватает.
Мои любимые intel 670p вне троттлинга в нулевом power state хотят 5.5W.
WD Black SN850 без троттлинга в PS0 заявляют 9W.
И на примере Corsair MP400 можно посмотреть на рост потребления в зависимости от размера диска - 4W для 1TB версии и уже 6.5W для 4/8TB версий.
Реальное потребление тестировали у Samsung 990 Pro - The power consumption of the 990 Pro while writing is between 5.0 W and 5.1W depending on the drive’s capacity, and the read varies from 5.4W on the 1TB option to 5.8W on the 2TB model. А вот тут даже с картинками для того же 990 Pro в зависимости от iodepth.
Сами же Сосунги пишут про потребление своего диска так:
Average: 5.4 W
Maximum: 7.8 W (Burst mode)
Конечно, реальное потребление несколько ниже (я бы закладывался на PS1 в реальном мире - или на минус 2W, как у самсунга), но как только диски "увидят" что они не получили достаточно вольтажа по требованию - они вольны деградировать до любых минимальных значений.
Вообще же спеки NVMe рекомендуют стабильные 12W+ на каждый девайс. Это, конечно, цифры именно для NVMe, а не m.2 ssd, но в качестве пищи для размышления тоже стоит оставить эту информацию для ваших последователей.
В любом случае, вы не первый, кто пытается припаять 6х дисков к армовой плате, и проблемы с питанием у них возникали. Вот вам ещё раз ссылка, у них питания на 3 диска хватило.
Скорее всего, у вас 30W питания во всём устройстве, процентов 20 улетает на нагрев, из 24 оставшихся где-то 7 уходит на SoC под нагрузкой (который пыжится, пытаясь что-то сделать с raid5), 4-5 уходит на m.2 в основном слоте, ещё сколько-то на всякие wifi-модемы-плашку памяти. Сколько там остаётся пяти дискам? Точно ли всё, что остаётся, подаётся на их плату?
Либо, как вариант, диски отжирают всё питание, а троттлится из-за недостатка питания наоборот процессор - и не справляется с математикой для raid5
/me записался в виртуальный waitlist -)
Спасибо!
Любой не любой, но попробовать на телефоне с OTG можно
А что если я вам скажу, что у них в те же 8х на том же процессоре есть версия на 12 nvme -) ?
В общем, у них распаяно не 1 lane == 1 nvme, к сожалению. Используются PCIe-бриджи, и как оно там внутри - без даташита не разберёшься. Очень кажется, что часть дисков у них сильно меньше получает BW, чем другие.
ЗЫ - сам восхитился, потянулся покупать, а потом посмотрел реальные тесты -(
@mdevaevне хотите, кстати, в PiKVM community что-то похожее сделать на 4 диска в ваших корпусах? (сорри, что личный mention, больше никого на хабре не видел)
Здесь ещё подобное делают, может с ними совместно попробовать (они, правда, целятся в 6 дисков, но тоже уже хлебнули с питанием, хватает только на 3 от одного порта).
Ещё бы на ASM2806 и на nvme вместо мертворождённых m.2 ssd
Идея-то хорошая, только проблем у данной реализации много - питания всем дискам не хватает, проца под raid5 не хватает.
А в корпус V4 Plus как раз на глазок 4х2280 влезут на плате с двух сторон >_>
Хотя про Flashstore я может и зря быканул, тестов нет, а распаян он очень странно. Про него известно только то, что он 10 гигабит может отдавать, а вот локальный FIO ему никто толком не запускал.
Буду считать, что Flashstore выдаёт не миллионы, а всё же 3 сотни тысяч IOPS (3 сотни 4k randread он выдаст точно, больше нужно смотреть тестом - скорее всего, упрётся в 4 гигабайта в секунду (на 8 он не распаян точно), что даст миллион IOPS только в идеальных условиях, если вся нагрузка распределится по дискам идеально так, как того требует распайка, а этого, конечно, никогда не случится).
Кстати, о каких вы чипах по 250 баксов для PCIe-коммутатора вы рассказываете - тоже непонятно (хотя допускаю, что конкретно PLX стоит именно столько, но альтернативы-то ему вы не поискали - хотя и утверждаете, что сделать устройство быстрее вашего в том же размере невозможно, не добавив к его цене 250 баксов).
ASUS, например, построили свой PCIe-коммутатор на чипах, которые стоят 30 баксов в розницу
Проще дождаться, когда парни из https://www.jeffgeerling.com/blog/2023/building-tiny-6-drive-m2-nas-rock-5-model-b решат проблемы с питанием (у них тоже не хватает питания на 6 дисков под нагрузкой но в отличии от вас они эту проблему хотя бы планируют пытаться решить), чем вам что-то доказывать.
Как минимум, у них уже до 2 гигабит в секунду по сети, а у вас FIO на локальной ФС меньше гигабита выдаёт.
Сотню тысяч IOPS выдаёт вообще любое устройство, в котором диски подключены по m.2. Включая, например, USB3-m.2 переходники.
Можете взять за ориентир этот вариант, если так уж нужна конкретная ссылка, 5 дисков, каждый из них подключен напрямую и работает быстрее, чем весь ваш массив (при этом минимум в 4 раза).
Да, устройств на 6 m.2 SSD в ровно таком же размере нет, даже у silvertips labs габариты другие - но связано это с тем, что люди в реальном мире решают реальную проблему "получить Х места, чтобы влезло в сумку", а не ищут устройство строго ваших габаритов строго за вашу цену (сколько, кстати?), строго на 6 дисков, строго m.2 ssd.
За 450 евро можно купить Flashstore - ужасающе огромные 200-250 евро переплаты (при стоимости одних только дисков в 750-1500 и до бесконечности евро) позволят подключить 6 дисков по миллиону IOPS с каждого вместо трёх тысяч со всех. Ни на что не намекаю, кстати, но блок питания у них на 65W, из которых процессор потребляет только 10.
Ага, на рутрекере есть готовая сборка с вшитым вайном
Вот только, к сожалению, игра недостаточно отбалансирована и влёт проходится мечником без любых заклинаний и технологий -(
Хотя всё равно она при этом остаётся любимой игра, мда -)
Уф, устал.
Большая часть комментов состоит в следующем:
Разберитесь, почему в вашем устройстве диски работают в 500 раз медленнее _любых_ других устройств, закрывающих те же задачи, а потом уже заявляйте, что вы сделали готовое решение.
В качестве "упрощения" для переносного устройства допустимо потерять пусть даже 80% производительности дисков, но не 99,8%.
А читателю, который мимо проходил почитать, я рекомендую взять Lenovo tiny mini pc и получить 4-5 дисков в 1 литре с суммарной производительностью выше миллиона IOPS.
До свидания, и так много времени потратил.
90 тысяч IOPS?
этому диску 10 лет?
Современный самсунг в спеках обещает более миллиона IOPS с диска и потребление 8.1
250 баксов - это цена одного nvme на 4ТБ, самого-самого дешманского в РФ.
Kingston уже 300+ будет, там хоть какая-то гарантия и сервис (впрочем, сами диски отвратительные).
И вы опять проигнорировали большую часть комментария - по ссылке можно посмотреть на фото, как в Lenovo tiny поставили 4 nvme и +1 2.5'' ssd без PLX-контроллера.
Ага, на новом ноутбуке рассчёты будут хуже, да?
Вот специально выделил.
Конкретные цифры ищите в спеках своего диска, вряд ли кто-то публиковал power-тесты для noname-дисков.
При этом чем больше объёма диски используются, тем выше потребление:
У террабайтных на 0.4 ниже двушек.
А у "энтерпрайз" линеек всё ещё веселее, там до 40 ватт в пиках с одного диска. Но там u.2 все.
400-450 евро на авито он стоит, у меня в ЕС ещё дешевле будет.
Lenovo tiny refub будет <200 стоить, ещё переходников на сотню евро с али.
Оба варианта можно пойти и купить, а цену на своё устройство вы и вовсе не озвучили. Судя по цене готовых устройств на Rk3568 - не меньше 250 евро, если вы его планируете продавать и хоть сколько-то зарабатывать с одного устройства.
Я сравниваю с разными конфигурациями, а не с одной - и ни в одной нет 500-кратной потери производительности дисков. Даже в варианте, когда диск подключен по USB.
Даже они стоят 65 евро за террабайт (что много для NAS с такой производительностью) - и могут выдавать сотню тысяч iops.
Не требуется, если найти карту с PLX соответствующего размера
Но люди собирают туда 4 nvme другим способом
Тут человек даже 5 дисков умудрился поставить, правда, 2.5 '' видимо будет просто на скотче, а не на болтах.
Встречный вопрос - каким образом хранилище из 5 дорогих дисков может быть медленнее USB-порта, и зачем оно такое нужно?
*sigh*
Lenovo tiny на 4 nvme даст больше миллиона iops
Lenovo p53 на 3 nvme даст больше миллиона iops.
Аргумент "в PixelNAS диски работают в 500 раз медленнее, зато их шесть" не состоятелен.
Более того, я вам привёл пример, как в устройстве вашего форм-фактора получить более миллиона IOPS - да, готового нет, но и платить замедлением скорости работы дисков в 500 раз, используя ваше устройство, тоже нет никакого смысла, когда есть возможность добиться того же объёма на трёх-четырёх дисках в мобильном варианте, которые будут работать с нормальной скоростью.
Собирать устройство, работающее со скоростью текущей версии PixelNAS на твердотельных дисках банально нет смысла, вся экономия улетит в трубу при покупке дисков.
Делайте m2 nvme-версию, в которой диски подключены через нормальный PCI (хотя бы все через один - уже будет в сотни раз быстрее)
Переходите на одноплатник с нормальным процессором, а не армом.
Добавьте питание от type c через 2 порта, если делаете "мобильный" NAS - чтобы использовать power-банки.
Добейтесь хотя бы ста тысяч IOPS со всех дисков
Тогда можно задумываться о том, что это "готовый мобильный NAS".
У вас FIO показал 3 тысячи, при чём тут 1GbE? NAS занимается не только тем, что отдаёт-принимает данные по сети.
Например, после перезапуска торрент-клиента PixelNAS будет переиндексировать локальные 20 террабайт торрентов (6 дисков по 4 террабайта в raid5) на протяжении... эээ... 4.5 дней блоками по 512к и 19 дней блоками по 4к, если я нигде не ошибся.
А так же в спеках на диски указаны idle power и потребление под нагрузкой. Для idle у вас питания хватает, диски запускаются, а дальше в полную скорость работать не могут - это, конечно, теория, её нужно проверять, но я не вижу, откуда у вас взяться 40-50 ваттам питания на вашей плате в любом случае.
Каждый диск по отдельности видит достаточно питания, но когда все они пытаются употребить электричества по максимуму - его не хватает.