Comments 136
Купить 2 сетевые карты Ethernet 10 Гбит/с за 7600 каждая всё ещё выглядит проще, хотя и немного дороже. Для связи двух устройств свитч не нужен.
C sfp+ картами так же можно обойтись без свича подключив сервер напрямую к пк, и настроив сеть так что бы один элемент этой конструкции пропускал соединение с ethernet порта в sfp+ и обратно. Но мне хотелось что бы вся эта конструкция работала независимо от состояния сервера или пк, а так же не требовала каких либо конфигураций, а была просто Plug n Play. Приятным бонусом моей конструкции является 4 порта 2.5gbe (3 если считать что один порт используется для подключения к роутеру.)
Пара sfp+ карт и один dac кабель выйдут по цене примерно как одна 10gbe карта, и нагрев/потребление будет заметно ниже.
так что бы один элемент этой конструкции пропускал соединение с ethernet порта в sfp+ и обратно.
Не обязательно. В компьютеры всё ещё можно вставлять несколько сетевых карт. Одна пойдет в интернет по 1гбит, вторая в NAS по 10гбит.
ну если без свитча, то зачем морочиться ethernet-ом? Две карточки infiniband на озоне стоят ~12тыр, кабель еще 3. Будет 40g )
Зато со свичом можно и через роутер в Интернет ходить, и другие более медленные девайсы подключать
А чем Intel X520-DA1 нехорош?
~2500р на Ali. Или на броадкоме, подороже, но тоже примерно то же самое.
Почему именно Mellanox?
Bcm578xx стоят по 50е за штуку. Куда уж "дороже" за этот хлам :)
Bcm578xx не совместимы с рядом серверов
в своих серверах сталкивался с 2мя серврами
SuperMicro X13SAE-F-B и TYAN B7061
несовместимость до уровня невозможности входа в BIOS
По теме, я года 3-4 назад выбирал оборудование для 10GB
Но в основу легла не только цена, сколько надежность
выбор пал на пару бу 3064pq
варианты тренднетов, hp, и даже Ubiquiti и микротиков отпадали после глубокого изучения спецификаций и опросов коллег на предмет опыта работы с железками, изучения форумов, тот же LACP очень плохо чувствует на них себя
Про супермикро ничего не знаю. Судьба избавила от удовольствия их увидеть.
Второе - вообще первый раз вижу.
Если уж хочется хардкора, всегда есть G10 HPE которые за 5к комплектуются на фулпак с того же сервершопа. Тоже самое и _40 Dellами на голде 6140-6158. (:
LACP в 2к24 - тоже сильно. Особенно с учетом VMQ в Hyper-V и нормальной работы vSwitch-а в VMware. Если речь про mLag реализацию между свитчами, то там каждый вендор фапает, как он хочет и всё работает через пень-колоду. Реализация данного веселья между всякими DCN <-> Cisco передавала привет.
Бтв, у нехусов есть одна проблема. DCB :) На древних делл свитчах прошлым сетевикам удалось завести. На нехусах не вышло. Нибирёт (:
Очень странно слышать про супермикро - они делают (делали) же карточки 10Gbit на Broadcom, думаете они в их же материнках не будут работать?
PS прошу прощения за ошибки, если сильно восприимчивы то не читайте это сообщение))
Т.к могу оставлять только одо сообщение в день отвечу двоим сразу
1 @falcon4fun HPE частенько выпускаются на тех Broadcom, а 656596-B21 тому пример. Свитч HPE отпал у меня изза отзыва знакомого, у которого 4 штуки отошли в гарантийку по блоку питания, а иные модели не вписывались в бюджет мой.
VMQ не использую, поэтому не скажу, а вот 802,3ad с Proxmox во всю с VPC конечно же, проблем, тьфу тьфу, не было, vSwitch было на 3х серверах тоже без проблем
HP и Nexus подружил легко, проблем не возникло
Про DCB тоже ничего не скажу, слышу от вас впервые об нем)
2 lexa микры не выпускают своих сетевых карт, я провел обширную работу по попыткам завести 57810s на микре, шил и в Dell и в Maxwell и попытался в HP, сиптомы на X13SAE-F-B были от невозможности войти в BIOS до отказа в процессе работы. Менял карты, менял слоты и прошивки, писал саппорту того же Lr-Link, прочитал множество ошибок на RedHat
замена на 710 интел решило проблему
По прошивке кстати статью можно написать, ибо смена прошивки дело не легкое, начать стоить с того что Broadcom больше не Broadcom, а Maxwell, и прошивку натянуть на старые карты они просто так не дают, отсюда нужно грузиться в UEFI и спец утилитой менять Vid_ Pid и пару других бесполезных параметров,это позволяет карте увидится тем же Dell или Maxwell и без проблем перешиться в нужную прошивку. Кстати на x10dri после перепрошивки все успешно запустилось и работает под серьезной нагрузкой, а вот X13SAE-F-B, что до прошивки, что после просто глючит, жалобы на 2022+ год мамок я встречал и на хабре, про IPMI глючащий я вообще молчу, в том же X13SAE-F-B он даже с лицензией не даст вам шить BIOS, все это похоже больше на сырое и недоделанное, а то и вообще приделанное что-то к чему-то. Ряд опций BIOS вообще заставляют сервер зависать на этапе загрузки и только замыкание контактов помогает. Тем кто будет шить 57810s категорически не советую шить на HP, сбой в прошивки и кирпич. Кстати шьется не одна прошивка а группа прошивок от PXE до лоадеров и т.д, там 5-6 их и у каждого вендора свой набор вообще никак не связанный с логикой, у кого-то одна прошивка старая, другие новее, у кого-то наоборот
Я не думаю, я сам столкнулся и больше не хочу сталкиваться)
TYAN B7061 при вставлении Broadcom как мне показалось вообще плавить чип начал на плате, до BIOS не добрался)) долго не проверял, но общие ощущения были что там издец), 710я карта в том же слоте взлетела, естественно broadcom не одну карту на нем попробовал.
PS ответ на нижестоящий комментарий о aoc-stg-b4s
@lexa BCM57840S - не тешьте себя надеждами, наклеить шильдик не равно делать сетевые карты
@lexa посмотрите личные сообщения, обсудим там
вторая карта тоже Broadcom
В моей вселенной супермикро делает сетевые карты (на броадкоме)
https://servomarket.ru/catalog/komplektuyushchie/setevye_adaptery/458/
Есть и двухпортовые:
https://smicro.eu/supermicro-10g-base-t-ethernet-adapter-supporting-broadcom-netxtreme-e-series-aoc-stg-b2t-o
Конечно эти карты на броадкоме.
Я про это и спрашивал:
Очень странно слышать про супермикро - они делают (делали) же карточки 10Gbit на Broadcom, думаете они в их же материнках не будут работать?
В статье как раз целый абзац под этот вопрос выделен.
После долгого изучения форумов и реддита я пришёл к таким выводам:
У Mellanox чуть лучше драйверы и стабильность.
Mellanox менее привередлив к Трансиверам и DAC-кабелям.
Mellanox (3) чуть более производительный, чем X520.
Mellanox имеет меньшее потребление как в idle, так и под нагрузкой.
Mellanox имеет больше фишек (например, RDMA).
Intel в целом дешевле.
А еще сами меланокс ответили на этот вопрос своими тестами https://network.nvidia.com/related-docs/whitepapers/CB_Mellanox_Ethernet_NIC_Advantage.pdf
Ну смешной документ же, нет?
When it comes to bandwidth, ConnectX-3 Pro EN offers 10, 40 and 56 Gb/s Ethernet, while the X520 only
reaches the 10 GbE level. This constitutes a significant difference in capability. Furthermore, because the
ConnectX-3 Pro EN uses a PCIe Generation 3.0 bus, it can handle as many as 8 GT/s (Giga-transfers per
second), compared to only 5 GT/s with the X520’s PCIe Gen 2.0 bus.
Мы же про 10Gbit, верно, не про 40 и не про 56? На 10Gbit вы не увидите разницу между PCIe Gen2 и Gen3.
Про RDMA - интересный аргумент, но кто его использует на практике то? Что у вас на сервере, к чему вы ходите по RDMA?
Это буквально ноунейм балалаяка с Aliexpress.
В этих свичах на 2.5G SFP+ после покупки первым делом их нужно разбирать и смотреть нормально ли приклеен радиатор к чипу. Брал несколько штук подобных, и у всех был криво приклеен радиатор. А для надежности сразу переклеить радиатор на нормальный теплопроводящий клей.
Но в целом, хороший и бюджетный свич. Есть еще подобные управляемые, но в деле пока не проверял.
А однопортовые SFP+ карточки я бы рекомендовал X520-DA1, стоят на Али дешево. Сколько брал их - ни разу проблем не было, ни в винде, ни в линуксе. Двухпортовые NC550SFP хорошо работают, такие же дешевые, но на них в отличие от X520 не поднимается SR-IOV.
я бы рекомендовал X520-DA1, стоят на Али дешево. Сколько брал их - ни разу проблем не было, ни в винде, ни в линуксе.
Они х8, как с ними может не быть проблем?
В бытовой технике х8 порты практически отсутствуют. Вставить можно только в х16 а он обычно один и там уже живет видеокарта.
Остается только х4 которые тоже присутствуют не всегда, или х2/х1 но тогда про 10Gb можно забыть.
Остается только х4 которые тоже присутствуют не всегда, или х2/х1 но тогда про 10Gb можно забыть.
PCIe 3.0 1x имеет скорость около 10 Гбит/сек, что уже хватит для более-менее полной загрузки 1-портовой карточки.
PCIe 3.0 1x имеет скорость около 10 Гбит/сек, что уже хватит для более-менее полной загрузки 1-портовой карточки.
Я правильно понимаю что в порту PCIe 3.0 1x карта PCI Express 8x Gen 2.0 сможет дать полную загрузку?
Извините но реальность как-то не подтверждает подобное.
Ну да, забыл что эти карточки только PCIe 2.0 тянут.
Тогда получается 1-портокой нужно минимум 2х, а 2-портовой минимум 4х.
Вы еще забыли оверхед на кодирование (5 GT/s это raw bandwidth), поэтому x2 даст 10 GT/s, но где-то всего 8 Гбит/с реальной пропускной способности до устройства, плюс сетевуха не только данные принимает и отдает, есть еще управляющие команды. Так что нужно PCIe 2.0 x4 для того чтобы надежно обеспечить 10 Гбит/с сетевухе, на 1 порт притом.
Фактически pcie 2.0 x1 дает 3.2, а pcie x2 6.5.
Столкнулся с этим практически, а из портов только х16 х2 и х1.
Теперь из вариантов или менять материнку +17р или покупать что-то с pcie 3.0.
Фактически pcie 2.0 x1 дает 3.2, а pcie x2 6.5.
Сейчас проверил. 2-портовая NC550SFP (PCIe 2.0) стоит в разъеме x4, по крайней мере в одну сторону легко выжимает оба канала одновременно по 10Гбит. А судя по вашим расчетам она должна выдавать максимум 13Гбит в сумме.
А вот в обе стороны полную загрузку скорее всего не вытянет, для этого ее нужно в 8x.
Это не расчеты, "фактически" это значит что я взял карту поставил в разъем и замерил скорость.
Однопортовая Mellanox ConnectX MT26448.
На pcie 3x1 дает 3Гбит, pcie 3x2 6Гбит. Имею смелость предположить что на x4 выйдет на обещанные 10Гбит. Где бы только теперь эту самую х4 взять.
Может конечно с NC550SFP все иначе, при случае попробую их.
Но основная моя мысль изначально была про то что свои возможности такие карты раскрывают на x8 или х16, а с этим в обычных MB некоторые проблемы.
Ещё есть такие же свичи, но с PoE
"С минимальным бюджетом" и "на Али" - это когда со всеми купонами-промокодами-скидками... Правда, совсем не для этого сайта статья будет.
Замечания:
1. Для использования mtu 9000 нужно настраивать всех участников, от того, что на одном интерфейсе прописали 9000 - оно работать не станет. Тем более у проксмокса в настройках бриджа осталось 1500;
2. Для "доступности RDMA" его должны поддерживать все участники (если говорить про хороший аппаратный rdma, есть конечно softrdma, но насколько оно рабочее...), ПО в том числе.
Китайские свитчи 🤣🤣 Ох ееееетить. 😄
А других щас нет и не будет.
А какие ваши предложения? Я вот с удивлением обнаружил, что 2.5Гбит сейчас почти во всех материнках, а свитчей и роутеров с такими портами почти что и нет. А у китайских непонятных брендов - есть. Рынок "больше чем 1гбит и без шумного вентилятора и чтоб уже, чем 19 дюймов" фактически отсутствует.
Офигеть цены классные. В США это все в два раза дороже на амазоне. TL-SX1008 на 8 портов почти 400
https://www.amazon.com/TP-Link-TL-SX1008-Multi-Gig-Protection-Auto-Negotiation/dp/B0916BNNML/ref=sr_1_3?dib=eyJ2IjoiMSJ9.1gHPKWdmSSBPZIFJjXdBSLFsa0DlyxZjyTij_avVb5mZV2i-1Tm2k3nBb0Jf0Jv0GKFH8Gh8-0w8LVOEcTX4gTFg4YQaPnlEwGm0pIKa7MH1YjJfmWO2BPJfpttqaEJTfiozN7OihyHWDwRzpRglSHCYnRq8KClHBXQsGBBwcsveVzYYu2Oh5DLZVakKE3YBY3Wc6WdU6gJ73CRKLMD3fH-YH_Es4HntYqR4RLgRPUY.JyA78RNHVaVpta7JktUZ-GAVnVnKU60mMnoW-x763dY&dib_tag=se&keywords=TL-SX1008&qid=1712510139&sr=8-3
Сетевуха Intel x550-t2 180$.
https://www.amazon.com/Vogzone-X550-T2-Network-ELX550AT2-Controller/dp/B07DHDW59N/ref=sr_1_3?crid=CJ070UQ6XL3I&dib=eyJ2IjoiMSJ9.VzGaDpX4Sfj1KrPtgfICZd0B2fDWB4jANM2UWEaSlunaJuGXV8KcUNFU6PbQ7hAwlrhT3liWcsfEhAyaUZV67jpuLVu7AVv344B7eEKIjO2Hitu5_X6_ZXEnJEUeXq02knCq7rGGz8mgOWJkaJXp-xAj6fdZzHCCsUrmfTnbb961yDl0aeQ-B8zlRPwVsCNMeW_XG_B74w2_5VmcfinyBaQdJjAxPkYiXkeoOZb9fRM.Btlo7-D1KQVfLnxpinIVMkXbe9kWsilXHytCU2VNwZE&dib_tag=se&keywords=Intel+x550-t2&qid=1712510276&sprefix=intel+x550-t2%2Caps%2C111&sr=8-3
Вопрос какая страна тут под санкциями.
Покупать на али можно и из сша, ехать будет долго правда. Но и в рф посылки едут не мгновенно а 2+ недели минимум. На амазоне обещают гарантию и быструю доставку, с али же никаких гарантий, решай проблемы сам.
В США зарплаты в разы выше, так что относительно уровня зп стоит дешевле)
x550-t2 было много дешевле $50. Свичей, да, нет много. Только вышел недавно QSW-M3216R-8S8T-US qnap $600, альтернативы tplink / zyxel либо менее функциональны, либо дороже. Для ноутбука использую OWC thunderbolt pro dock со встроенной пассивной 10gbe сетевухой, обошелся дешевле $140.
А покупать б/ушное на амазоне -- это интересная идея. Посмотрите на ибее :)
Интересно, а обычный 100 мбит езернет можно параллелить? Иногда бывают ситуации, когда 100 мбит в локалке мало, а городить гигабит для этого - перебор. Самая простая конфигурация - прямое подключение комп-комп, в каждом скажем по три сетевых интерфейса, и разумеется соединяются они тремя проводами. Роутер не нужен, Ip можно статические прописать.
Можно, см. Bonding (в linux), NIC teaming (windows). Но каждое TCP/UDP соединение пойдет только по одному проводу, то есть будет не более 100 мбит/с. То есть, будет иметь смысл только когда у вас устанавливается много соединений.
Если в дополнение к компам появится свитч, то нужна поддержка объединения портов на свитче, это должен быть управляемый свитч.
Можно, но нужно настраивать агрегацию канала, и одно подключение будет ограничено 100мб. В текущих реалиях гигабит будет проще и дешевле, коме случаев когда нет портов и некуда подключить карту.
В теории можно, на практике оно того не стоит. Гигабитные свитчи и карточки не стоят ничего. 5е витой пары хватает.
multipath tcp может помочь как мне кажется. Это лучше бонда должно быть, так как в итоге tcp сессия не будет ограничена пропускной способностью адаптера
Настоящее суммирование интернет-каналов — OpenMPTCPRouter / Хабр (habr.com)
а обычный 100 мбит езернет можно параллелить?
Лично у себя дома я параллелю две 1Gb сетевые с каждой стороны (NAS и комп) и включаю SMB multichannel безо всяких бондингов. Работает. 4-дисковый RAID5 у меня как раз примерно 200Мб/с и выдаёт, плюс-минус.
Статью прочитал. Так и эдак прикинул, но так и не придумал зачем дома 10 Гб (если у вас дома не дата-центр, конечно).
И если выбирать, то я бы предпочёл (нормальную) инфраструктуру СКС 5-й категории, чем 1 кабель 6-й категории через всю квартиру прибитый гвоздями по плинтусу между сервером и рабочей станцией.
Так и эдак прикинул, но так и не придумал зачем дома 10 Гб
Чтобы файлопомойка на отдельном ПК (сетевая шара) работала со скоростью локального диска. Одинокий HDD еще пролезает в 2.5, а вот приличный RAID (или SSD) уже нет.
Сходил в Яндекс.Маркет, посмотрел там NAS и не нашел там ничего на 10G, даже в категории до 200т.р.
На мой взгляд, статью стоит дополнить описанием развертывания NAS на ПК, иначе нет особого смысла экономить на картах.
Плохо вы искали. Даже самые дорогие NAS на рынке - Synology со стоимостью самого NAS в 60тр (ds923+) - разгоняется до 10гбит покупкой фирменной 10gbe карты за 11тр. То есть 70 с небольшим тысяч на круг, а не 200.
И это самый дорогой производитель. К примеру, UGreen сейчас влетел на рынок. В них 2 порта по 10 Гбит уже установлено с завода и стоят они все дешево.
и это все не считая самосборов, в которых за условную 20-ку можно с 10гбит собрать.
"Портов" недостаточно, нужно чтобы контроллер успевал на них данные закидывать (и делать одновременно также и то, чем его вендор нагрузил, типа расчета контрольных сумм RAID) чото есть большие сомнения, что UGREEN это умеет, и даже что Synology умеет.
Это я даже не начинаю про то, что для поноценного 10G диски должны быть SSD, а не нынешние HDD на 5400 с "черепицей".
чото есть большие сомнения, что UGREEN это умеет,
Недавно на их Nasы вышли обзоры, вполне себе справляется на скоростях в 10 гигабит.
Это я даже не начинаю про то, что для поноценного 10G диски должны быть SSD, а не нынешние HDD на 5400 с "черепицей".
Тот же ZFS кеширует данные в ram, отсюда нет проблем развивать высокие скорости даже с обычными жесткими дисками.
Ой. :) Годы, проведенные в энтерпрайзе научили меня простому правилу: "Никогда не доверяй результатам, которые не подделал собственноручно". Это даже для Tier-1 вендоров так, а уж для UGREEN, которые никогда не стеснялись использовать "китайские ватты"(tm) и вообще любят выдавать очень сильно желаемое за реальность....
Что же касается "тестирования скорости кэша", мне казалось что это какбэ... моветон, в вопросах измерения производительности, нет?
UGREEN, которые никогда не стеснялись использовать "китайские ватты"(tm) и вообще любят выдавать очень сильно желаемое за реальность....
А можно подробнее ? Я занимаюсь обзорами и у меня была куча техники ugreen. Не припомню что бы те же блоки не выдавали заявленного или врали в характеристиках. Хотя у меня их несколько десятков на тестах было.
В противовес годам проведённым в энтерпрайзе ещё есть "годы незаметного закона мура", когда оглядываешься, а прошло полтора десятилетия и твой домашний нас на 8х nvme в разы быстрее и объёмнее, чем безумные hitachi VSP из десяти стоек, с которыми работал на работе :)
А подскажите пожалуйста NAS на 8х nvme?
Зачем вам в NAS nvme? Что за задача?
Не помню NAS на 8 nvme, но могу показать на 12. FLASHSTOR 12 Pro (FS6712X) M.2 NVMe SSD NAS | Store more in a flash! | ASUSTOR NAS
Да, имел в виду подобный флэшстор. Как вариант можно из обычного ПК замутить: пара подобных карточек, 8 топовых ссд и бог знает каким образом вы сможете это когда-либо загрузить :)
Есть QNAP TBS-h574TX. Правда, всего на 5, а не на 8, но зато с горячей заменой.
К сожалению "Закон Мура" не работает в отношении надежности так, как работает для плотности транзисторов. И если 25-30-летние Симметриксы и Стораджтеки наверняка где-то еще "коптят", храня данные, то насчет нынешних "QLC NVME" у меня есть серьезные сомнения, что они хотя бы даже приблизиться сумеют к их уровням надежности хранения.
Любая из железок что умопянул - умеет в кэширование памяти и кэширование второго уровня в nvme. Скорости без проблем не то, что 10гигабит, все 25 выдадут и больше, ограничение по сути в скорости процессора, а не дисков.
Упадет только при заполнении обоих кэшей (а это терабайты, в зависимости от размер nvme кэша). Тут вы сами влияеете. В общем, проблемы на 10гбит писать нет и читать повторные данные тоже
Вы это в теории рассуждаете, или в руках держали? Я держал, если что. Все плохо. В реальной жизни и для реальной нагрузки это неприменимо.
Ну, сделать домашнюю файлопомойку и показывать "мама, смотри, без рук! я могу скачать BD RIP со скоростью провода! (один и закэшированный)" - это да. Но применимость такого у меня вызывает сомнения.
Synology умеет. Независимо от нагрузки не видел, чтобы загрузка процессора была более 13%. Речь о 1621xs+ и Xeon. В сабже встроенный проводной 10gbe порт и предыдущий хозяин поставил плату расширения на два FSP+ порта. Никаких затыков при одновременной работе с тремя 10gbe клиентами не замечал.
А самосбор это такое себе. Деньги потратишь те же или больше, а мороки очень много.
На мой взгляд, статью стоит дополнить описанием развертывания NAS на ПК, иначе нет особого смысла экономить на картах.
А это на самом деле в планах есть. Сборка домашнего сервера без компромиссов так сказать. На хорошем современном железе, с виртуализацией, с анодированием медиафайлов на видеокарте, и все это по цене до 500$.
Сходил в Яндекс.Маркет, посмотрел там NAS и не нашел там ничего на 10G, даже в категории до 200т.р.
Нас зачастую является обычным x86 компьютером под капотом, и никто не запрещает поставить туда совместимую сетевую карту на 10 гигабит, тем самым получив быструю сеть.
NAS-ы я вообще не очень уважаю, признаюсь. Лично у меня сначала был Xeon на китайской плате, потом переехал на бывший основной 3900Х.
я вообще на 25гб сеть уже засматриваюсь. дома. в хом сервер напихать nvme дисков и в zfs raid, и забирать на мини-пк по сетке почти как с локального nvme pcie3.0, по iscsi. правда пока не понял как в мини-пк организвать сетку 25гб. вернее понятно, но дорого - шасси как под egpu по USB4/TB, и туда сетевую карту. но шасси нынче дорого стоят...
кстати вопрос к автору статьи, такая карта норм будет mcx4121a-acat? цена не дорогая, и поднимается и в 10 и в 25гб (при необходимости)
Плюс автор пишет о дикой загрузке процессора при сетевых операциях, плюс высокая стоимость всего этого дела - под какие-то конкретные задачи можно с этим связываться, а так оно особо и не нужно.
такая карта норм будет mcx4121a-acat?
Я конечно не автор, но будет норм если прошивку свежую поставить (на очень старых могут быть проблемы, вплоть до того что система не будет видеть карту). Можно и xcat и перешить в acat. Cx4/5 шьются в соседние модели обычно без проблем, пока pcb совпадает.
чем 1 кабель 6-й категории через всю квартиру прибитый гвоздями по плинтусу между сервером и рабочей станцией.
Так вышло что мой пк тоже в рэке, и все это стоит рядом с рабочим столом. Полка из дерева, самодельная, вся эта конструкция выглядит красиво и скорее как участь интерьера. Так что по квартире ничего тянуть не пришлось.
Так и эдак прикинул, но так и не придумал зачем дома 10 Гб (если у вас дома не дата-центр, конечно).
Работаю с файлами на сервере (там NAS софт), банально ускорение сети дало десятикратное ускорение работы с файлами (на самом деле переходил с 2,5гбе так что x4 ускорение, но все еще в разы быстрее чем было).
Так и эдак прикинул, но так и не придумал зачем дома 10 Гб (если у вас дома не дата-центр, конечно).
Довольно часто спонсором 10 гб выступает желание построить дома девопс лабораторию. Всякие live migration поверх CEPH в легкую сожрут даже 40гб и не подавятся.
А 10 гб это так, минимально рекомендованные.
А что за используемый тепловизор?
Intel x550-t2 обойдётся примерно в 100$ и потребует активного охлаждения!
Но у карты же пассивное охлаждение без кулера
Медные трансиверы на 10G только сами по себе рассеивают 10+ ватт легко, не считая чипа карты и прочего - оно конечно может работать пассивно, но на грани. У меня такие стоят, греются под 100 градусов и уходят иногда в тепловой шатдаун после.
Оптика кушает раза в три меньше и не греется, DAC тем более.
Это серверное оборудование, в любом сервере всегда имеется сильный воздушный поток вдоль всего корпуса. Все карты расширения предназначенные для серверов проектируются с учётом того, что хороший обдув будет обеспечен корпусными вентиляторами, соответственно ограничиваются только радиатором на чипах, но это не отменяет необходимость активного охлаждения.
connect-x 3 при постановке в систему отключает c-states проца, и то что наэкономлено на сетевухе по питанию - будет потрачено процессором.
А можно подробнее? Чтот мне сомнительно что PCI девайс может диктовать процу энергосбережение...
Тут мне кажется нужно различать Core C-States и Package C-States.
Сейчас на десктопе глянул, где ASPM вроде выключен насколько помню - да, Package упирается в C2 похоже. Но при этом отдельные ядра улетают в C6 и C7 (Performance ядра и EE-ядра соответственно) в основном (99%).
Ну и, наверное, это от платформы зависит.
У меня минимальная загрузка сервера от 30%, он банально никогда не уходит в сон и не стоит в idle, так что меня эта проблема обошла.
upd.
Судя по powertop, мой процессор 70% в c2 и 16% в c1. С учетом постоянной нагрузки в виде minecraft сервера который бегает по разным ярам, результат нормальный.
Прошу обратить ваше внимание на DAC кабели. Т.к. среди них бывают и активные.
В данном случае нужны DAC Twinax, или указание, что они пассивные. Тогда их длинна бывает до 7,5 метров (Dell). Правда толщина и жесткость как у старого черного коаксиального кабеля.
И пару слов о совместимости. "Привередливая" Intel X520-DA2 требует SFP+ модули с прошивкой под Intel. Проверяет и отключает только при загрузке системы. При втыкании "на горячую" SFP+ модуля (Dell, Opticin), линк работает до перезагрузки хоста. А вот DAC Twinaxial кабели принимала все без разбора (Dell, HP, Supermicro, NoName).
От привередливости иногда помогает
https://forums.servethehome.com/index.php?threads/patching-intel-x520-eeprom-to-unlock-all-sfp-transceivers.24634/
Добрый день, 10G на самом деле не имеет смысла дома и в проде:
В проде такая скорость слишком мала и машины будут при гиперконвергенции слишком долго ехать нужно минимум 25G.
А дома мы утыкаемся в жесткие диски: сейчас какие диски в ноутах медленные 5к оборотов ну может 7к оборотов в компьютере ну и ssd и nve. 2.5G в принципе для обеспечения скоростей ssd достаточно
Поэтому 10G не очень применима.
Аналитика уровня "бог".
А дома мы утыкаемся в жесткие диски: сейчас какие диски в ноутах медленные 5к оборотов ну может 7к оборотов в компьютере ну и ssd и nve. 2.5G в принципе для обеспечения скоростей ssd достаточно
Средний сата ссд на чтение выдает 500 мегабайт, или 4 гигабита. Старые ссд 3 поколения Pcie уже выдают скорости до 3000мбайт/сек что примерно 24гбит/сек. А уж про новые gen4 и даже gen5 ссд я не буду говорить. Ну и наверное стоит сказать что жесткие диски в современном домашнем компьютере это редкость.
Про 2,5гбит возможно тоже будет статья, стандарт действительно отличный, железки не так много едят энергии, а проводка не требует больших апгрейдов, но это буквально 300мбайт/сек, которые даже не нагрузят ссд диск на максимум.
Добрый день, 10G на самом деле не имеет смысла дома и в проде:
В проде такая скорость слишком мала и машины будут при гиперконвергенции слишком долго ехать нужно минимум 25G.
Все зависит от задач. У меня 10гбит используются для монтажа видео, работы с фото, и бекапов. Во всех задачах я получил огромный прирост по скорости при импорте или отправке данных.
Виртуальные машины по 10гбит так же можно гонять, и да это не 25гбит и не 50, но все еще в 10 раз быстрее чем простая гигабитная сеть. Поэтому что то не крупное бегать по сети вполне может с небольшими задержками.
Вообще, у меня копирование больших файлов с домашнего NAS на локальный диск происходит на скорости примерно 700Mb/sec. Упирается в диски, естественно.
Если данные есть в SSD-кэше ZFS - гигабайт в секунду.
Десятка в самый раз тут.
Диски механические.
А дома мы утыкаемся в жесткие диски: сейчас какие диски в ноутах медленные 5к оборотов ну может 7к оборотов в компьютере
Кто ж один диск подключает сетевой шарой? Само-собой, там на другом конце будет RAID, который до 250 разгоняется вообще без особых изысков.
на проде в HPE Simplivity в enterprise спокойно используется 10G с mtu9000.
Проблема заключается в подборе компонентов, высоком потреблении энергии, а также в хрупкости кабелей.
Ещё одна немаловажная проблема SFP - это то, что они со временем выгорают. У нас был парк роутеров примерно в сто штук (порядка 3200 портов) и порты выгорали примерно раз в месяц. Разумеется меняется модуль очень просто и роутер заранее предупреждает о проблеме, но тем не менее стоит иметь в виду. Проблема именно в физике - приёмный светодиод теряет чувствительность.
Свичи на рынке есть, но встречаются реже единорогов, а их стоимость приближается к обоим крьльям боинга (200$ за TL-SX1008 на 8 портов).
Вот тут смешно было :))
К примеру, UGreen сейчас влетел на рынок.
А можно про модели ? UGreen какие сейчас можно посмотреть ?
Как я понимаю эти NAS https://nas.ugreen.com/pages/ugreen-nas-storage-preheat
Жаль нет с меньшим чем 6 дисков с 10G интернетом. И интернет медь.
С одной стороны угренка - это лучше, чем прочий неведомый Китай... с другой не понятно зачем такой клёвой компании как угренка лезть на какие-то там кикстартеры. Хочется просто заказать с алишки по старинке
Судя по спецификациям в конце, у модели на 4 диска тоже 10 Гбит/с порт есть. Вообще жаль, что доставка только в США и Германию, модели очень интересные.
Есть немало сервисов уже много лет присутствующих на рынке, готовых за некоторую денежку принять товар на адрес своего склада в США, переупаковать и доставить в РФ.
А так да - с 4 дисками и 64GB RAM - огонь, если докер контейнеры в нем нормально запускаются (не разбирался еще)
В отличие от 10GB Ethernet стандарта, SFP+ уже далеко не новый
А 10GB Ethernet новый, ага, всего 18 лет:
2006 10GBASE-T 10 Gbit/s Ethernet over copper twisted pair cable
Удивительно, апгрейд на технологии пятнадцатилетней давности оказывается совсем недорогим :) Но даже при этом -- мало кому интересным в быту, потому что конкурирует с вообще условно бесплатным гигабитом (а с недавних пор и с 2.5Гбит).
"Заблюрить" MAC домашних сетевух, серьезно?
Вы недоверяете домашнему роутеру, который скрывает MAC-адреса Ваших устройств при передаче пакетов дальше, во внешний мир?
А какая польза читателю от mac адресов железок ?
Ответить вопросом на вопрос это конечно тактика, понимаю )
Да ни пользы ни вреда (потенциального) эта информация не принесет никакой по факту. Но время Вам пришлось потратить, чтобы это замазать.
На моей памяти это первая статья, где MAC-адреса скрывают на Хабре )
PS: Ответили бы, что привычка - и все, вопрос закрыт ) Вычислить человека по MAC это сказка, особенно если речь про домашний NAS )
Но время Вам пришлось потратить, чтобы это замазать.
Вы тоже потратили время на написание комментария и ответы, но вам никакой пользы от этого нет, и никому нет никакой пользы от левого мака в статье, думаю даже больше чем я (спасибо ShareX, очень удобный инструмент для работы со скриншотами.
А так честно привычка, Security through obscurity так сказать.
А небыло такого, что надо смотреть сколько tx/rx очередеи на интерфеисе сетевой карты, имо прошивка или драивер ОС меняли значение. Например интел 520 в микротик х86 - одна очередь, таже карта в windows много очередей...
Круто!
Помимо Intel и Mellanox, можно поискать также сетевые карты б/у Solarflare. По личному опыту, Solraflare SFN7122F под Linux являются вполне адекватной заменой Intel X520-DA2.
Отлично, автор будто мысли читает. Как раз задумался о домашней файлопомойке, а для неё и неплохо озадачиться 10гб линком
Например, самая простая Intel x550-t2 обойдётся примерно в 100$ и потребует активного охлаждения!
Я всё понимаю (в том числе и то, что это блог компании RUVDS.com), но почему для дома не купить б/у?
За 2000 можно найти и медь, и оптику.
И это сейчас ещё цены сильно выросли, два года назад я покупал за 1000-1200 руб.
С коммутаторами не такой большой выбор, но можно взять и предложенные в статье, и найти другие.
Я всё понимаю (в том числе и то, что это блог компании RUVDS.com), но почему для дома не купить б/у?
Ответ прост, смотрел карты на aliexpress и на озоне дабы они были в наличии и в количестве, сразу с комплектом из планок под 2U и под обычный компьютерный корпус, и что бы карта была стандартная а не мезонин или Pcie но с доп контактной группой (часто ее отпиливают и продают карту как обычную). Ну и с минимальной гарантией что она проверена и работает, а если не работает то спором можно вернуть деньги (на авито после покупки гарантий нет и все на совести продавца).
Если все эти факторы устраивают то можно брать бу с авито то почему бы и нет ? Правда там же можно и SFP карты найти дешевле.
смотрел карты на aliexpress
Строго говоря, они там могут быть или совсем немного БУ или "восстановленные" под видом новых, вообще легко.
За 2000 можно найти и медь, и оптику.
У x540 те же проблемы что у x550:
Power consumption (max): 100Mbps 6.6W, 1 Gbps 9.5W, 10 Gbps 17.4W
У ConnectX-3 - примерно 4 Вт на порт типично и до 12 Вт суммарно.
У ConnectX-4 LX - 9.6 Вт типичное, 11.6 Вт с DAC'ом и 15 Вт абсолютный максимум. Притом в двухпортовой конфигурации у 25 Гбитного варианта.
Так что если у автора была цель сделать холодную тихую систему, тут CX-3 или 4 LX лучший выбор, если нужно не более двух портов (с 4-я портами есть варианты, но цена этих вариантов так себе).
По карточкам: и интелы и мелланоксы и китайские LR-Link (есть на том-же чипе что и X520) продают сейчас в любом сетевом (как минимум никс, онлайнтрейд,...) магазине практически за те-же деньги что на али, чуть дешевле (тысяч за пять рублей) можно найти на авито.
Про потребление. Если я верно помню, потребление для copper больше чем для fiber. Это точно верно для гиговых карточек/коммутаторов. Для 10G ситуация может быть другой и трансиверы могут кушать больше (навскидку не скажу). Но тут надо учитывать что в задаче "локальные" линки по квартире и не нужно мощных трансиверов. Так что можно брать недорогие SFP+ SR на многомоде, их хватит и они много не потребляют.
Медные DA кабели тоже вариант, но я однажды налетел на очень неожиданный момент: при близком ударе молнии все DA линки моргнули. В теории наводка может быть такой, то выгорят сетевухи. По цене плюс-минус одинаково что DA кабель что пара SR трансиверов + патчкорд в единицы метров. По потреблению не поручусь, однако на мой взгляд разборная на компоненты конструкция с трансиверами и патчкордом более гибкий/вариативный вариант чем DA кабель.
По карточкам: и интелы и мелланоксы и китайские LR-Link (есть на том-же чипе что и X520) продают сейчас в любом сетевом (как минимум никс, онлайнтрейд,...) магазине практически за те-же деньги что на али, чуть дешевле (тысяч за пять рублей) можно найти на авито.
БУ на авито есть дешево, а указанный вами LR-LINK в онлайнтрейде стоит от 18к рублей. Что заметно дороже чем 2 карты + dac + свич в моем решении.
Если я верно помню, потребление для copper больше чем для fiber.
Пассивная медь имеет почти нулевое потребление если не учитывать чип памяти в котором хранится инфа о проводе. Активная медь ест много. Но так как у меня все врамках одной стойки, пассивные dac кабели были самым простым дешевым и эффективным решением.
но я однажды налетел на очень неожиданный момент: при близком ударе молнии все DA линки моргнули. В теории наводка может быть такой, то выгорят сетевухи.
Как и любой провод, медный dac будет вполне себе антенной, но кажется если молния ударит настолько близко что бы от наведенных токов в dac кабеле выгорели порты, в общем кажется что порты будут не самой большой проблемой при таком близком ударе.
На счет цен. Покажется что экономия на спичках, и проще все новое купить, но это если мыслить с бизнесовой точки зрения где что 5 что 25 тысяч рублей на фоне оборота будут просто пылью.
Но моя статья была про домашнюю сеть, и тут важна экономика, и dac за 1.1к рублей сильнее выгоднее чем пара трансиверов + патчкорд за 5к.
Сетевухи с SFP+ ведь вроде можно одним dac-кабелем соединить? В чем смысл свича в данной конструкции? Без него бы получилось ощутимо бюджетнее
Буквально в первом комментарии был этот вопрос, а во втором был дан ответ... https://habr.com/ru/companies/ruvds/articles/798813/comments/#comment_26697979
Для домашнего NAS интереснее wi-fi 7
Чем эти игры с проводами/картами в пределах двушки 65м2
Не понятна вся эта возня со свичами что бы соеденить сервер и 1 комп...
Воткнуть по одной карте в сервер писюк
соеденить кабелем DAC (если надо расстояние то AOC оптический)
если серваку надо у интернет - то расшарить инет на писюке, или сделать на нём же виртуальный свич (объеденить порты 1 гига для инета и 10 гига для НАСа в бридж)
зы. таким же образом в "свичь" объединяются карты 1 гига и 10 на стороне сервера, что бы остальные гигабитные клиенты не теряли с ним связь если основной комп писюк выключен...
цена вороса - два меланокса-3 на х4 писиай - что бы воткнуть куда угодно (а не х8)
и кабель (тут уже от длины/типа зависит)
ВСЁ !
зы. так и 40 гигабит будет "копейки" стоить, в отличии от решения 40 гига со свичем
Не понятна вся эта возня со свичами что бы соеденить сервер и 1 комп...
Буквально в первой ветке комментариев лежит ответ на ваш вопрос...
https://habr.com/ru/companies/ruvds/articles/798813/comments/#comment_26697979
зы. так и 40 гигабит будет "копейки" стоить, в отличии от решения 40 гига со свичем
40G не любое железо и не любая система накопителей потянет.
зы. так и 40 гигабит будет "копейки" стоить, в отличии от решения 40 гига со свичем
Свичи тоже дешевеют. Сейчас компании активно избавляются от старых qsfp+ и qsfp28 железок и какой нибудь mellanox sn2700 можно на ebay за ~1300$ найти, sn2100 дешевле 1000, а 40 гбитные дешевле 500.
Как я делал сеть на 10 гигабит с минимальным бюджетом