Не столь давно в ЖЖ одна компания киношная спросила, как-бы так хитро им сделать 20 терабайт сетевого хранилища, а то ролики не влезают…
На что им народ насоветовал какие-то супер-пупер профессиональные решения на сотни тысяч рублей, что, конечно, круто, но…
Я-же со своей стороны — дал раскладку по тому сервачку, который сделал для себя сам года три назад и успешно его юзаю…
Сервер содержит 11 жёстких дисков, из которых один — загрузочный и 10 — файлопомойка.
Как не сложно посчитать, 10 дисков по 2 терабайта — дадут искомые 20 терабайт!
Как этого достичь?
Сейчас расскажу!
ПыСы Это перенос моей статьи из Песочницы. С момента её написания выяснил пару «весёлых» вещей, которые тут и были добавлены.
ПыПыСы Это именно самодеятельное решение по запихиванию такой оравы дисков в один комп.
Надёжность реализуется исходя из того, что при ТАКОМ числе дисков — можно часть поставить в RAID, а при необходимости — легко и непринуждённо заменить вылетевший!
Пожалуй одна из самых главных проблем с запихиванием такого числа дисков в один комп.
Я перепробовал несколько вариантов, включая самодельную стойку на 10 дисков из уголков «Мерленовских», но это было всё неудобно…
В итоге остановился на «простеньком» корпусе на 9 штук пятидюймовых слотов.
Можно взять и на 10, но смысла особо нет…
В моём случае выбор пал на Silver Stone с дверцей, но вариантов навалом!
Что-нибудь похожее — обойдётся тыщи в 2-3 рублей.
Я взял две штуки MOBILE RACK SATA METALL ST-3051.
Это девайс, который забивает собой три пятидюймовых слота, взамен давая возможность установить по 5 SATA дисков в каждый.
Купить такой можно примерно за 4357 рублей штука.
Я брал до кризиса, так что прилично съэкономил…
Мелкая деталь — то, как выглядит на картинке, не совсем правильно: на практике что-бы влезать в эти три пятидюймовки его надо положить на бок…
На задней панели — пять SATA разъёмов, 2 SATA-питания и три молекса (по большей части СТОЛЬКО им не особо и надо, но...). Плюс вентилятор 80 мм.
На передней — индикаторы работы.
Каждый диск ставится в «корзинку», задвигается в «корзинищу», пока не попадёт своими родными SATA-контактами в разъёмы на плате корзины, после чего ручка корзинки вжимается и защёлкивается.
Плюс в том, что как я недавно выяснил (года через три!) — у девайса нормально работает «Горячая замена»!!!
Две таких корзины ставим в низ корпуса, забив шесть из девяти слотов (просто чтобы не перевешивал верх!).
Теперь мы готовы поставить аж 10 штук дисков!
UPD Спереди у корзин есть выключатель питания в виде кнопочек. Кнопочки должны быть ВЖАТЫ! А то вчера всё проклял — часть дисков не видит и всё тут! Пока про эти кнопки не вспомнил — мучалсяаааа.....
На днях проапгрейдил до 600 Ватт тыщи за две рублей.
Ранее работал с 350 и нормально, но в последнее время блок питания начал «дурковать»…
Абсолютно бесполезная вещь на файлопомойке!
Можно поставить, но на практике — проще взять ЮСБ-шный привод и подключать только при установке системы!
Как правильно заметили в комментах — в принципе можно и с флешки систему поставить!
В принципе — если на сервере поставить публиковавшийся где-то тут скрипт автоматического копирования образов — может пользу и принести — на выбор!
Из вариантов подключения: если будете делать по аналогии — у вас будет на выбор или 2 САТА или 1 ИДЕ. Так что — есть куда подключить!
Любые!
На практике — несколько советов:
Остальное — на выбор.
Предостерегу от покупки ASUS P5Q Premium — я чуть не лопухнулся на днях, когда задумался об апгрейде.
Казалось-бы, 10 SATA — что ещё желать?!
На практике — выяснилось, что там их не 10, а 6+4…
Т.е. 6 — нормальных, а 4 — «два сдвоенных», когда диски воткнутые в них объединяются принудительно попарно в «рэйды»…
Так что лучше взять материнку на 6 (4) обычных SATA, «добив» оставшиеся платами расширения!
UPD Мне пришлось при апгрейде подгонять под 775 Сокет. В результате намучалсяаааа… Или 6 САТА, или встроенная видюха. В более современных чипсетах проблема так остро не стоит…
В итоге при обновлении взял с 4 САТА: платы контроллеров под PCI у меня уже были, PCI на маме было 2 штуки, так что решил, что таки это дешевле выйдет, чем докупать видяху…
(Причина апгрейда — идиотская… 11-й диск… Пока было 10 — всё было норм. Воткнул 11 — так старая мама упорно не видела второй САТА! Пришлось апгрейдить мать.
ИМХО — просто надо было пощёлкать микрокнопками питания на реках, но… Все мы задним умом думаем! В плюсе — теперь не 2, а 4 диска могут работать в режиме 3ГБс!)
Adaptec AAR-1430SA, к примеру.
Ставится в «короткий» PSI-E и даёт 4 SATA порта.
Обойдётся примерно тыщи в 4…
Я в своё время прикупил на Будёновском какие-то на простой PCI (наследие приснопамятной мамы от VIA — там PCI-E отсутствовали), но они тянут только «первую» скорость SATA…
Иногда сеть встроенная в материнку «дохнет», поэтому лучше сразу предусмотреть место на маме и платку для замены сети!
На Ваш выбор. Можно поставить, можно — нет.
Место для размещения в корпусе для него имеется…
Я поставил — первоначально был резисторный, теперь — с дисплейчиком и сенсорным управлением. Плюс в том, что можно существенно приглушить шум вентиляторов!
ПыСы Эстеты ставят «Водянку», но это не так дёшево…
Кто-то скажет, «А зачем нам советы по шнуркам?!» и будет не совсем прав…
Дело в том, что в корзину воткнуть «угловые» SATA-разъёмы не удастся — вот так по-дурацки там торчит выпуклость от вентилятора!
В материнке — чаще всего «угловые» тоже будут мешаться: чаще всего они попарно размещены, в итоге мешаются друг другу, если «гнутый» разъём на шнурке.
Так что «Наш выбор» — «прямые» шнурки!
Пара советов:
Я остановился на Ubuntu — как ставить в серверной конфигурации на Хабре написано мнооого статей!
В частности могу посоветовать Домашний linux сервер своими руками
Вот такие пироги.
Относительно не сложно и не дорого можно собрать СИЛЬНО многодисковую систему…
Если поставить дополнительных SATA-контроллеров и ещё одну корзину, то число дисков можно довести спокойно до 15 штук, что даст при двух-терабайтных дисках все 30 теров!
*мечтательно* А ведь и трёх-терабайтники когда-нибудь появятся…
И да прибудет с Вами Сила! Благо, что в такие объёмы этой Силы можно будет напихать ОЧЕНЬ много!
На что им народ насоветовал какие-то супер-пупер профессиональные решения на сотни тысяч рублей, что, конечно, круто, но…
Я-же со своей стороны — дал раскладку по тому сервачку, который сделал для себя сам года три назад и успешно его юзаю…
Сервер содержит 11 жёстких дисков, из которых один — загрузочный и 10 — файлопомойка.
Как не сложно посчитать, 10 дисков по 2 терабайта — дадут искомые 20 терабайт!
Как этого достичь?
Сейчас расскажу!
ПыСы Это перенос моей статьи из Песочницы. С момента её написания выяснил пару «весёлых» вещей, которые тут и были добавлены.
ПыПыСы Это именно самодеятельное решение по запихиванию такой оравы дисков в один комп.
Надёжность реализуется исходя из того, что при ТАКОМ числе дисков — можно часть поставить в RAID, а при необходимости — легко и непринуждённо заменить вылетевший!
Корпус
Пожалуй одна из самых главных проблем с запихиванием такого числа дисков в один комп.
Я перепробовал несколько вариантов, включая самодельную стойку на 10 дисков из уголков «Мерленовских», но это было всё неудобно…
В итоге остановился на «простеньком» корпусе на 9 штук пятидюймовых слотов.
Можно взять и на 10, но смысла особо нет…
В моём случае выбор пал на Silver Stone с дверцей, но вариантов навалом!
Что-нибудь похожее — обойдётся тыщи в 2-3 рублей.
Корзина для жёстких дисков
Я взял две штуки MOBILE RACK SATA METALL ST-3051.
Это девайс, который забивает собой три пятидюймовых слота, взамен давая возможность установить по 5 SATA дисков в каждый.
Купить такой можно примерно за 4357 рублей штука.
Я брал до кризиса, так что прилично съэкономил…
Мелкая деталь — то, как выглядит на картинке, не совсем правильно: на практике что-бы влезать в эти три пятидюймовки его надо положить на бок…
На задней панели — пять SATA разъёмов, 2 SATA-питания и три молекса (по большей части СТОЛЬКО им не особо и надо, но...). Плюс вентилятор 80 мм.
На передней — индикаторы работы.
Каждый диск ставится в «корзинку», задвигается в «корзинищу», пока не попадёт своими родными SATA-контактами в разъёмы на плате корзины, после чего ручка корзинки вжимается и защёлкивается.
Плюс в том, что как я недавно выяснил (года через три!) — у девайса нормально работает «Горячая замена»!!!
Две таких корзины ставим в низ корпуса, забив шесть из девяти слотов (просто чтобы не перевешивал верх!).
Теперь мы готовы поставить аж 10 штук дисков!
UPD Спереди у корзин есть выключатель питания в виде кнопочек. Кнопочки должны быть ВЖАТЫ! А то вчера всё проклял — часть дисков не видит и всё тут! Пока про эти кнопки не вспомнил — мучалсяаааа.....
Блок питания
На днях проапгрейдил до 600 Ватт тыщи за две рублей.
Ранее работал с 350 и нормально, но в последнее время блок питания начал «дурковать»…
CD-DVD привод
Абсолютно бесполезная вещь на файлопомойке!
Можно поставить, но на практике — проще взять ЮСБ-шный привод и подключать только при установке системы!
Как правильно заметили в комментах — в принципе можно и с флешки систему поставить!
В принципе — если на сервере поставить публиковавшийся где-то тут скрипт автоматического копирования образов — может пользу и принести — на выбор!
Из вариантов подключения: если будете делать по аналогии — у вас будет на выбор или 2 САТА или 1 ИДЕ. Так что — есть куда подключить!
Материнка-проц
Любые!
На практике — несколько советов:
- Не берите откровенно слабые! Первое время у меня стояла мини-материнка от VIA, в итоге сеть работала через пень колоду!
- Сеть — лучше гигабитная!
- Штук 6 SATA на материнке, но можно и 4
- Встроенный видео-адаптер: управлять мы будем через сеть, но иногда нужно настроить что-нибудь на самой машине и втыкать для этого видеокарту — как-то не охота!
- PCI-E — желательно, причём лучше побольше «коротких»
Остальное — на выбор.
Предостерегу от покупки ASUS P5Q Premium — я чуть не лопухнулся на днях, когда задумался об апгрейде.
Казалось-бы, 10 SATA — что ещё желать?!
На практике — выяснилось, что там их не 10, а 6+4…
Т.е. 6 — нормальных, а 4 — «два сдвоенных», когда диски воткнутые в них объединяются принудительно попарно в «рэйды»…
Так что лучше взять материнку на 6 (4) обычных SATA, «добив» оставшиеся платами расширения!
UPD Мне пришлось при апгрейде подгонять под 775 Сокет. В результате намучалсяаааа… Или 6 САТА, или встроенная видюха. В более современных чипсетах проблема так остро не стоит…
В итоге при обновлении взял с 4 САТА: платы контроллеров под PCI у меня уже были, PCI на маме было 2 штуки, так что решил, что таки это дешевле выйдет, чем докупать видяху…
(Причина апгрейда — идиотская… 11-й диск… Пока было 10 — всё было норм. Воткнул 11 — так старая мама упорно не видела второй САТА! Пришлось апгрейдить мать.
ИМХО — просто надо было пощёлкать микрокнопками питания на реках, но… Все мы задним умом думаем! В плюсе — теперь не 2, а 4 диска могут работать в режиме 3ГБс!)
Контроллер SATA
Adaptec AAR-1430SA, к примеру.
Ставится в «короткий» PSI-E и даёт 4 SATA порта.
Обойдётся примерно тыщи в 4…
Я в своё время прикупил на Будёновском какие-то на простой PCI (наследие приснопамятной мамы от VIA — там PCI-E отсутствовали), но они тянут только «первую» скорость SATA…
«Резервный» Ethernet
Иногда сеть встроенная в материнку «дохнет», поэтому лучше сразу предусмотреть место на маме и платку для замены сети!
Контроллер вентиляторов aka Реобас
На Ваш выбор. Можно поставить, можно — нет.
Место для размещения в корпусе для него имеется…
Я поставил — первоначально был резисторный, теперь — с дисплейчиком и сенсорным управлением. Плюс в том, что можно существенно приглушить шум вентиляторов!
ПыСы Эстеты ставят «Водянку», но это не так дёшево…
Шнурки SATA
Кто-то скажет, «А зачем нам советы по шнуркам?!» и будет не совсем прав…
Дело в том, что в корзину воткнуть «угловые» SATA-разъёмы не удастся — вот так по-дурацки там торчит выпуклость от вентилятора!
В материнке — чаще всего «угловые» тоже будут мешаться: чаще всего они попарно размещены, в итоге мешаются друг другу, если «гнутый» разъём на шнурке.
Так что «Наш выбор» — «прямые» шнурки!
Сборка
Пара советов:
- Производители корпусов на пятидюймовках делают или маленькие уголки по-краям, или «поддон» для «удобства» установки. При выборе корпуса не лопухнитесь с «поддонами» — они будут мешать! Уголки — надо загнуть.
- SATA шнурки лучше стянуть стяжками в жгуты по 4 штуки — иначе будут пол-корпуса занимать! Если попадут в вентилятор корзин — корзины будут сильно вопить динамиком на такое издевательство! У себя я развёл 2 по 2 провода с матери на перую и вторую корзину + два по три — на остальные разъёмы. Получилось вполне компактно.
И, наконец, СИСТЕМА!
Я остановился на Ubuntu — как ставить в серверной конфигурации на Хабре написано мнооого статей!
В частности могу посоветовать Домашний linux сервер своими руками
Заключение
Вот такие пироги.
Относительно не сложно и не дорого можно собрать СИЛЬНО многодисковую систему…
Если поставить дополнительных SATA-контроллеров и ещё одну корзину, то число дисков можно довести спокойно до 15 штук, что даст при двух-терабайтных дисках все 30 теров!
*мечтательно* А ведь и трёх-терабайтники когда-нибудь появятся…
И да прибудет с Вами Сила! Благо, что в такие объёмы этой Силы можно будет напихать ОЧЕНЬ много!
