Пользователь
0,0
рейтинг
26 ноября 2012 в 14:30

Администрирование → Большое файловое хранилище для маленькой такой компании из песочницы

Думаю, что любая группа разработчиков рано или поздно сталкивается с такой, казалось бы, примитивной задачей как
  • вики, учет задач, тикетов, дефектов;
  • система управления версиями/репозиторий;
  • файловый сервер.


И если в случае первого и второго предлагается множество прекрасных средств, в частности для багтрекинга существуют известные каждому Redmine, Trac, а для управления версиями Subversion, Git, Mercurial, то для грамотной организации файлового хранилища приходится в очередной раз изобретать велосипед.


Что требуется?

Что я понимаю под файловым сервером? Хороший вопрос. В идеале это должна быть система по типу каталога, способная хранить большие объемы двоичных файлов (pdf, doc, xls, msi, avi и др.), позволяющая тегировать файлы для гибкого поиска по хранилищу, автоматически индексировать их содержимое и метаданные, производить поиск по множеству критериев, предоставлять доступ к файлам как локально, так и через браузер (web-интерфейс), совместно редактировать файлы, иметь клиенты для разных ОС, синхронизирующие версии с сервера, но что-то я замечтался… Конечно, же, такой системы не существует. Сейчас, наверное, многие возразят мне и укажут на Microsoft SharePoint Server, однако для небольшой компании этот продукт неподъемен ввиду сложности в обслуживании и астрономической цены.

Такие варианты как Dropbox, SkyDrive и другие сразу же отбрасываются, так как руководство не хочет распространять проекты компании неизвестно куда, опять же есть ограничения на скорость доступа (в случае файлового сервера в локальной сети большинство запросов поступает по высокоскоростным соединениям и лишь часть — через веб-интерфейс), а также на размер хранимых данных.

Какие же существуют свободные аналоги, частично решающие задачи, перечисленные выше? Я произвел тщательное исследование этого вопроса и готов поделиться с вами своим горьким опытом.

Скажу сразу, что я до сих пор нахожусь в поиске наилучшего варианта и те средства, о которых я расскажу ниже, лишь отчасти удовлетворяют предьявляемым требованиям. Сочетая несколько средств, может быть, есть шанс получить желаемый эффект.

OwnCloud


Недавно вышла новая версия (4.5) системы для организации хранения, синхронизации и обмена данными OwnCloud. Ранее на Хабрахабре уже появлялась замечательная статья об OwnCloud, которая и мотивировала меня познакомиться с облаком поближе.
Об особенностях процесса установки OwnCloud хабраюзером BlackIce13 была написана прекрасная статья Опыт установки ownCloud 6 на Debian 7 wheezy.
Первое впечатление было просто волшебным: современный web-интерфейс, возможность онлайн просмотра (txt, PDF, ODF) и редактирования (txt) файлов, календарь, задачи, адресная книга, синхронизация по протоколу WebDAV, поиск по содержимому, а что самое главное — возможность монтирования локальных папок и внешних хранилищ по протоколам FTP, Samba, и др. Однако после более плотного знакомства обнаружилось огромное количество багов и глюков, как достаточно безобидных и даже забавных, так полное и безвозвратное падение системы. С OwnCloud врагам не нужно применять хитрые DDoS-атаки ибо эта функция изначально заложена разработчиками в ядро системы.
Больше всего интересовала функция монтирования удаленной файловой системы через Samba. То есть в локальной сети выделялся web-сервер с системой управления проектами и OwnCloud, а также простой Windows-файловый сервер, с которого web-интерфейс и подтягивал бы данные для удаленного доступа. Однако монтирование через Samba не захотело функционировать ни при каких условиях, несмотря на официально заявленную функциональность и примеры на сайте OwnCloud. Была произведена попытка обмануть OwnCloud и подсунуть её «локальную» папку с примонтированной Samba-шарой, но это вгоняло OwnCloud в неадекватное состояние.
Вообще, средство достаточно неплохое для домашнего использования, или если Вам достаточно пространства жесткого диска сервера на всю компанию. Стоит отметить развитое сообщество разработчиков OwnCloud, в котором Вам всегда подскажут как бороться с очередным фэйлом. Добавьте ссылку на их багтрекер себе в избранное, так как вам часто придется общаться с этими ребятами.

iFolder


Разрабатываемое компанией Novell, средство iFolderтакже предоставляет так необходимые нам возможности — распределение на несколько серверов, синхронизация между клиентами, веб-интерфейс к хранилищу.
Горьким фактом является то, что iFolder со стороны Linux поддерживает openSUSE, для которого процесс установки состоит из одной команды.
Для других дистрибутивов Linux установка iFolder — это практически невыполнимая задача несмотря на множество мануалов, например iFolderInstall. Мне, к сожалению, не удалось установить iFolder ввиду специфичных версий пакетов, которые требуются для работы системы и которые уже давно не доступны на сайте iFolder Novell. Возможно, читатели Хабра более удачливые и продвинутые и у них получится найти общий язык с iFolder.
Помимо iFolder на том же сайте компания Novell предлагает еще два проекта для совместной работы (Kablink Teaming) и для обмена сообщениями (Kablink Conferencing), впрочем они были мне не так интересны, поэтому оставляю знакомство с ними вам на десерт.

SparkleShare


Достаточно интересное средство, написанное согласно приданию некими хакерами, которым надоело синхронизировать свои файлы. Оно основано на системе управления версиями git и по сути является надстройкой. Для файлового сервера создается отдельный репозиторий и затем над ним навешивается SparkleShare. Клиенты, работая с файлами, синхронизируют их между собой и сервером по аналогии клиента для Dropbox. Кроме официального сайта, есть неплохая инструкция по установке и работе с SparkleShare. «Благодаря» фундаменту в виде git возникают и недостатки, свойственные системам такого класса: клиенты хранят полную локальную копию репозитория, что в случае больших объемов просто невозможно. Существует способ «ленивого» доступа к репозиторию посредством git-fs, но только в режиме чтения. Опять же для непрограммистов (экономисты, отдел кадров), это слишком высокотехнологичное решение и они скорее будут пересылать друг другу документацию бесконечными e-mail, чем воспользуются git. Опять же ненависть репозиториев к бинарным файлам окончательно исключает SparkleShare из списка возможных решений.

Syncany


Казалось бы вот она, мечта: облачное файловое хранилище с поддержкой FTP, IMAP, WebDAV, Windows NetBIOS/CIFS, SFTP/SSH, шифрованием данных и т.п. Но проект находится в разработке вот уже два года и официальных релизов системы не поступало. Авторы приветливо предлагают вступить в ряды разработчиков или пожертвовать то, что не жалко… Так что, Хабрачитатели, мечтающие внести свою лепту в Cloud Storage, есть прекрасный вариант реализовать себя.

Rsync и Lsyncd

Выполняют функции, сходные с Dropbox, то есть синхронизацию локальной и удаленной папки. Это не совсем то, что я искал, поэтому не буду слишком подробно останавливаться на этом решении. Отмечу лишь отсутствие графического интерфейса и клиентов для ОС Windows, что автоматически исключает Rsync и Lsyncd из списка.

AeroFS


Если предыдущие продукты можно было скромно называть облачными, то AeroFS использует это понятие по полной. По сути AeroFS — это p2p сеть, которая коллективно хранит файлы не обязательно с использованием центрального сервера! Система полностью распределенная и использует сложные алгоритмы репликации данных. Есть возможность выделить центральный сервер, который привносил бы два положительных момента — web-интерфейс и дополнительную дупликацию данных (вдруг все уедут в командировку и сеть начнет испытывать истощение). До сих пор у меня к AeroFS много вопросов, ответы на которые получить пока не удается. Скачивание релиза доступно только по инвайтам, поэтому ждемс… Обязательно отпишусь по результата разворачивания AeroFS.

UPD: AjaXplorer


Благодаря umcherrel мы можем познакомиться с ещё одним средством: AjaXplorer. Впечатление, как и от OwnCloud, самые положительные. На сайте разработчиков есть возможность протестировать демо-хранилище за что им огромный плюс. Стоит также отметить простоту установки и добавления репозиториев. С технической точки зрения AjaXplorer характеризуется свойствами: онлайн просмотр (txt, pdf, zip, графика, мультимедиа) и редактирование файлов (txt), разграничение прав, адаптируется под браузеры iOS и Android, поиск (c внешними хранилищами все же лучше не использовать, к сожалению), множество плагинов на любой случай жизни. Также нужно отметить возможность дружбы AjaXplorer с различными системами управления версиями посредством плагина, что для нас тоже важно. Внешние хранилища можно подключать по Samba, FTP(S), WebDAV, IMAP, POP. И это прекрасно. Из недостатков можно отметить лишь ресурсоемкость. С другой стороны, за все нужно платить…

UPD: Amahi


Благодаря srs2k, мы узнали об Amahi. Что это за зверь? На самом деле Amahi — прекрасная платформа для домашнего медиа-центра в концепции «умного дома». Сразу бросается в глаза медиа ориентированность: Squeezebox сервер, DLNA сервер, Gallery 2, UPnP сервер uShare, медиа стриммеры Jinzora и Ampache, медиа-библиотеки OpenDB и VCD-db, учет домашнего хозяйства Home Inventory, хранение рецептов phpRecipeBook, торрент-клиенты, вики, форумы и пр. Стоит отметить также «бесплатную» услугу отслеживания динамического IP, то есть в некоторых случаях (стоит сказать, весьма ограниченных), Вам не понадобится покупать белый статический IP-адрес. Также существует возможность расширять функциональность плагинами.
Установка хоть и выполняется из терминала, но Вам настойчиво и весьма бесцеремонно установят графическую панель конфигурирования, сменят IP-адрес сервера, включат DHCP, перезагрузят сервер и вообще будут себя чувствовать как дома. Конечно, для неопытных пользователей такое решение «из коробки» просто необходимо, но в большинстве случаев, я считаю, это недопустимо.
С технической точки зрения Amahi поддерживает Samba, VPN, WebDAV (Outlook, iCal) и др. Более подробно прошу на сайт за красочными презентациями.
С точки зрения применимости Amahi для корпоративных нужд вопрос пока остается открытым.

Вывод

Подводя итог, скажу, что мы пока выбрали в качестве временной альтернативы решение OwnCloud. Согласно поговорке нет ничего более постоянного, чем нечто временное, но мы надеемся найти альтернативный вариант, так как вероятность, что OwnCloud в ближайшие сроки избавится абсолютно от всех недостатков, к сожалению, стремится к 0. Скорее всего, мы перейдем на AjaXplorer, если лучшей альтернативы не появится.

Вот таким образом обстоит ситуация со средствами для организации файлового хранилища. Обращаясь к Хабрасообществу, прошу поделиться своим опытом решения такой важной для государства задачи. Понимаю, что абсолютно бесплатных средств совсем не много и, между тем, начальство даже(!!!) готово заплатить разумные деньги за действительно функциональную вещь.

Хотелось бы узнать, как решается такая проблема в более крупных компаниях с поставленным процессом разработки?

Post scriptum: Встречался ли кто с системами оповещения работников (по email, sms и др.) о запланированных или циклических задачах с веб-интерфейсом? Наверное, это тема другой статьи. Поэтому to be continued....
@paullarionov
карма
10,0
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Спецпроект

Самое читаемое Администрирование

Комментарии (44)

  • +1
    а еще есть AjaXplorer
    • 0
      О круто! Обязательно испробуем… Спасибо, umcherrel.
    • 0
      В браузере на компьютере демка просто адски тормозит.
  • –5
    Корпоративный портал от 1С-Битрикса попробуйте
    • +3
      Т.е. слова о SharePoint Вас не насторожили?
      • 0
        насторожили. Но корпортал подешевле стоит. И надо им попользоваться, чтобы понять о чем речь. И веб-интерфейс есть и всяческого рода общие папки, файлы которых видны в вебе и возможность кластерной реализации и интеграция с ldap (Active Directory)
        • 0
          Корпоративный портал от 1С-Битрикса действительно функциональный. Наверное, просто наша компания до него пока не доросла (в плане вложений), опять же привязанность к 1С, которая будет просить деньги даже за самую простейшую операцию по тех. обслуживанию для ИТ-отдела не к лицу, наверное.
          • 0
            Никакого отношения к 1С этот продукт не имеет. Кроме как двух символом в бренде. Цена опять же значительно ниже — 20-40тыс руб.

            Я ни в коем случае не пиарю их, но понимаю, что стоит вам изучить и этот вариант.
            • 0
              Спасибо, biz. Обязетельно рассмотрим.
    • +2
      Мы не имеем ничего против 1С, но мы не их пациенты. ;)
  • 0
    Как обычно хотят от файлового хранилища функции системы документменеджмента (расширенный поиск, метаинформация, различный вид доступа). Для первого действительно есть разные «клауд» решения, для второго решений на небольшую компанию не так много, больше энтерпрайз левел решений. Alfresco одно из опен сорсных и бесплатных (для community edition) решений.
    • 0
      Кстати да, пробовали Alfresco, но из-за обилия «фишек» документооборота, которого у нас нет, как-то отказались от лишней бюрократии. А так, действительно, продукт очень популярный.
  • 0
    Вероятно этот топик, как и ему подобные из раздела q&a, превратится в список вариантов файлохранилищ. В таком случае, я продолжу: Amahi
  • +1
    После качественного допиливания используюем eGroupware + git + sshfs
    • 0
      sshfs + Windows + utf-8 как-нибудь решается?
      • 0
        Windows у нас почти не используется, но там где есть, кому-то вставили костыль в виде знаменитого мануала www.damtp.cam.ac.uk/user/jp107/xp-remote/ssh-map/
        Там, где это не помогло, банально www.webdrive.com/products/webdrive/index.html + таблетку от головной боли.
        Но Windows у нас, по-моему, штуки три всего и во всём этом им нужды нет.

        Проблем с UTF8 и Windows (пока??) не обнаружено.
    • 0
      Кстати, я так понимаю, что eGroupware переходит на коммерческие рельсы, поэтому «вычистил» все свободные дистрибутивы. У вас случайно не сохранился резервный? Буду очень благодарен… paul.larionov@gmail.com
      • 0
        Эмм… Да вот как-то не завалялся, увы.
        Удивлен, кстати, весьма я данной ситуацией коммерциализации, но се ля ви.
  • 0
    Возьмите да помогите OwnCloud избавиться от недостатков, открытый проект всетаки.
    • 0
      С точки зрения бесплатного тестирования и открытия Issues мы им уже помогли. Что касается разработки, то почему бы и нет, однако решение нужно здесь и сейчас.
  • 0
    В качестве системы оповещения работников о запланированных или циклических задачах с веб-интерфейсом можно использовать Google Calendar
    • 0
      Можно использовать. :) Но хочется каким-либо образом контролировать средство — автоматизировать при помощи скриптов, безопасность, права, логи, статистика и т.д. Всякое бывает.

      В любом случае, спасибо.
      • 0
        Есть разница между «хочется» и «экономически оправдано» :) Логи, автоматизация, права, скрипты — это для больших организаций, у которых соответственно есть большие деньги. Да-да, Sharepoint et al.
        • 0
          Спасибо.
  • –1
    Также существует компания Synology, которая предлагает как программные, так и аппаратные комплексы NAS. Достаточно интересные распределенные и масштабируемые решения. Нужно познакомиться подробнее…
    • 0
      Это уже нечто большее, чем просто интерфейс к хранилищу. Это уже комплексное решение по облачной виртуализации.
      Демо-доступ http://demosite.synology.me:5000/webman/index.cgi
    • –1
      На этой неделе к нам приедет DS-213+ и мы окунемся в яркий мир Синологии :) Планирую написать обзор, т.к. пока что на хабре только официальные обзоры от Synology.
      • 0
        О круто! Будем ждать от вас «перемывания косточек» Synology.
        Хотя характеристики не внушают трепета:
        CPU Frequency: 2.0 GHz
        Memory: DDR3 512 MB
        Max Internal Capacity: 8 TB (2 X 4 TB HDD) (Capacity may vary by RAID types)
        External HDD Interface: USB 3.0 Port X 2, USB 2.0 Port X 1, SD Card Port X 1
        LAN: Gigabit X 1

        И сколько стоит чудо инженерной мысли?
        • 0
          Ну кому нужен шок (40TB) и трепет (56DBA), может взять себе Synology RS10613+, а мне такого не нужно — у меня офис на 8 человек с не очень-то интенсивным обменом файлами. Решение типа «расшарили папку на одном из компов в сети» нас уже не устраивает, но и описанных вами наворотов нам тоже не нужно — хотя DiskStation предоставляет их почти все. Купил за примерно $500, включая НДС, без дисков.
        • 0
          Кстати, гугл подсказывает, что ownCloud можно запустить на Synology как аппликацию.
  • 0
    Бесплатно www.microsoft.com/ru-ru/download/details.aspx?id=35488
    Наздоровье.
    • 0
      Спасибо, попробуем.
    • 0
      Очень верный комментарий. Корпоративный поиск, конечно, будет недоступным — но там и из коробки бездна функционала!
  • 0
    А я убедил руководство довериться Google. Мы в компании разработчиков (около 30 человек) используем для документов Google Drive. Перечислю преимущества.
    1. Очень мощная и удобная система совместного редактирования и рецензирования документов.
    2. Просмотр документов, видео и изображений прямо через web-интерфейс.
    3. Гибкая система назначения прав доступа.
    4. Система коллекций — тэгирование и файловая структура одновременно, очень удобно.
    5. Синхронизация с локальными компьютерами.
    6. Хранит версии файлов.
    7. Просто невероятно быстрый поиск по содержанию документов.
    8. Высочайшая надежность хранения и доступа.

    Недостатки:
    1. Много места стоит денег. Но не больше, чем свои серверы и затраты на их обслуживание. Для документов вполне хватает и бесплатного пространства, родные форматы вообще не учитываются в объеме.
    2. Нет доступа к документам без аккаунта Google.
    3. Структурированную информацию (KB, техническую документацию) хранить неудобно, мы используем для этих целей Confluence.
    4. Клиент синхронизации не работает с сетевыми дисками.

    Мы уже почти год сидим на Gmail + GDrive и невероятно довольны. Цена удовольствия (Google Apps) — $5 за аккаунт, что для нас вполне приемлемо.
    • 0
      Имеете право. Наверное, самое простое и незамороченное решение по сравнению с NetWare, VPN, и т.д.
  • 0
  • 0
    То, что вы описываете очень похоже на Web File Manager. В свое время искал нечто подобное, но не знал по каким словам в гугле искать. Попробуйте, их великое множество.
  • 0
    Может попробовать CrashPlan?

    Или вот эти ребята, box.net, позиционируют себя, как шэирпоинт для пользователей «попроще».
    • 0
      Выше вы писали про Synology. А я тут на днях как раз статью читал про CrashPlan + Synology, правда для дома, но Скотт — человек очень серьезный и основательный :)
  • 0
    Не кидайте камни, но может Sharepoint Foundation
  • 0
    В идеале это должна быть система по типу каталога… позволяющая тегировать файлы для гибкого поиска по хранилищу, автоматически индексировать их содержимое и метаданные, производить поиск по множеству критериев…
    Alfresco или Nuxeo не рассматривали?
  • 0
    Как на счет Seafile, может быть имеется опыт использования?
    • 0
      Спасибо, djvnsk. Попробуем.
  • 0
    Привет из 2015 года:) Очень интересует, до сих пор используете ownCloud? Как оно себя показало за время использования? Сейчас тоже решаем у себя подобную задачу.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.