Я пиарюсь → Zendframework + ffmpeg + gearman + amazon = Видео encoder сервис
Хочу поделиться с хабрасообществом опытом создания веб сервиса для конвертирования видео и сохранения в облачном хранилище. Сразу оговорюсь, сервис написан для внутреннего пользования одной европейской компании, и уже работает более 6 месяцев. Одним из направлений компании является продукт WebTv. Было очень проблематично на каждом новом сайте разворачивать структуру для конвертирования видео, и зачастую эти процессы очень тормозят работу сервера.
Было решено создать сервис, который бы удовлетворял следующим требованиям:
Было решено создать сервис, который бы удовлетворял следующим требованиям:
- Легкая интеграция с любым сайтом.
- Реализовать процесс конвертации более одного видео файла в одно и то же время.
- Реализовать процесс сбора видео с ftp, IMAP и просто напрямую получать видео файл через HTTP POST.
- Опционально при помощи дополнительных параметров, уметь вращать видео, вещать водные знаки и т.д.
- Реализовать безопасную систему авторизации во фронте, где юзеры могут видеть, какие данные уходят на видео сервис помимо видео файла.
- Отправлять готовые результаты на Amazon S3.
- Хорошенько обрабатывать ошибки, и оповещать об этом клиентский сервис.
Песочница → Переносим Redmine c VPS на Heroku или как получить бесплатный project-management tool из песочницы
Эта статья дает пошаговую инструкцию как опубликовать Redmine приложение на веб хостинге Heroku.
Сперва давайте определимся почему и зачем нам/вам это нужно. Кто еще не знает что такое Redmine то это веб-приложение для управления проектами и отслеживания ошибок (баг трекер). Это довольно популярное приложение с открытым кодом и множеством плагинов.
Heroku это платформа для хостинга веб приложений. Отличительными чертами которой являются простота использования, минимальная конфигурация и возможность быстро менять требуемые ресурсы сервера (например если ожидается хабраэффект можно быстро увеличить требуемые мощности). То что нас интересует для этой статьи это возможность хостить приложение бесплатно.
Зачем нужна эта статья? Heroku платформа хоть и предоставляет ряд преимуществ перед VPS хостингом, у нее так же в добавок есть ограничения. Эта статья раскрывает сложности при установки и рассчитана на среднего-опытного пользователя.
Сперва давайте определимся почему и зачем нам/вам это нужно. Кто еще не знает что такое Redmine то это веб-приложение для управления проектами и отслеживания ошибок (баг трекер). Это довольно популярное приложение с открытым кодом и множеством плагинов.
Heroku это платформа для хостинга веб приложений. Отличительными чертами которой являются простота использования, минимальная конфигурация и возможность быстро менять требуемые ресурсы сервера (например если ожидается хабраэффект можно быстро увеличить требуемые мощности). То что нас интересует для этой статьи это возможность хостить приложение бесплатно.
Зачем нужна эта статья? Heroku платформа хоть и предоставляет ряд преимуществ перед VPS хостингом, у нее так же в добавок есть ограничения. Эта статья раскрывает сложности при установки и рассчитана на среднего-опытного пользователя.
Хостинг → Дешёвый облачный хостинг на открытом ПО
Новый онлайн-хостинг Nimbus.IO от компании SpiderOak вдвое дешевле Amazon S3 и основан на открытом ПО: серверная и клиентская части бесплатны и будут распространяться по модели open-source (сервер AGPL, клиент LGPL). Правда, Nimbus.IO пока в закрытой бете и исходники не доступны всем подряд, но разработчики обещают скоро выложить коды на github.
Про REST API пока ничего не говорят, только то, что они «похожи на S3 и Rackspace, то есть используется формат JSON вместо XML».
Блог компании 1С-Битрикс → Поддержка облачных файловых хранилищ в «1С-Битрикс: Управление сайтом» 11
Этой статьей мы открываем целый цикл постов, посвященный новинкам, реализованным в новой, 11-ой версии «1С-Битрикс: Управление сайтом».
Одна из самых интересных возможностей, появившаяся в новом релизе, — поддержка облачных хранилищ.
В этом посте мы расскажем, что же это такое, какие бывают хранилища, как они работают, и как их можно с большой пользой применять на своем сайте.
Одна из самых интересных возможностей, появившаяся в новом релизе, — поддержка облачных хранилищ.
В этом посте мы расскажем, что же это такое, какие бывают хранилища, как они работают, и как их можно с большой пользой применять на своем сайте.
*nix → Быстрая реализация инкрементального бэкапа на Amazon S3 из песочницы
После переезда моего сайта с shared-хостинга на виртуальный сервер в облаке вплотную встал вопрос об архивации данных: если раньше о ежедневном бэкапе беспокоился хостер, то теперь эти заботы целиком легли на плечи администратора. Так как хранить большие архивы на своем сервере не только небезопасно, но и (иногда) накладно, было решено копировать основную массу файлов на сервис S3 от Amazon. Под катом описывается мой способ реализации инкрементального бэкапа. Способ достаточно нубовский, но желающие повторить его без труда найдут пути тонкой настройки под свои нужды.
Персональные блоги → Сделай мэшап — выиграй планшет на Hackathon
Скажу честно, давно мечтал сделать мероприятие про мэшапы для разработчиков и наконец появилась возможность! Приглашаю всех веб-разработчиков принять участие 16-17 июля в SumIT API Hackathon. В течении 1,5 дней вам необходимо будет создать интересный мэшап объемом не более 5Кб c использование только JavaScript, HTML5 и API популярных веб-сервисов (Facebook, Twitter, Amazon, Google, Yahoo, Foursquare, Flickr, Vkontakte и другие). По итогам будет выбран самый интересный мэшап, который получит приз планшетный компьютер Acer ICONIA TAB A500.
Какой мэшап замутить? Обсудим ниже, но ограничением является только ваше воображение! Дерзайте. Также лучшие программисты получат возможность присоединиться к лучшим стартап-командам или продолжить развивать свой проект в течении месяца.
Регистрация на Hackathon: http://www.sumit.ru/hackathon_reg
Страница мероприятия: http://sumit.ru/hackathon.
Давайте обсудим идеи мэшапов и разрешенные библиотеки.
Какой мэшап замутить? Обсудим ниже, но ограничением является только ваше воображение! Дерзайте. Также лучшие программисты получат возможность присоединиться к лучшим стартап-командам или продолжить развивать свой проект в течении месяца.
Регистрация на Hackathon: http://www.sumit.ru/hackathon_reg
Страница мероприятия: http://sumit.ru/hackathon.
Давайте обсудим идеи мэшапов и разрешенные библиотеки.
Хостинг → Когда Amazon S3 вырастет до триллиона объектов?
Amazon опубликовал новую статистику по распределённому хостингу Amazon S3.
Вот статистика за каждый год (по состоянию на конец IV кв.)
Вот статистика за каждый год (по состоянию на конец IV кв.)
- 2006 — 2,9 млрд объектов
- 2007 — 14 млрд объектов
- 2008 — 40 млрд объектов
- 2009 — 102 млрд объектов
- 2010 — 262 млрд объектов
Системное администрирование → Бэкапы через bacula на Amazon S3
Как известно, все люди делятся на два вида: те, кто ещё не делает бэкапы, и те, кто их уже делает. У тех, кто только начинает делать бэкапы, первым обычно встаёт вопрос о том, каким способом архивировать данные. Простые варианты (вручную нарезать болванки, целиком архивировать каталоги на другие серверы) рассматривать не будем — у них весьма скромные возможности по индексированию и поиску архивных файлов. Вместо этого обратимся к автоматическим системам бэкапов, в частности bacula. Данная статья не рассматривает вопрос, почему bacula. Главные причины — она распространяется под свободной лицензией, доступна для кучи платформ и обладает огромной гибкостью.
Второй вопрос после выбора системы архивации — выбор места, где хранить бэкапы. Bacula позволяет использовать стриммеры, компакт-диски, писать архивы в FIFO-устройства и в обычные файлы. Стриммер удобен на корпоративных серверах, где есть постоянный физический к железу. Хранение архивов в файлах подойдёт, когда объём архивов не превышает объёма жёстких дисков, плюс для надёжности хранения желательно делать RAID-массив с избыточностью, а то и несколько физических серверов для бэкапов, желательно в разных помещениях. Иначе всё это до первого пожара. Нарезать на болванки — это домашний вариант, главный недостаток которого — необходимость регулярного втыкания свежих дисков. Мы же настроили bacula для архивации данных на Amazon S3.
Второй вопрос после выбора системы архивации — выбор места, где хранить бэкапы. Bacula позволяет использовать стриммеры, компакт-диски, писать архивы в FIFO-устройства и в обычные файлы. Стриммер удобен на корпоративных серверах, где есть постоянный физический к железу. Хранение архивов в файлах подойдёт, когда объём архивов не превышает объёма жёстких дисков, плюс для надёжности хранения желательно делать RAID-массив с избыточностью, а то и несколько физических серверов для бэкапов, желательно в разных помещениях. Иначе всё это до первого пожара. Нарезать на болванки — это домашний вариант, главный недостаток которого — необходимость регулярного втыкания свежих дисков. Мы же настроили bacula для архивации данных на Amazon S3.
Я пиарюсь → Апартама — сервис для дизайна интерьеров и не только
Всем привет!
Больше года мы держали в тайне наш проект — без отпусков и без выходных трудились над Апартамой — “сервисом для дизайна интерьеров и не только”, и теперь, наконец-то, можем рассказать о нём хабрапользователям.
Больше года мы держали в тайне наш проект — без отпусков и без выходных трудились над Апартамой — “сервисом для дизайна интерьеров и не только”, и теперь, наконец-то, можем рассказать о нём хабрапользователям.
Внутри рассказ о проекте в части первой и технические детали в части второй
Google → Google будет конкурировать с Amazon S3
Как сообщает TechCrunch, Google собирается представить новый сервис облачного хранения данных, который будет прямым конкурентом Amazon S3. Называться он будет «Google Storage for Developers», или «GS».
Среди возможностей: REST API, возможность использовать аккаунты Google для ограничения доступа к файлам. Управление данными, будет доступно разработчикам, через веб-интерфейс и утилиту командной строки.
Логично предположить что у GS так же будет интеграция с CDN, по аналогии с амазоновским CloudFront.
Среди возможностей: REST API, возможность использовать аккаунты Google для ограничения доступа к файлам. Управление данными, будет доступно разработчикам, через веб-интерфейс и утилиту командной строки.
Логично предположить что у GS так же будет интеграция с CDN, по аналогии с амазоновским CloudFront.