• Флэш начинает и выигрывает: будущее SSD

      Будущее принадлежит флэш-накопителям (SSD): они способны обеспечить гораздо более высокие скорости передачи данных, чем традиционные жесткие диски (HDD), и при этом становятся сравнительно недорогими. Широкое внедрение SSD может привести к существенным изменениям в архитектуре ЦОД и вычислительных систем.

      Серверы и системы хранения с флэш-накопителями SSD позволяют решать самые ресурсоемкие задачи, такие как поиск в крупных базах данных, оперативная обработка транзакций, бизнес-аналитика, обработка больших данных и крупномасштабная виртуализация. SSD имеют все шансы заметно потеснить HDD в серверах и системах хранения данных, становятся ключевым компонентом гиперконвергентных систем. К 2020 году может появиться флэш-накопитель емкостью 40 Тбайт, практически решена проблема долговечности SSD.

      Читать дальше →
    • Храните данные в облаке

        Привет, Хабр! Сегодня речь пойдет о сервисах синхронизации и обмена файлами и объектные облачных хранилищах. Облачные хранилища, представленные такими сервисами как SkyDrive или Dropbox, хорошо знакомы пользователям мобильных устройств и компьютеров. В последние годы они появляются во все большем количестве. Эти сервисы пользователям позволяют легко, быстро и в любое время получить авторизованный доступ к файлам через интернет.

        По данным отчета Statista, в 2017 году личное облачное хранилище в мире использовали более 1,8 миллиарда человек. Очевидное преимущество хранения данных в облаке — независимость от устройств, доступ из любого места и с любой системы. Облачное хранилище — отличный способ защитить себя от чрезвычайных ситуаций. Оно позволяет получать доступ к своим данным с другого устройства, если основное было потеряно или украдено.

        Читать дальше →
      • Разносим S3 бакеты по разным пулам в Ceph Luminous

        • Tutorial
        В процессе настройки нового кластера на Ceph Luminous появилась задача разнести разные S3 бакеты по разным устройствам хранения (в моем случае SSD и HDD). В интернете много инструкций как это сделать в Ceph Jewel, но в случае с Luminous процесс претерпел большие изменения и старые инструкции больше не работают. Вместе с тем, что в офф документации этот сценарий не описан, процесс настройки становится не слишком тривиальным.
        Читать дальше →
      • Сравнение открытых OLAP-систем Big Data: ClickHouse, Druid и Pinot

        • Перевод
        ClickHouse, Druid и Pinot — три открытых хранилища данных, которые позволяют выполнять аналитические запросы на больших объемах данных с интерактивными задержками. Эта статья — перевод подробного сравнения, выполненного Романом Левентовым.

        Спойлер

        ClickHouse Druid или Pinot
        В организации есть эксперты по C++ В организации есть эксперты по Java
        Малый кластер Большой кластер
        Немного таблиц Много таблиц
        Один набор данных Несколько несвязанных наборов данных
        Таблицы и данные находятся в кластере перманентно Таблицы и наборы данных периодически появляются в кластере и удаляются из него
        Размер таблиц (и интенсивность запросов к ним) остается стабильным во времени Таблицы значительно растут и сжимаются
        Однородные запросы (их тип, размер, распределение по времени суток и т.д.) Разнородные запросы
        В данных есть измерение, по которому они могут быть сегментированы, и почти не выполняется запросов, которые затрагивают данные, расположенные в нескольких сегментах Подобного измерения нет, и запросы часто затрагивают данные, расположенные во всем кластере
        Облако не используется, кластер должен быть развернут на специфическую конфигурацию физических серверов Кластер развернут в облаке
        Нет существующих кластеров Hadoop или Spark Кластеры Hadoop или Spark уже существуют и могут быть использованы
        А под катом — подробный рассказ о том, как Роман к этому пришёл.
        Читать дальше →
        • +45
        • 7,2k
        • 4
      • Онлайн имплементация localStorage

        Хочу поделиться тем, как приватный режим Safari привел к разработке простого ключ-значение хранилища на Node.js с резервным копированием, доступом к данным с определенных доменов и защитой паролем от записи и очистки хранилища.



        Все началось с того, что мне дали задачу, реализовать тестовый заказ в веб-приложении, которая встроена через iframe в одном популярном ресурсе.

        Задача была решена и работала следующим образом:

        1. неавторизованный пользователь кликает на магазин (ссылка «_blank»);
        2. в новом окне отображаются тестовые товары, а в iframe мы перенаправляем пользователя в профиль тестового пользователя и ждем появления данных покупки в localStorage;
        3. после совершения покупки, данные о ней сохраняем в localStorage (сумма, количество, магазин, время покупки и количество бонусов)
        4. в iframe при появлении данных тестовой покупки в localStorage, мы отображаем информацию в блоке «история покупок»;

        Все работало в большинстве браузеров, и даже в IE11, но только не в Safari, чья политика безопастности (более известный как porno-mode) не разрешала получить доступ к данным localStorage одного и того же домена внутри iframe и снаружи (в новом окне).

        Нужно где-то хранить промежуточные данные, привлечь к этой задачи бэкенд разработчиков для создания какого-либо API для хранения данных разрешения не получил, оставалось только найти какое-нибудь онлайн хранилище, с возможностью создание для каждого пользователя своего токена.
        Читать дальше →
      • Российские системы хранения данных от компании StoreQuant


        В поиске надёжных и быстрых СХД? Используй решения компании StoreQuant


        Системы хранения данных (СХД) являются ключевым элементом любой современной ИТ-системы, включая системы, ориентированные на поддержку бизнеса. Иностранные компании даже ввели термин, который описывает такие системы – Business Critical Systems или Mission Critical Systems.
        Действительно, обработка и хранение данных является важной задачей, так как их потеря или кратковременные сбои в работе СХД могут привести к серьёзным последствиям для бизнеса в целом.

        Читать дальше →
      • AdBlock похитил этот баннер, но баннеры не зубы — отрастут

        Подробнее
        Реклама
      • Перспективы развития отрасли видеонаблюдения: возможности современных систем видеоаналитики

          По мнению агентства Transparency Market Research, уже к 2022 году общий оборот рынка видеонаблюдения достигнет 71 миллиарда долларов США и будет увеличиваться как минимум на 16,5% ежегодно. Хотя в настоящее время спрос подогревается такими факторами, как возросшая опасность террористических атак и продолжающееся ужесточение законодательных требований к инфраструктуре безопасности и контроля доступа, в ближайшем будущем акценты сместятся в такие отрасли, как ретейл, промышленность, здравоохранение и другие. Причиной подобных изменений становится стремительное развитие интеллектуальных систем видеоаналитики, способных существенно расширить функционал привычных IP-камер.
          Читать дальше →
        • 5 трендов виртуализации: чего ожидать в 2018 году

            Согласно исследованию MarketsandMarket, в течение следующих 5 лет рынок виртуализации будет расти. В качестве основных «драйверов» рынка эксперты отмечают спрос на специализированное ПО и инфраструктуру для работы с большими объемами данных.

            В 2016 году этот рынок оценивали в 1,28 миллиарда долларов. Ожидается, что к 2022 году его стоимость достигнет 4,12 млрд. При этом среднегодовой темп роста (CAGR) в течение прогнозируемого периода составит 21,1%. В этом материале мы расскажем подробнее о том, какие направления станут основными для развития рынка виртуализации в 2018 году.

            Читать дальше →
          • Bitcoin и Ethereum: что происходит на узлах, которые не занимаются добычей, и что с ними будет дальше?


            Введение


            В последнее время довольно часто говорят о перспективах блокчейн систем, о том, что в будущем блокчейн заменит классические платёжные системы, такие как, например, Visa или Mastercard, а затем, возможно, коренным образом изменит и юриспруденцию благодаря возможностям «умных» контрактов. Но, несмотря на все ожидания, полноценной и всеобъемлющей платёжной системы на блокчейне пока не создано. Оплата реальных товаров и услуг криптовалютами, как правило, осуществляется в тех случаях, когда на использование классических способов оплаты наложены какие-то ограничения. При этом значительная часть сделок с использованием криптовалют несёт спекулятивный характер.


            Факторов, сдерживающих развитие блокчейн систем, безусловно, много. Они могут иметь как техническую, так и экономическую, политическую или даже психологическую природу. В данной статье будут рассмотрены только некоторые технические ограничения двух наиболее популярных блокчейн систем — Bitcoin и Ethereum.

            Читать дальше →
          • Введение в Data Vault



              Большинство компаний сегодня накапливают различные данные, полученные в процессе работы. Часто данные приходят из различных источников — структурированные и не очень, иногда в режиме реального времени, а иногда они доступны в строго определенные периоды. Все это разнообразие нужно структурированно хранить, чтоб потом успешно анализировать, рисовать красивые отчеты и вовремя замечать аномалии. Для этих целей проектируется хранилище данных (Data Warehouse, DWH).

              Существует несколько подходов к построению такого универсального хранилища, которые помогают архитектору избежать распространенных проблем, а самое главное обеспечить должный уровень гибкости и расширяемости DWH. Об одном из таких подходов я и хочу рассказать.

              Кому будет интересна эта статья?


              • Ищете более функциональную альтернативу схеме «звезды» и Третьей Нормальной Форме?
              • У Вас уже есть хранилище данных, но его тяжело дорабатывать?
              • Нужна хорошая поддержка историчности, а текущая архитектура для этого не подходит?
              • Возникают проблемы при сборе данных из нескольких источников?

              Если на какой-либо из этих вопросов Вы ответили утвердительно, и при этом не знакомы с Data Vault — прошу заглянуть под кат!
              Читать дальше →
            Самое читаемое