Evernote пережил серию аппаратных сбоев на одном из наших серверов между 1 и 4 июля. Эти проблемы потенциально могли затронуть 6 323 пользователей по всему миру. В результате этого сбоя некоторые заметки, созданные или отредактированные этими пользователями в промежуток времени между 1 и 4 июля, не были корректно записаны на серверах Evernote. Мы незамедлительно связались со всеми пострадавшими пользователями по почте, и наша служба поддержки провела их через процедуру восстановления данных. Мы сразу предоставили всем потенциально пострадавшим пользователям премиум-подписку (либо продлили ее на 1 год для тех, кто уже являлся премиум-пользователем), чтобы обеспечить им приоритетный доступ к нашей технической поддержке в случае, если понадобится помощь в восстановлении заметок, а также для частичной компенсации за причиненное неудобство.
Если вы не получили от нас такое письмо в начале июля, значит проблема вас не затронула.
Благодаря присущей Evernote избыточности хранения данных (копии заметок сохранялись на жестком диске, в почте и истории браузера), большинство пострадавших пользователей смогли восстановить все свои заметки.
Мы хотим вас заверить, что это была однократная проблема. Мы значительно улучшили нашу систему оповещения и избыточность инфраструктуры, чтобы предотвратить повторение подобных инцидентов. Мы искренне просим извинения у наших пострадавших пользователей. Даже если большинство из них не потеряли какие-либо данные, они вынуждены были прочитать длинное и, вероятно, волнительное письмо с информацией о проблеме. Мы также надеемся, что те, кто потерял данные, получили достаточно информации о заметках, с которыми они работали в течение четырех дней, чтобы восстановить или создать заново наиболее важные из них.
Мы получили ответы от нескольких сотен пострадавших пользователей, и мы крайне благодарны им за понимание и постоянную поддержку. Мы пишем об этом сейчас из-за ошибочной информации, распространившейся кое-где по Интернету.
Ниже технические подробности происшедшего.
Данные каждого пользователя хранятся на «кластере» (shard). Кластер образуется из связки двух серверов: рабочего и запасного, для обеспечения отказоустойчивости. Если есть проблема с сервером, система автоматически запускает в работу второй сервер в кластере. У нас сейчас есть 37 кластеров. С кластером номер 22 в прошлом месяце возникли проблемы. Данные каждого сервера хранятся на RAID-массиве (с полным резервированием). Также осуществляется резервное копирование всех данных, как в нашем центре обработки данных, так в другом месте. Полная копия ваших заметок хранится также в программных клиентах для Windows и Mac (а также программах для iPhone и iPad для премиум-пользователей, которые активировали эту возможность). Это значит, что любая заметка в Evernote хранится по меньшей мере в шести местах: диск на основном сервере, RAID-зеркало, запасной сервер кластера и его RAID-реплика, резервные копии в центре обработки данных и в запасном хранилище. Большинство пользователей также имеют одну или две копии в своих локальных клиентах. Это делает потерю данных в Evernote крайне редким явлением.
Инцидент с кластером 22 был вызван крайне маловероятным сочетанием аппаратных пробем сразу с основным сервером и запасным механизмом. Вкратце, кластер переключался туда-сюда между двумя серверами на протяжении некоторого времени, что привело к тому что созданные в это время записи были затерты. Все данные, созданные до сбоя, было просто восстановить из резервной копии. Вероятность повторного возникновения такой последовательности сбоев крайне мала, но на всякий случай мы модифицировали механизм отказоустойчивости, чтобы быть уверенными, что потерять данные будет невозможно даже при самом худшем развитии событий.
Если вы не получили от нас такое письмо в начале июля, значит проблема вас не затронула.
Благодаря присущей Evernote избыточности хранения данных (копии заметок сохранялись на жестком диске, в почте и истории браузера), большинство пострадавших пользователей смогли восстановить все свои заметки.
Мы хотим вас заверить, что это была однократная проблема. Мы значительно улучшили нашу систему оповещения и избыточность инфраструктуры, чтобы предотвратить повторение подобных инцидентов. Мы искренне просим извинения у наших пострадавших пользователей. Даже если большинство из них не потеряли какие-либо данные, они вынуждены были прочитать длинное и, вероятно, волнительное письмо с информацией о проблеме. Мы также надеемся, что те, кто потерял данные, получили достаточно информации о заметках, с которыми они работали в течение четырех дней, чтобы восстановить или создать заново наиболее важные из них.
Мы получили ответы от нескольких сотен пострадавших пользователей, и мы крайне благодарны им за понимание и постоянную поддержку. Мы пишем об этом сейчас из-за ошибочной информации, распространившейся кое-где по Интернету.
Ниже технические подробности происшедшего.
Данные каждого пользователя хранятся на «кластере» (shard). Кластер образуется из связки двух серверов: рабочего и запасного, для обеспечения отказоустойчивости. Если есть проблема с сервером, система автоматически запускает в работу второй сервер в кластере. У нас сейчас есть 37 кластеров. С кластером номер 22 в прошлом месяце возникли проблемы. Данные каждого сервера хранятся на RAID-массиве (с полным резервированием). Также осуществляется резервное копирование всех данных, как в нашем центре обработки данных, так в другом месте. Полная копия ваших заметок хранится также в программных клиентах для Windows и Mac (а также программах для iPhone и iPad для премиум-пользователей, которые активировали эту возможность). Это значит, что любая заметка в Evernote хранится по меньшей мере в шести местах: диск на основном сервере, RAID-зеркало, запасной сервер кластера и его RAID-реплика, резервные копии в центре обработки данных и в запасном хранилище. Большинство пользователей также имеют одну или две копии в своих локальных клиентах. Это делает потерю данных в Evernote крайне редким явлением.
Инцидент с кластером 22 был вызван крайне маловероятным сочетанием аппаратных пробем сразу с основным сервером и запасным механизмом. Вкратце, кластер переключался туда-сюда между двумя серверами на протяжении некоторого времени, что привело к тому что созданные в это время записи были затерты. Все данные, созданные до сбоя, было просто восстановить из резервной копии. Вероятность повторного возникновения такой последовательности сбоев крайне мала, но на всякий случай мы модифицировали механизм отказоустойчивости, чтобы быть уверенными, что потерять данные будет невозможно даже при самом худшем развитии событий.
