Что мы получим после этой статьи:

Систему сбора и анализа логов на syslog-ng, elasticsearch в качестве хранилища данных, kibana и grafana в качестве систем визуализации данных, kibana для удобного поиска по логам, elasticalert для отправки уведомлений по событиям. Приготовьтесь, туториал объемный.

Какие логи будем собирать:

• все системные логи разложенные по индексам в зависимости от их facility(auth,syslog,messages и т.д.);
• логи nginx — access и error;
• логи pm2;
• и др.

Обоснование выбора системы

Почему я выбрал связку с syslog-ng в качестве отправителя, парсера и приемщика логов? Да потому что он очень быстрый, надежный, не требовательный к ресурсам(да да — logstash в качестве агентов на серверах и виртуальных машинах просто убожество в плане пожирания ресурсов и требованием java), с внятным синтаксисом конфигов(вы видели rsyslog? — это тихий ужас), с широкими возможностями — парсинг, фильтрация, большое количество хранилищ данных(postgresql,mysql,elasticsearch,files и т.д.), буферизация(upd не поддерживает буферизацию), сторонние модули и другие фишки.

Требования:

• Ubuntu 16.04 или debian 8-9;
• vm для развертывания;
• Прямые руки.

Приступим или добро пожаловать под кат

7-8 ноября 2017 на конференции Highload++ исследователи лаборатории «Рэйдикс» представили доклад «Метаданные для кластера: гонка key-value-героев».

В этой статье мы представили основной материал доклада, касающийся тестирования баз данных key-value. «Зачем их тестировать производителю СХД?», — спрóсите вы. Задача возникла в связи с проблемой хранения метаданных. Такие «фичи», как дедупликация, тиринг, тонкое выделение ресурсов (thin provisioning), лог-структурированная запись, идут вразрез с механизмом прямой адресации – возникает необходимость хранить большое количество служебной информации.

Мы то и дело слышим, что не за горами эпоха активного использования квантовых вычислений, что такие системы уже скоро станут доступны специалистам, включая аналитиков данных. Но сколько осталось ждать на самом деле? Научный сотрудник Российского квантового центра Алексей Фёдоров вводит в курс дела и рассказывает, как идут дела с разработкой квантовых компьютеров.


Под катом — расшифровка и часть слайдов Алексея.

Раньше в путешествиях я просто покупал локальную sim-карту и в конце поездки выбрасывал. Но потом путешествия становились сложнее, появились пересадки и несколько стран за один трип – и каждый раз покупать симки не хватило бы ни времени, ни денег. И тут я начал искать ту идеальную sim-карту, которая работает worldwide и за копейки). Естественно, что такой карты не бывает, но нашел несколько продуктов, которые отлично друг друга дополняют. Тема актуальна не только потому что лето. Недавно отменили роуминг в EU, причем северные страны получили особые права брать roaming fee, а южные поменяли тарифы. Инфу актуализировал для себя, но пригодится каждому путешествующему зарубеж.

Основных универсальных продуктов на рынке три: MTX Connect, DrimSim, AirBalticCard Card. Еще достойны внимания четыре prepaid-тарифа от зарубежных операторов, которые можно купить самостоятельно в ближайшей поездке, либо через посредников в России: Saunalahti от Elisa FI (Финляндия), Internetikaart от Elisa EE (Эстония), Mundo от Orange ES (Испания), Vodafone 25 от Vodafone IT (Италия).

Разброс цен приличный. Ниже Вы найдете большую сравнительную таблицу со странами и ценами, а также краткое резюме по каждому продукту.

Привет, Хаброжители! У нас вышла новая книга Сэма Ньюмена.

Книга посвящена программированию микросервисов — небольших автономных компонентов, позволяющих добиться модульности и отказоустойчивости любой программы. Теория микро-сервисов тесно связана с философией Unix, способствует улучшению архитектуры любых приложений, дает возможность избегать громоздкого и запутанного кода. Эта книга поможет читателю заново взглянуть на многие, казалось бы, трудноразрешимые проблемы, масшта-бировать любые проекты, ювелирно разрабатывать даже самые сложные системы.

Эта книга полна конкретных примеров использования микросервисов, собранных по всему миру, включая их применение в таких организациях, как Netflix, Amazon, Gilt и REA group, пришедших к мысли, что возросшая автономность этой архитектуры дает их командам огромные преимущества.

Наконец-то у нас появились видео выступления наших спикеров на Highload 2015, которые мы с удовольствием выкладываем.

Если у вас появятся вопросы к докладчикам, задавайте их в комментариях. Ребята на них обязательно ответят.

1. «Near-realtime аналитика событий в высоконагруженном проекте», доклад Александра Крашенинникова

Если вы собираетесь учиться да рубежом, а курс доллара и евро не вызывает положительных эмоций, то есть несколько основных источников финансирования, с которых нужно начать поиски. Расскажем подробнее об одном из них.

Не помню, когда и при каких именно обстоятельствах, но как-то очень давно я открыл для себя Git. Поначалу я не совсем, конечно, понял его преимуществ перед другими системами контроля версий, но уже порядком к тому времени подустав от TFS, которую на тот момент мы использовали в компании, решил его попробовать.

Git очень быстро завоевал мою любовь и с тех пор я даже не представляю себе свою работу без него.

Однажды, играясь и пробуя разные команды, я случайно запустил режим редактора, а Git, как оказалось, по умолчанию использовал Vim, который я до того времени в глаза и не видел. Ну и как обычно происходит первое знакомство с этим редактором? Правильно — с недоумением и перезагрузкой терминала. Банально — выйти из редактора я так и не смог и честно, даже подумал, что редактор тупо глючит. Я даже помню, как-то удивился — как же блин так получилось, что такие умные чуваки, создавшие такую мощную штуку, как Git, могли выбрать такой архаичный, тупой, непонятный и некрасивый (как мне поначалу показалось) редактор?

I've been using Vim for about 2 years now, mostly because I can't figure out how to exit it.

— I Am Devloper (@iamdevloper) 17 февраля 2014

Интересует динамика и тренд изменения зарплат разработчиков, на фоне резкого падения курса рубля за последние 3 месяца.

Ранее мы рассматривали прототип масштабируемой read-only файловой системы. Удалось показать, что, используя предложенную архитектуру, можно построить файловую систему любой емкости, с гарантированным временем доступа, соизмеримым с таковым для доступа к файлу в пределах одного физического диска.
Далее постараемся разобраться, может ли подобный подход принести пользу при построении файловой системы общего назначения.

В этой статье я хотел бы рассмотреть тему оптимизации Windows Server (с виртуализацией и без) с использованием СХД NetApp FAS в среде SAN.

Для поиска и устранения узких мест в такой инфраструктуре, нужно опредилиться с компонентами инфраструктуры, среди которых их стоит искать. Разделим инфраструктуру на следующие компоненты:

• Настройки хоста c SAN (FC/FCoE)
• Настройки Ethernet сети на хосте для IP SAN ( iSCSI ).
• Собственно сам хост с ОС
• Приложения на Хосте
• Проверка совместимости драйверов и версий ПО

В продолжении темы по оптимизации хоста. В предыдущей статье я писал об оптимизации Windows и SAN сети, в этой статье я хотел бы рассмотреть тему оптимизации RedHat/Oracle Linux (с виртуализацией и без) с использованием СХД NetApp FAS в среде SAN.

Для поиска и устранения узких мест в такой инфраструктуре, нужно опредилиться с компонентами инфраструктуры, среди которых их стоит искать. Разделим инфраструктуру на следующие компоненты:

• Настройки хоста c SAN (FC/FCoE)
• Настройки Ethernet сети на хосте для IP SAN ( iSCSI ).
• Собственно сам хост с ОС
• Приложениями на Хосте
• Проверка совместимости драйверов и версий ПО

Магниторезистивная память (MRAM) — одно из самых «горячих» направлений исследований новых типов памяти. В перспективе она может превзойти все существующие виды памяти по всем характеристикам. Ячейки MRAM сравнимы по быстродействию с SRAM — памятью, которая используется в кэше процессора, по плотности ячеек — с DRAM. Память MRAM энергонезависима и она гораздо экономичнее и долговечнее флэш-памяти.

Рассматривая различные характеристики SSD дисков, достаточно часто можно встретить упоминание об DIPM в характеристике энергопотребления твердотельного дисков. Если SSD используется или планируется использовать в desktop-ах, то на это значение можно не обращать внимания, а если в notebook-ах и netbook-ах? Вот тут все зависит от того, насколько вам небезразлично время автономной работы мобильного устройства от аккумулятора. Что же, попробуем разобраться в вопросе, что такое DIPM и для чего он нужен SSD.

Тест позволяющий проверить уровень инженерного мышления. Составлен из 70 вопросов с вариантами ответов.



Несмотря на то, что очень многие ответы кажутся очевидными, там не все так просто. Ответственно предупреждаю, тест не показывает, где была совершена ошибка.

Hint: Ответы зашиты в коде, но без них интересней. Все же для этого ресурса, топик немного шуточный, по этому публикую в юмор.

Команда Microsoft Research представляет свою новую работу — расширение для Office, которое позволяет добавлять и редактировать в офисных документах представления химических формул. Для создания формул в полной мере поддерживается специализированный язык разметки Chemical Markup Language.



Вы можете скачать данное дополнение по этому адресу. Приятной новостью будет так же то, что в середине года данный проект будет доступен в виде открытых кодов под свободной лицензией Apache.

via blogs.msdn.com/msr_er/archive/2010/03/23/introducing-chemistry-add-in-for-word.aspx

Все наверняка слышали фразы типа «Кредиты — кровь бизнеса». С другой стороны, народная мудрость говорит: «Берешь чужое и на время, а отдаешь своё и навсегда».

Если у вас ипотека или кредитомобиль, то вы знаете на собственной шкуре, какой это тяжелый груз — и, возможно, не понимаете, почему предпринимателю хочется взять кредит в банке, когда достаточно своих средств. Если вас волнуют слова «стартап» и «венчурный капитал», то вы также должны понимать, зачем нужны чужие деньги.

Кредит для бизнеса и кредит для потребителя — немножко разные кредиты ;)

Под катом — простой пример работы финансового рычага. Многим он покажется слишком очевидным, но, надеюсь, кто-то найдет пользу для себя.

В этой части мы будем доделывать приложение «Менеджер Времени» из первой части.

Сразу выражаю огромную благодарность Belkin и всем тем, кто плюсанул первую часть, вы помогли мне с инвайтом)

Хочу обратить ваше внимание на то, что я отказался от использование сервиса, как изначально задумывалось. Сами посудите, запускать процесс только для того, чтоб каждую секунду увеличивать таймер — глупость. Решение простое: перед каждой остановкой программы, сохраняем время, а после запуска вычитаем его из текущего времени, получая число секунд.

План действий:

• Багфиксы предыдущей версии.
• Модификация кода, для постоянной работы приложения, а не только для запущенного Activity
• Уведомления
• Закинем все это дело на маркет

Сразу хочу извиниться и похвалиться) Извиняюсь за то что заставил вас долго ждать, а похвалиться тем, что на днях Android принес мне первые ну ооооочень хорошие деньги и я на радостях купил себе xbox и проиграл в него все выходные, поэтому и задержался)

Итак, поехали!

Не нашел на хабре статьи из песочницы, благодаря которой получил инвайт, поэтому решил внести ее в персональный блог.

Сколько себя помню, был помешан на компьютерах. И программирование так прочно вошло в мою жизнь, что несколько лет я и думать не мог о том, чтобы зарабатывать чем-то, кроме кодинга. Казалось, брось я программирование, деньги кончатся.
Последние лет пять я кодил. Кодил ночами, кодил круглосуточно. Устал. Надежды на отдых не было совсем. Каждый новый день начинался с того, что я представлял себе: что нужно сделать, что я должен сделать. Озверение пришло неожиданно и пришло в тот момент, когда я все-таки смог вырваться в отпуск.
Я сидел в беседке в одном из поселков близ Джубги и страдал бессонницей. Горы смыкались над головой, в голове бродила усталость. В ту ночь я в полной мере ощутил, что так дальше жить нельзя, что моя любовь — путешествия.
И именно в ту ночь внезапно пришло озарение: надо открыть интернет-магазин.
Но как открыть магазин, когда за душой нет ни гроша?