Pull to refresh
39
0

User

Send message

Аналитика логов Nginx с помощью Amazon Athena и Cube.js

Reading time 9 min
Views 7.4K

Обычно для мониторинга и анализа работы Nginx используют коммерческие продукты или готовые open-source альтернативы, такие как Prometheus + Grafana. Это хороший вариант для мониторинга или real-time аналитики, но не слишком удобный для исторического анализа. На любом популярном ресурсе объем данных из логов nginx быстро растет, и для анализа большого объема данных логично использовать что-то более специализированное.


В этой статье я расскажу, как можно использовать Athena для анализа логов, взяв для примера Nginx, и покажу, как из этих данных собрать аналитический дэшборд, используя open-source фреймворк cube.js. Вот полная архитектура решения:


Архитектура


TL:DR;
Ссылка на готовый дэшборд.

Читать дальше →
Total votes 16: ↑16 and ↓0 +16
Comments 4

Прощай, Google Maps

Reading time 6 min
Views 270K
Google решил сделать из Google Maps новый миллиардный бизнес, подняв цены в 14 раз и уменьшив лимит бесплатного использования почти в 30 раз, всё с минимальным периодом уведомления. К счастью, это немедленно стимулировало конкуренцию. Apple Maps, MapBox, TomTom — что выбрать?

Наш стартап GdziePoLek.pl позволяет пациентам находить нужные лекарства в обычных аптеках. И даже по названию («где найти лекарства») понятно, насколько важно отображение на карте. Работу сервиса легко объяснить одной картинкой, на фоне которой всегда были карты Google Maps:


Типичная страница нашего сервиса показывает наличие лекарства в аптеках
Читать дальше →
Total votes 130: ↑128 and ↓2 +126
Comments 203

PeerTube 1.0: видеохостинг без дата-центра и капитальных затрат

Reading time 2 min
Views 42K
image

Состоялся первый продакшн-релиз децентрализованной платформы PeerTube для организации видеохостинга и видеовещания. PeerTube представляет собой независимую легковесную масштабируемую альтернативу для YouTube, Dailymotion и Vimeo и использует браузеры посетителей в реальном времени для создания сети распространения контента. Наработки проекта распространяются на GitHub под свободной лицензией AGPLv3.

image


Идея PeerTube состоит в том, чтобы создать технологию, способную объединить разрозненные серверы с видео в общую федеративную сеть с взаимным обменом информацией, в которой посетители участвуют в доставке контента и имеют возможность подписки на каналы и получения уведомлений о новых видео.
Total votes 76: ↑74 and ↓2 +72
Comments 186

3 года «права на забвение»: Google раскрыла статистику запросов на «удаление» информации

Reading time 4 min
Views 24K
Месяц назад в своем блоге компания Google представила статистику по реализации так называемого права на забвение за последние 3 года. Всего с 2014 по 2017 год компания получила 2,5 млн запросов на удаление информации из поисковой выдачи.

Подробнее о том, что такое «право на забвение» и как оно работает, расскажем далее.

Читать дальше →
Total votes 27: ↑25 and ↓2 +23
Comments 13

Прошло 10 лет, а никто не придумал, как использовать блокчейн

Reading time 14 min
Views 144K
Все говорят, что блокчейн — технология, лежащая в основе криптовалют — изменит ВСЁ. Но спустя годы усилий и многомиллиардные инвестиции никто так и не придумал, как можно использовать блокчейн, если не считать криптовалютных спекуляций и противозаконных финансовых транзакций.

Во всех описываемых случаях использования — от платежей до юридических документов, от депонирования до систем голосования — авторы прибегали к всевозможным ухищрениям, чтобы внедрить распределённый, зашифрованный, анонимный реестр, в котором не было нужды. А что если вообще не существует потребности в использовании распределённого реестра? Что если отсутствие масштабных проектов на базе распределённого реестра спустя десятилетие разработок объясняется тем, что это никому не нужно?
Читать дальше →
Total votes 233: ↑190 and ↓43 +147
Comments 480

Создание быстрых и более оптимизированных сайтов на WordPress

Reading time 14 min
Views 44K
Большинство потребителей имеют уже сложившееся мнение о том, что касается услуг web-хостинга. Если вы будете искать отзывы о любом хостинг-провайдере, вы обнаружите десятки результатов. И обычно, негативных отзывов там намного больше, чем положительных. Я думаю, я смогу это исправить, поэтому делюсь с вами задачами, с которыми мне приходится сталкиваться как оператору поддержки хостинга для WordPress, а также их решениями.

Я собрал список плохих web-решений, а также рекомендаций о том, чего делать на вашем сайте не стоит. Список основывается на тысячах часов общения с клиентами, а также поддержки и устранения неполадок, с которыми я сталкиваюсь ежедневно. Что-то из предложенного будет достаточно примитивным, а какие-то вопросы будут более продвинутого уровня. Многое из описанного может отделять успешный сайт на WordPress от провального. Ведь, несмотря на то, что выбор правильного web-хостинга очень важен, вы должны уделять достаточно времени оптимизации сайта на WordPress, чтобы он был успешным.
Читать дальше →
Total votes 20: ↑17 and ↓3 +14
Comments 13

Что нам стоит CDN построить

Reading time 4 min
Views 13K

Медленные сайты раздражают пользователей. Когда основной контент — фоточки, а сайт тормозит — это раздражает вдвойне. И как бы мы ни оптимизировали свой сервис, всегда остаётся такой фактор, как качество связи между пользователем и нашим ЦОДом. В решении этой проблемы нам помогает CDN.

Мы — это компания «Колёса Крыша Маркет», разработчик самых крупных и посещаемых сайтов частных объявлений в Казахстане и фотографии из объявлений — критически важная часть нашего бизнеса.
Читать дальше →
Total votes 24: ↑22 and ↓2 +20
Comments 18

Как я сделал самый быстрый ресайз изображений. Часть 2, SIMD

Reading time 15 min
Views 26K

Это продолжение цикла статей о том, как я занимался оптимизацией и получил самый быстрый ресайз на современных x86 процессорах. В каждой статье я рассказываю часть истории, и надеюсь подтолкнуть еще кого-то заняться оптимизацией своего или чужого кода. В предыдущих сериях:


Часть 0
Часть 1, общие оптимизации


В прошлый раз мы получили ускорение в среднем в 2,5 раза без изменения подхода. В этот раз я покажу, как применять SIMD-подход и получить ускорение еще в 3,5 раза. Конечно, применение SIMD для обработки графики не является ноу-хау, можно даже сказать, что SIMD был придуман для этого. Но на практике очень мало разработчиков используют его даже в задачах обработки изображений. Например, довольно известные и распространенные библиотеки ImageMagick и LibGD написаны без использования SIMD. Отчасти так происходит потому, что SIMD-подход объективно сложнее и не кроссплатформенный, а отчасти потому, что по нему мало информации. Довольно просто найти азы, но мало детальных материалов и разбора реальных задач. От этого на Stack Overflow очень много вопросов буквально о каждой мелочи: как загрузить данные, как распаковать, запаковать. Видно, что всем приходится набивать шишки самостоятельно.

Читать дальше →
Total votes 70: ↑67 and ↓3 +64
Comments 26

Полезные плагины и советы по безопасности для WordPress

Reading time 4 min
Views 9.9K


Онлайн-маркетинг и ведение блогов не получили бы столь широкого распространения без таких систем управления содержимым (CMS), как WordPress.

Считается, что WordPress — это самая простая и при этом многофункциональная CMS. С помощью нее все от любителей до крупных компаний могут создавать, публиковать, управлять и следить за веб-контентом.

На сегодняшний день на WordPress работает примерно 76,5 миллионов блогов, или 27% всех страниц в интернете. Каждый день создается еще 50000 веб-сайтов (источник: WordPress).

Из-за такого объема операций WordPress становится мишенью для злоумышленников. Взломщики проникают в систему, чтобы распространять вирусы, раскрывать данные или мешать работоспособности WordPress-сайта в целом.
Читать дальше →
Total votes 19: ↑18 and ↓1 +17
Comments 2

Вход на сайт при помощи Telegram

Reading time 4 min
Views 45K
На сегодняшний день в интернете практически все сайты используют древнюю и проверенную временем схему регистрации/авторизации по email. Такая схема всегда отлично работала и продолжает работать по сей день, но она делает пользователя интернета зависимым от почтовых сервисов, и на мой взгляд, имеет ряд недостатков.
Читать дальше →
Total votes 57: ↑49 and ↓8 +41
Comments 92

Уникальный стабилизатор Штиль Инстаб 500

Reading time 4 min
Views 44K
У меня в руках стабилизатор «Штиль Инстаб 500», изготовленный специально для проекта Lamptest.ru.


Он выдаёт стабильное переменное напряжение 230 В с точностью ±0.6 В и его выходное напряжение не зависит от входного.
Total votes 57: ↑49 and ↓8 +41
Comments 128

Скрипт для тех, кому лень разбираться в Linux

Reading time 7 min
Views 112K
Сфер применения Linux может быть очень много. Особенно, когда арендовать VPS стало можно от $1 в месяц. Кроме стандартного использования под хостинг сайтов, его используют в качестве сервера для игр (CS:GO, Terraria, Minecraft), в качестве Proxy-сервера и VPN-сервера. Под майнинг криптовалют. Под резервное хранилище бэкапов. Под домашнюю торренто-качалку. А также для тестирования, разработки и просто различных экспериментов. Именно доступность VPS на базе Linux с огромным спектром возможного его применения привела к популяризации Linux. Но желающих использовать Linux значительно больше, чем людей, которые умеют его использовать. И часто именно слабые познания администрирования Linux останавливают людей от его использования. Ну или просто усложняют таким людям жизнь — им приходится часами ковыряться в мануалах, форумах и «статьях для новичков».

Да мне и самому надоело лазить по специализированным форумам, каждый раз, когда приходится сделать шаг влево или шаг вправо относительно того, что я уже научился делать. Именно поэтому, со временем, все типовые вещи я свёл в один скрипт с дружелюбным интерфейсом, который умеет делать всё сам. Начиналась всё с малого. Скрипт просто автоматизировал установку нужного мне софта. Но за полгода он превратился уже в весьма серьёзную утилиту весом более 100 Кб, в которой около 2,5 тысяч строк кода. Скрипт ранее нигде не выкладывался. Использовался только в личных целях мной и несколькими моими товарищами. Пришло время им поделиться с публикой. Уверен, многим людям он способен сэкономить кучу времени.

Чтобы понять, что он умеет, проще всего глянуть на заглавный скриншот:


Далее подробнее опишу, что и как он делает.
Читать дальше →
Total votes 106: ↑68 and ↓38 +30
Comments 181

Как улучшить работу модема при плохом покрытии сети

Reading time 7 min
Views 85K
Привет. В этот раз мы решили написать статью об антеннах, в контексте антенн для USB-модемов. Расскажем о том, какие они бывают, почему так выглядят, какие проблемы решает каждая из антенн.

Мы учли пожелания в комментариях к предыдущей публикации о том, чтобы писать «проще», в то же время мы не можем не использовать технические описания и терминологию. Надеемся, что у нас получился нужный баланс удобного и одновременно полезного содержания.

Периодически, на электронную почту завода приходят вопросы вроде: «Почему купленная мною 3G антенна не ловит LTE?», или «Вскрыл вашу антенну — одни железки/фольга, где же усилитель?» и много других вопросов.

Было решено написать статью в том числе для ответов и на такие вопросы. Цель материала — показать, как работают такие антенны на примере собственных изделий и помочь выбрать нужную антенну для приема интернет-сигнала именно в вашей ситуации.
Читать дальше →
Total votes 19: ↑16 and ↓3 +13
Comments 64

Онлайн чат для веб-сайтов: self-hosted/open source

Reading time 2 min
Views 13K
Прошло немало времени, прежде чем на сайте интернет-магазина нашей компании появился онлайн чат. До этого как-то удавалось обходиться функционалом тикет-системы osTicket и классической телефонной связи, руководствуясь логикой «тот кому надо купить, должен обладать неподдельным желанием это сделать». Но я сам начал сталкиваться с ситуациями, когда звонить и висеть на линии откровенно влом, а ждать ответа на почту слишком долго. Формат чата оказался той самой золотой серединой. Начинаешь диалог и раз в 5 минут, занимаясь своими делами, получаешь нужные тебе ответы от оператора на другой стороне. А по итогу можно отправить транскрипт себе на почту. Да простят меня все создатели и пиарщики комерческих веб-чатов… Первоклассный open source под катом.
Читать дальше →
Total votes 17: ↑14 and ↓3 +11
Comments 29

Сказ о том как MT8060 c Arduino подружились

Reading time 4 min
Views 17K
Эта статья посвящена монитору качества воздуха MT8060 с датчиком углекислого газа и возможности считывать его показания на PC и Arduino.

Из этой статьи Вы узнаете:

  • Как я разбирал данное устройство.
  • Как подключить датчик CO2 к arduino, не разбирая его.
  • Как считать данные, и как преобразовать к виду, в котором они отображаются на экране (и даже в большем диапазоном значений).
  • Скетч и разводка кабеля прилагаются.

Осторожно, трафик!
Прошу под кат за подробностями.
Total votes 15: ↑15 and ↓0 +15
Comments 28

Добавляем WiFi к монитору качества воздуха: измеритель CO2 для умного дома

Reading time 10 min
Views 18K
Измерители CO₂ от Даджет уже снискали некоторую популярность из-за своей доступности и достаточно низкой цены(да, до десяти тысяч за NDIR-измеритель это еще бюджетно).
И вот когда я в один прекрасный момент задумался о мониторинге в своем доме не только температуры и влажности, но еще и количества углекислого газа, я сразу же вспомнил об этой компании и ее приборах.



Как известно, датчиков у Даджет два — один подключаемый проводом к компьютеру, а к другому можно подключить контроллер(как было сделано тут) для считывания показаний. Меня больше интересовал второй вариант котроллера, так как я хотел, чтобы датчик не был привязан к компьютеру проводом, и его можно было разместить в любом месте квартиры.

Итак, решено: берем монитор CO₂ и прикручиваем к нему WiFi в виде ESP8266.
Читать дальше →
Total votes 21: ↑17 and ↓4 +13
Comments 36

Топ 20 бесплатных инструментов мониторинга дисков

Reading time 6 min
Views 364K
В посте собран перечень 20 лучших бесплатных инструментов разбивки, диагностики, шифрования, восстановления, клонирования, форматирования дисков. Вообщем практически все что нужно для базовой работы с ними.

1. TestDisk


TestDisk позволяет восстанавливать загрузочные разделы, удаленные разделы, фиксировать поврежденные таблицы разделов и восстанавливать данные, а также создавать копии файлов с удаленных/недоступных разделов.



Примечание: PhotoRec ето связанное с TestDisk приложением. С его помощью возможно восстановить данные в памяти цифровой камеры на жестких дисках и компакт-дисках. Кроме того можно восстановить основные форматы изображений, аудиофайлы, текстовые документы, HTML-файлы и различные архивы.

Читать дальше →
Total votes 41: ↑25 and ↓16 +9
Comments 35

Microsoft настоятельно рекомендует пользователям обновиться до Windows 10

Reading time 1 min
Views 38K
Microsoft изменила статус обновления до Windows 10 с «необязательного» (optional) на «рекомендуемый» (recommended) для пользователей Windows 7 и Windows 8.1. В начале января компания уже сообщала, что Windows 10 была установлена на более чем 200 млн. устройств, а также указывала на будущее стимулирование обновления пользователей до новой версии Windows. С сегодняшнего дня обновление до этой версии ОС появится в списке обновлений у всех пользователей вышеуказанных ОС.



В то же время, это обновление по прежнему будет присутствовать в списке «необязательных» и пользователи как и раньше смогут отказаться от загрузки гигабайт установочных файлов этой ОС и их последующей установки. Microsoft также позволяет вернуться к предыдущей установленной копии Windows (downgrade) в течение 30 дней после ее установки, если пользователю не понравилось работать с Windows 10.

Читать дальше →
Total votes 15: ↑10 and ↓5 +5
Comments 40

Прототип сервиса обмена сообщениями Geotalk

Reading time 6 min
Views 9K

Если вы хотите узнать о новом, необычном, в чём-то уникальном сервисе обмена сообщениями, добро пожаловать под кат. Вы узнаете историю о том, как развивается наше приложение от идеи до реализации.

Преамбула


У информации много характеристик, но есть одна на наш взгляд самая главная характеристика – актуальность. Если этот признак отсутствует, то информация либо ложная, либо ненужная. Пример неактуальной для меня информации это то, что происходит сейчас на перекрестке двух улиц в каком-то захолустном городке штата Миннесота. А вот информация о том, нет ли перебоев в работе станции метро Бибирево, для меня актуальна. Мы ежедневно смотрим новости своей страны, а не чужой, потому что эти новости для нас актуальны, не только во времени, но и географически. Я хочу сказать, что важным критерием актуальности, наравне со временем, является географическое расположение информации.
Читать дальше →
Total votes 16: ↑13 and ↓3 +10
Comments 33

Использование облачной АТС pbxes.com для расширения возможностей VoiP / SIP телефонии

Reading time 4 min
Views 10K
Так сложилось, что у меня есть несколько SIP номеров от разных VoiP операторов в разных странах мира (США, Израиль, Украина, Россия). В какой-то момент, получив очередной звонок с предложением «купить слона» на мой израильский номер в 4 часа утра (я в США, а израильский телемаркетолог об этом, естественно, не догадывается), я понял, что надо что-то делать.

В случае с израильским провайдером все было просто — в личном кабинете провайдера изменил настройки, перенаправив все звонки от незнакомых номеров (которые не в «белом списке») в voice mail с 9 вечера до 7 утра.

Все бы ничего, но через какое-то время я стал получать звонки с предложением купить украинского слона (на украинские номера от Атлантис Телеком и Интертелеком) и российского слона (на номер от Задарма). А тут уже хуже — в личных кабинетах этих трех провайдеров нет возможности перенаправить звонок в voice mail по расписанию или заблокировать какой-то номер. В Задарма и Интертелекоме вообще нет voicemail, с переадресацией тоже не все хорошо (в Задарма — только безусловная переадресация), в Атлантис Телекоме и Интертелекоме — переадресация только на телефонные номера, но не на SIP URI.

В итоге, было найдено решение с использованием облачной АТС pbxes.com.

Кому интересно, приложением под катом (много картинок)

Читать дальше →
Total votes 6: ↑6 and ↓0 +6
Comments 1

Information

Rating
Does not participate
Registered
Activity