Pull to refresh
20
0
Pavel Likin @Burnout171

Пользователь

Send message

Повторная обработка событий, полученных из Kafka

Reading time 7 min
Views 24K


Привет, Хабр.


Недавно я поделился опытом о том, какие параметры мы в команде чаще всего используем для Kafka Producer и Consumer, чтобы приблизиться к гарантированной доставке. В этой статье хочу рассказать, как мы организовали повторную обработку события, полученного из Kafka, в результате временной недоступности внешней системы.


Современные приложения работают в очень сложной среде. Бизнес-логика, обернутая в современный технологический стек, работающая в Docker-образе, который управляется оркестратором вроде Kubernetes или OpenShift, и коммуницирующая с другими приложениями или enterprise-решениями через цепочку физических и виртуальных маршрутизаторов. В таком окружении всегда что-то может сломаться, поэтому повторная обработка событий в случае недоступности одной из внешних систем — важная часть наших бизнес-процессов.

Читать дальше →
Total votes 21: ↑20 and ↓1 +19
Comments 5

Как Kafka стала былью

Reading time 5 min
Views 31K


Привет, Хабр!


Я работаю в команде Tinkoff, которая занимается разработкой собственного центра нотификаций. По большей части я разрабатываю на Java с использованием Spring boot и решаю разные технические проблемы, возникающие в проекте.


Большинство наших микросервисов асинхронно взаимодействуют друг с другом через брокер сообщений. Ранее в качестве брокера мы использовали IBM MQ, который перестал справляться с нагрузкой, но при этом обладал высокими гарантиями доставки.


В качестве замены нам предложили Apache Kafka, которая обладает высоким потенциалом масштабирования, но, к сожалению, требует практически индивидуального подхода к конфигурированию для разных сценариев. Кроме того, механизм at least once delivery, работающий в Kafka по умолчанию, не позволял поддерживать необходимый уровень консистентности из коробки. Далее я поделюсь нашим опытом конфигурации Kafka, в частности расскажу, как настроить и жить с exactly once delivery.

Читать дальше →
Total votes 44: ↑42 and ↓2 +40
Comments 14

Как работать с Openflow контроллером NOX

Reading time 4 min
Views 13K
Привет, хабр.

Эта статья посвещена OpenFlow контроллеру NOX потому, что пока я не нашел единого источника информации для работы с ним без гугления и танцев.

Вы можете почитать об OpenFlow, протоколе, для работы с которым и был реализован NOX, подробнее в этой habrahabr.ru/post/149126 или habrahabr.ru/post/148745 этой статьях.

Читать дальше →
Total votes 3: ↑3 and ↓0 +3
Comments 1

Information

Rating
Does not participate
Location
Нижний Новгород, Нижегородская обл., Россия
Works in
Date of birth
Registered
Activity