akomiagin Mar 12 at 10:48

Квест по синхронизации аналитического и оперативного хранилищ в реальном времени без потерь на сотнях терабайт данных

Medium

12 min

2.2K

STM Labs corporate blogHigh performance*MongoDB*Data storage*

Case

Comments 6

AlexeyK77 Mar 12 at 11:10

У вас OLTPбаза тоже на монгодб? Обычно же в олтп классическая реляционка, тогда и синхронизацию\реплику делают через передачу транзакционных логов.

akomiagin Mar 12 at 11:20

да, мы используем MongoDB, т.к. у нас модель доступа key-value в оперативном хранилище

vitaly_il1 Mar 12 at 17:34

А почему не просто репликация?

akomiagin Mar 13 at 11:20

Обычную репликацию можно было использовать если бы в качестве аналитического кластера использовалась тоже MongoDB, но у нас в проекте в качестве аналитического кластера используются несколько систем: Elastic + Clickhouse + HDFS для различных задач. Добавил информацию об этом в статью, т.к. этот момент был совершенно неочевиден для читателя. Спасибо, что подсветили этот момент!

vitaly_il1 Mar 13 at 13:00

Понял! Мне показалось что у вас всюду Монго.

Tzimie Mar 13 at 17:37

А на MSSQL можно было бы использовать readable replica