Мы тоже используем tmpfs. С ksql ровно те же проблемы, что и с kafka streams. Действия от изменения какого-либо шага со state store зависят от ситуации. Если меняется топик, на который идет джойн как на table, достаточно очистить state store и changelog топик от этого шага, после чего вычитать топик-таблицу заново. Если меняется структура агрегатов, приходится делать частичный репроцессинг данных.
Мы реализовывали нечто подобное. Схема примерно такая: делаем перекладку сообщений в боковой топик с задержкой N секунд от таймстемпа сообщения, потом перекладываем сообщения в исходный топик. Понятное дело, накладываем по пути нужные условия, чтобы переподкидывать не всё. Если не очень понятно, пишите в личку, объясню подробнее.
Точных цифр по памяти сейчас не назову, надо лезть, смотреть и считать.
В целом, вопрос нагрузки интересный, вас что именно интересует? Если смотреть на голые цифры количества событий на вход и на выход, будет не очень много, но это ни о чем не скажет. Внутри происходят сложные вычисления в режиме реального времени с кучей джойнов и агрегатов, что создаёт почти всю нагрузку на кластер.
Не понял, чего и о каком лимите, по вашему, я не знаю? Про то, что stream-table join триггерит джойн только приходом записей с левой части — это очевидный факт, так работает KSQL с Kafka Streams API
Лицензия на Golden Gate уже была. К тому же, это довольно хорошо работает. Из альтернативы, для загрузки данных из Оракла видится только какой-нибудь JDBC-коннектор, который работает ощутимо хуже и медленнее. GoldenGate льет данные в режиме реального времени, что является явным преимуществом.
Во-первых, не особо понятно, как при stream-table join должен работать триггер справа. В стриме могут быть дубли по ключу, на что джойниться?
Во-вторых, Kafka Streams API писали не мы, возмущаться тут бессмысленно.
Как я понял, автор в курсе, как работает Time Machine и, в частности, о снэпшотах. По другому просто невозможно. Если удалить снэпшоты через tmutil, то инкрементальные бэкапы через Time Machine превратятся в тыкву, и придется все бэкапить заново.
Хотя то, что MacOS не пишет о необходимости сделать бэкап для удаления старых снэпшотов и очистки места — косяк.
Согласен.
Но тут речь даже не про флешку, а скорее про USB-устройство.
Когда работал на банковском компьютере, он не принимал никакие USB-устройства, кроме периферии, а корпус был опломбирован.
Сходил я как-то на собеседование в СБТ.
Единственный плюс — денег предложили на 30-40% больше, чем получал тогда.
При этом спрашивали только про опыт, а по технике вопросы были на уровне детского сада. Скоуп задач толком не описали. Про плюшки пришлось клещами тащить информацию, а в итоге их тупо нет. Офис (Даниловский) — просто кошмар. Начальник отдела — мужик лет 60. Когда зашёл, я подумал, что это охранник. Курирует задачи, но при этом вообще ничего не понимает с технической стороны.
И в целом всё уныло так, степенно.
Дали преоффер после первого собеса, что тоже удивило. Я подумал немного (из-за денег), но решил, что нафиг, это того не стоит.
Я так понимаю, с банками вы вплотную не сталкивались.
Там даже за флешку, воткнутую в рабочий комп, могут по шее настучать. А вы про свой модуль памяти.
Давно интересует этот проект. Но я до сих пор не могу внести в него свой вклад и указать зарплату, потому что банально не могу классифицировать то, чем я занимаюсь, по вашему списку специализаций.
Я занимаюсь разработкой в области СУБД (ключевые слова: SQL, SAS, Hadoop, Kafka, Java). Возможно, подошла бы специализация Data Engineer, но у вас в списке этого нет.
Вообще же у нас в компании половина разработчиков — это ETL-разработчики (SQL, SAS, Informatica, etc), но их тоже некуда приткнуть. В вашей классификации с СУБД связана только «Администратор СУБД», но это абсолютно не то.
Увидел в статье насколько спойлеров, которые раскрываются только в середине книги. Не очень хорошо…
Не открывать, если не прочли половину
Про способности Выверта узнаешь далеко не сразу. Куда интереснее узнать о них по ходу прочтения. И про то, что Брайан является козырем, лучше тоже так сразу на сообщать.
В таблице декрета Россия выглядит довольно неплохо. Только вот надо учесть, что у нас "установленный максимум" для декретных выплат настолько низкий, что величина этих якобы 100% будет ниже, чем 30% заплаты в европейской стране.
Согласен по пункту 3. Недавно звонил, чтобы вызвать ГИБДД. Очень удивило, что надо нажимать дополнительные кнопки. А если что-то очень срочное? А если звонит бабуля, не дружащая с техникой?
Хотя, все равно быстро никто не приедет, так что разницы особо нет.
У моего друга на днях как раз аккаунт взломали ради оценки фильму Крым. Из-за этого человек не может уже который день восстановить аккаунт с сотнями оценок по другим фильмам.
Вот не понимаю я такого.
У нас в компании даже если узнают, что ты ходишь по собеседованиям, то ничего плохого не сделают. Логика такая: походишь, поймёшь, что у нас лучше, будешь еще больше доволен жизнью.
Точных цифр по памяти сейчас не назову, надо лезть, смотреть и считать.
В целом, вопрос нагрузки интересный, вас что именно интересует? Если смотреть на голые цифры количества событий на вход и на выход, будет не очень много, но это ни о чем не скажет. Внутри происходят сложные вычисления в режиме реального времени с кучей джойнов и агрегатов, что создаёт почти всю нагрузку на кластер.
Не понял, чего и о каком лимите, по вашему, я не знаю? Про то, что stream-table join триггерит джойн только приходом записей с левой части — это очевидный факт, так работает KSQL с Kafka Streams API
Во-вторых, Kafka Streams API писали не мы, возмущаться тут бессмысленно.
Как я понял, автор в курсе, как работает Time Machine и, в частности, о снэпшотах. По другому просто невозможно. Если удалить снэпшоты через tmutil, то инкрементальные бэкапы через Time Machine превратятся в тыкву, и придется все бэкапить заново.
Хотя то, что MacOS не пишет о необходимости сделать бэкап для удаления старых снэпшотов и очистки места — косяк.
Интересно. У меня почему-то оригинальное приложение Убер до сих пор работает в РФ. Андроид, Google Play русский.
Согласен.
Но тут речь даже не про флешку, а скорее про USB-устройство.
Когда работал на банковском компьютере, он не принимал никакие USB-устройства, кроме периферии, а корпус был опломбирован.
Сходил я как-то на собеседование в СБТ.
Единственный плюс — денег предложили на 30-40% больше, чем получал тогда.
При этом спрашивали только про опыт, а по технике вопросы были на уровне детского сада. Скоуп задач толком не описали. Про плюшки пришлось клещами тащить информацию, а в итоге их тупо нет. Офис (Даниловский) — просто кошмар. Начальник отдела — мужик лет 60. Когда зашёл, я подумал, что это охранник. Курирует задачи, но при этом вообще ничего не понимает с технической стороны.
И в целом всё уныло так, степенно.
Дали преоффер после первого собеса, что тоже удивило. Я подумал немного (из-за денег), но решил, что нафиг, это того не стоит.
Я так понимаю, с банками вы вплотную не сталкивались.
Там даже за флешку, воткнутую в рабочий комп, могут по шее настучать. А вы про свой модуль памяти.
Я занимаюсь разработкой в области СУБД (ключевые слова: SQL, SAS, Hadoop, Kafka, Java). Возможно, подошла бы специализация Data Engineer, но у вас в списке этого нет.
Вообще же у нас в компании половина разработчиков — это ETL-разработчики (SQL, SAS, Informatica, etc), но их тоже некуда приткнуть. В вашей классификации с СУБД связана только «Администратор СУБД», но это абсолютно не то.
В таблице декрета Россия выглядит довольно неплохо. Только вот надо учесть, что у нас "установленный максимум" для декретных выплат настолько низкий, что величина этих якобы 100% будет ниже, чем 30% заплаты в европейской стране.
Видимо
Вчера переводил с одного кошелька на другой. Комиссия была около 0.0002 (по вчерашнему курсу в районе 200 с чем-то рублей). Дошло за несколько минут.
Согласен по пункту 3. Недавно звонил, чтобы вызвать ГИБДД. Очень удивило, что надо нажимать дополнительные кнопки. А если что-то очень срочное? А если звонит бабуля, не дружащая с техникой?
Хотя, все равно быстро никто не приедет, так что разницы особо нет.
У моего друга на днях как раз аккаунт взломали ради оценки фильму Крым. Из-за этого человек не может уже который день восстановить аккаунт с сотнями оценок по другим фильмам.
Вот не понимаю я такого.
У нас в компании даже если узнают, что ты ходишь по собеседованиям, то ничего плохого не сделают. Логика такая: походишь, поймёшь, что у нас лучше, будешь еще больше доволен жизнью.