Comments 5
прочитал, но так и не понял главного. куда спарк экзекьюторы писать будут? каждый на свою машину?
еще в тренде на k8s интересно чем конечный результат от спарка предполагается смотреть? что-то типа hive или impala ведь понадобится.
еще в тренде на k8s интересно чем конечный результат от спарка предполагается смотреть? что-то типа hive или impala ведь понадобится.
Спарк шеллом :) Вот кстати да, совершенно не улавливаю прелести подобных решений. Для хадуп видите ли у нас нормального дистрибутива нет, поэтому мы будем на коленке собирать его подобие из того что было под рукой? Как-то это все странно, и далеко не всем подойдет, очевидно. А уж с учетом второго минуса в виде безопасности — и подавно.
>Первый и, пожалуй, главный минус — это отсутствие Data Locality.
Ну зато этот минус — всем минусам минус… Опять же, мне кажется, или вопрос планирования процессорных ресурсов вы рассмотрели, а вопрос хранения данных — как-то не очень. Все равно ведь что-то типа HDFS так или иначе нужно будет.
Ну зато этот минус — всем минусам минус… Опять же, мне кажется, или вопрос планирования процессорных ресурсов вы рассмотрели, а вопрос хранения данных — как-то не очень. Все равно ведь что-то типа HDFS так или иначе нужно будет.
Sign up to leave a comment.
Запускаем Apache Spark на Kubernetes