Pull to refresh
4
0.1
Send message

BroadcastExchange – это копирование правого датафрейма на каждый экзекьютор.

Дополню, что предварительно этот датафрейм собирается на драйвере. Соответственно, driver.memory (емнип) должен быть достаточен.

что сделать чтобы начать

Можно начать с планов в картинках. SparkUI довольно сносно их отображает, если, конечно, запрос не слишком сложный.

А если вакансии в 3-4 командах, то заставлять кандидата 3-4 отдельных собеседования проводить?

Кстати, а как это интегрируется с ПО конференций? Например, с Zoom-ом?

Последний раз меня попросили оптимизировать по картам карно схему. Я честно сказал, что для этого мне надо 2 часа всё вспомнить, так как последний раз этим занимался 20 лет назад в институте. На что мне сказали, что раз я даже таких элементарных вещей не знаю, то не подхожу и досвиданья. 

Если подразумевалась разработка схем с дискретными элементами, то это, действительно, самые основы. Хотя у нас это называлось диаграммой Вейча, но я и через 30 лет помню как ей пользоваться, хотя никогда после института электронику не разрабатывал.

Она, кстати, бывает полезна и в программировании. Как-то раз показал коллеге переход от восьми логических условий к двум с ее помощью, он был сильно удивлен :)

В чем заключается "вранье", если кандидат использует данные из Интернета?

У меня однажды была на онлайн-собеседовании девушка, которая на любой вопрос сначала пару секунд смотрела куда-то выше и правее камеры, а потом отвечала максимально общими и обтекаемыми словами по теме вопроса. На все мои попытки задать более узкие и конкретные вопросы ответом были примерно те же фразы с переставленными словами. Это было до появления всяких ChatGPT, сейчас бы подумал, что она тупо его ответы зачитывает. Конечно, я дал отрицательный ответ.

сделать матрицу головок для всех положений

Очень дорого - тысячи головок понадобятся. И, подозреваю, они не влезут геометрически по всей поверхности. Ведь головка занимает площадь намного больше, чем площадь, на которой она считывает/пишет.

И как регулировать высоту полета головки? Сейчас она на маятнике парит над поверхностью в 10 нм от поверхности.

И это только половина механики. Остается еще вращающийся шпиндель со своими заморочками. И который, кстати, вносит примерно вторую половину задержки при чтении/записи. (Первая была у перемещающихся головок).

Больше гайдов по работе с Pyspark в моем канале.

Пролистал много десятков постов...
Опять первоапрельская шутка :(

температура в зоне установки панелей будет сильно выше и может даже повлиять на климат целого региона

Кажется, прямо на Хабре читал про обратную проблему - из-за затенения грунта солнечными панелями, которые не всю поглощенную энергию переводят в тепло, температура грунта снижалась на пару градусов.

что-то мне подсказывает, что 40 МВт нагрузки аккумуляторы долго не протянут

А что им будет?

Они, вроде бы, не изнашиваются. См.https://wiki.factorio.com/Accumulator/ru

42 кВт - это среднесуточная мощность, так что все верно.

А максимально возможная - 60 кВт.

в этом есть какое-то практическое значение?

Это хороший способ "сверить часы". Т.е. сравнить значения, полученные разными формулами, разными алгоритмами, разными реализациями, разными библиотеками и т.п. Попутно найти ошибки во всем этом, за исключением, может быть, формул.

Ну и реклама, конечно. Вот статью на Хабре написали :)

Хм, а ваше облако не развеется так же, как CloudMTS и 1cloud ?

Сейчас впору обучать не только как мигрировать в облако, но и как мигрировать из облака.

Если есть возможность, подскажите какая у вас конфигурация кластера?

Детально - не могу (да и не знаю толком), но в Greenplum pxf развернут на 100+ нодах (сегментах), а сам кластер вдвое больше.

С учетом того, что чтение происходит не из таблиц ,а из вьюх, из которых некоторые весьма тяжелые (десятки джойнов), получается приблизительно паритет с вашим решением.

Я вообще не уверен, что это живой человек писал.

10-20 Мбит/с

А чем ограничена такая скорость? Выглядит совсем небольшой. Полагаю, было бы уместно описать подробнее на каком стенде и как измеряли.

У нас для обработки данных Spark-ом есть копирование данных из Greenplum в HDFS с помощью pxf. Так оно выполняется со скоростью порядка 8 Гбит/с. И это общая фактическая скорость со всякими паузами, стартами/стопами т.п. Транспортная получается еще выше.

А чем шифрование поверх OpenVPN поможет против определения сеансов OpenVPN ?

1
23 ...

Information

Rating
2,364-th
Registered
Activity