Введение

Как человеку с не очень устойчивой психикой, мне достаточно одного взгляда на картинку, подобную этой, для начала панической атаки. Но я решил, что страдать буду только сам. Цель статьи — сделать так, чтобы Hadoop выглядел не таким страшным.

Что будет в этой статье:

• Разберем, из чего состоит фреймворк и зачем он нужен;
• разберем вопрос безболезненного развертывания кластера;
• посмотрим на конкретный пример;
• немного коснемся новых фич Hadoop 2 (Namenode Federation, Map/Reduce v2).

Чего не будет в этой статье:

• вообще статья обзорная, поэтому без сложностей;
• не будем лезть в тонкости экосистемы;
• не будем зарываться глубоко в дебри API;
• не будем рассматривать все околоdevops-задачи.

UPD: сменил заголовок статьи, т.к. прошлый заголовок я написал, пока был лунатиком (шутка, разумеется).

На прошлой неделе на Хабре появилось 2 поста о фреймворке распределенных вычислений от Microsoft Research – Dryad. В частности, подробно были описаны концепции и архитектура ключевых компонентов Dryad – среды исполнения Dryad и языка запросов DryadLINQ.

Логическим завершением цикла статей о Dryad видится сравнение фреймворка Dryad с другими, знакомыми разработчикам MPP-приложений, инструментами: реляционными СУБД (в т.ч. параллельными), GPU-вычислениями и платформой Hadoop.

WMS – аббревиатура от английского «Warehouse Management System», или «система управления складом». Часто можно встретить русскоязычную аббревиатуру СУС, а некоторые производители относят свои системы даже не к WMS, а к IMS (inventory management system), WCMS (warehouse complex management system), и так далее. Те, кто чуть больше остальных погружен в складскую тематику, при упоминании об управлении складом сразу вспоминают радиотерминалы, этикетки, штрихкоды и прочие обязательные атрибуты внедрения. Те, кто погружен меньше, ассоциирует выражение «управление складом» со «складским учетом», что порой приводит к некоторым терминологическим разногласиям: если штрихкоды — это отсылка на технологии автоматической идентификации, то «складской учет» чаще ассоциируется с оформлением товаросопроводительной документации и ведением информации о складских остатках.

Перед тем, как мы перейдем к первому разделу, хотелось бы сказать, что статья не ставит перед собой цель рассмотреть весь возможный функционал. Она является, скорее, ознакомительной – как раз для тех, кто слышал или знает общие слова о WMS, но хочет узнать больше.

После моего грандиозного тестирования батареек многие просили провести такие же основательные тесты NiMh-аккумуляторов. За четыре месяца я протестировал 198 аккумуляторов (44 модели AA и 35 моделей AAA).

Микрософт с помощью пасьянса и косынки учила пользователей пользоваться мышью,
теперь с помощью windows 10 учит читать лицензионное соглашение.

После выхода windows 10 сразу появились сообщения о сборе информации о действиях пользователей и много обсуждений, что делать. Достаточно быстро пользователи составили список основных серверов, собирающих информацию и попытались их заблокировать через файл hosts. Но скептики сразу выдвинули здравое предположение, что MS мог предусмотреть этот метод и некоторые адреса прописать в коде. Тем более, что MS всегда может актуализировать адреса серверов через windows update.

В нашей компании начали появляться первые пользователи windows 10, и мы решили опробовать блокировку передачи телеметрии через встроенный windows firewall.

В данной статье я хочу поделиться своими изысканиями на тему слабых источников радиации, которые можно встретить в повседневном обиходе. Я не буду рассматривать всякую экзотику типа изделий из уранового стекла, приборов со радиолюминисцентной краской на шкале и ионизационных датчиков дыма. Речь пойдет о самой обычной посуде, стройматериалах и продуктах питания, слабую и неопасную для здоровья радиоактивность которых можно обнаружить простейшим бытовым дозиметром.

Тема радиации заинтересовала меня после прочтения статьи про брелок Гейгера. Как справедливо заметил в комментариях KbRadar, брелок является сигнализатором опасности, а не поисковым прибором для сравнения мощности фона излучения в разных местах. Поэтому мне захотелось обзавестись простейшим дозиметром-радиометром с экраном. Я написал в Даджет и заказал для обзора дозиметр Defender СОЭКС. Оказалось, что прибор уже снят с производства, и мне достался последний имевшийся в наличии экземпляр. Поэтому далее в статье не буду подробно описывать данный конкретный гаджет, а лишь приведу результаты проведенных с его помощью исследований.

Сегодня на MS Windows 7 и 8.1 прилетели обновления KB3080149 и KB3075249. Телеметрическая информация передаётся на следующие сервера:

vortex-win.data.microsoft.com
settings-win.data.microsoft.com

Передача осуществляется через TCP по порту 443 с использованием SSL.
Для параноиков людей, беспокоящихся о несанкционированной передаче информации Microsoft (далее возможно и третьим лицам), предлагаю добавить сервера в список исключений маршрутизатора, а следующие строчки в файл hosts (%windir%\System32\drivers\etc\hosts):

127.0.0.1 vortex-win.data.microsoft.com
127.0.0.1 settings-win.data.microsoft.com

Теоретически с гидроэлектростанциями все понятно — вода идет из верхнего бьефа в нижний, крутит рабочее колесо турбины. Турбина вращает генератор, а тот вырабатывает электричество…
Интересны детали.



Хозяйке на заметку: чтобы получить 1 киловатт-час электроэнергии, надо спустить с высоты 27 метров 14 тонн воды.

Мир вам ничего не должен – он был тут раньше вас.
— Марк Твен

Читатель спрашивает:

А почему Вселенная не сжалась в чёрную дыру сразу после Большого взрыва?

Честно говоря, я и сам об этом много думал. И вот почему.

Штрафы за разные нарушения суммируются.

242-ФЗ подсказывает нам, что оператор обязан обеспечить запись, хранение, изменение и извлечение персональных данных граждан Российской Федерации (это всё, что прямо или косвенно относится к субъекту ПДн. И номер телефона, и даже уровень защищенности его данных можно отнести сюда согласно 152-ФЗ) с использованием баз данных, находящихся на территории Российской Федерации. С 1 сентября 2015 года. За использование первичной базы за пределами РФ вам светит относительно небольшой штраф и, что куда хуже, блокировка ресурсов в течение 3 рабочих дней с даты судебного решения. При этом разблокировать доступ и «выйти» из реестра можно будет только по решению суда.

Вы, наверное, уже знаете, что интервью — это не просто очередной этап при устройстве на работу, это также ваша возможность разобраться, подходит ли вам эта работа. Для этого важно задать некоторые вопросы. Что вы хотите знать об этой должности? О компании? О подразделении? О команде? О корпоративной культуре?



Задавать вопросы бывает сложно. Мы это знаем. Для того, чтобы упростить вам это задание, мы приводим список ключевых вопросов для интервью. Мы определённо не рекомендуем задавать их все. Пожалейте рекрутера!

Всем привет!

В своей практике я неоднократно сталкивался с последствиями неправильных действий при передаче результата работ. Итог был печальным.

Хочу поделиться опытом в решении вопроса.

Типичный пример

Предпроектное исследование для внедрения 1С. Предоплата 50 процентов. Исполнитель завершил работу и скинул ее на электронную почту заказчику.

Начинаются чудеса. Всегда оперативно отвечавший заказчик не дает обратную связь. Важное совещание, подведение годовых итогов, завал работы и т.п.

Неделя, вторая, месяц, два месяца. Тишина. Наконец, удается назначить встречу с руководством. В кабинете генерального директора исполнитель узнает удивительные вещи: работа не качественная, все возможные сроки прошли, интерес утрачен, оплаты второй части не будет. «Хотите судиться – давайте, мы с вас и предоплату обратно возьмем».

CTB Locker — очень хорошо продуманный и опасный вирус. Писать о нем не буду — информации об этом вирусе в интернете очень много.

За последние 3 месяца некоторые наши клиенты поймали этого зверя, несмотря на предупреждения, обновленные корпоративные антивирусы и прочие решения защиты. У некоторых страдала отдельная рабочая машина, у других — сервер терминалов. Но средства резервного копирования всех спасали.

Последнее заражение одного из клиентов привело к потере большого количества данных, а также некоторых резервных копий. Ответственность за это лежала на клиенте — финансирование на расширение сервера резервного копирования не могли выделить пол года. Но суть не в этом. Нам поставили задачу платить создателям вируса (и тут финансирование резко нашлось).

Я не агитирую пользователей сообщества платить злоумышленникам (я противник этого), но, возможно, этот небольшой мануал кому-то поможет.

Далее я опишу пошагово, как платил плохим людям за расшифровку клиентских данных.

За рамками предыдущей статьи, в которой мы рассматривали мифы в области защиты персональных данных ( habrahabr.ru/post/255595 ), остался интереснейший вопрос о необходимости использования сертифицированных продуктов. Традиционно, если компания хочет реализовать требования регуляторов, то она закупает (но не факт, что использует :-) ) сертифицированные продукты. Такова сложившаяся практика.

При этом большинство отлично понимает все проблемы, связанные с использованием таких продуктов — но покорно идет в общей массе. А что если заглянуть в законы и приказы и определить требования самостоятельно?

Многолетний труд регуляторов привел к появлению в нашей стране уже третьего поколения законов в этой области. Казалось бы, за долгие годы обсуждений в блогах и на конференциях все спорные моменты должны быть утрясены. Но нет. Практика показала, что (как минимум в нашей стране) компании интересуются защитой на бумаге. Возможно, именно поэтому больше обсуждаются вопросы, связанные с юридическими тонкостями, — что защищать, как получать согласие, где размещать сервера. А вот вопросы методики оценки угроз и выбора мер защиты не проработаны вовсе. Реализовать надежную систему защиты нереально в принципе.

Еще одна проблема — «не читал, но обсуждаю». Громадное количество запросов и комментариев делаются без прочтения документов, которые обсуждаются.

Не согласны? Два простых вопроса:

• Требуют ли законы и документы регуляторов в области персональных данных использования в качестве защиты антивируса?
• Можно ли использовать для защиты средства, имеющие зарубежные сертификаты?

Ответили? Давайте проверим ответы.

Обманутые программисты пишут жалобу в Departament of Labor

Сегодня хотел бы поделиться своим опытом и опытом работы знакомых с такой штукой, как консалтинговая компания АКА «бодишоп». Думаю, всем желающим поехать за границу работать будет полезен сей опыт.
TLDR: опыт негативный, название фирмы указывать не буду, дабы не нарушать правила.

Казалось бы, было бы так просто и логично, если бы не было в природе деления на мужской и женский пол. Зачем вообще нужно половое размножение, если можно прекрасно делиться одному организму до скончания веков? Ведь, на поиски полового партнера нужны время и силы. А, если ты никому не понравишься, или, вообще, никого не найдешь, то ты не размножишься вообще.

1. Интро. Личное

Я готовлюсь к языковому экзамену IELTS (International English Language Testing System) — пожалуй, самому популярному
тесту на знание английского. Если хочется эмигрировать, найти работу в международной компании — диплом IELTS очень пригодится. Шкала оценок — от 0 (от испытуемого не удалось получить даже внятного мычания) до 9 (экcперт — испытуемый чертовски хорош и может устроиться даже редактором лондонской газеты).

Для учебы, например, в США, нужно не менее 6.5 баллов (бывает и 6, но не часто), для работы — 7 и выше. А для эмиграции, допустим, в Канаду — чем выше оценка, тем лучше. Мой прогнозируемый балл перед сдачей теста — 5.5. Значит, что я могу читать газеты, смотреть кино, вести беседы в знакомых ситуациях, писать ответы на письма. Но для работы в центральном офисе Гугла явно недостаточно.

Что же делать, чтобы подтянуть уровень языка? Конечно же, начать использовать его в своей жизни как можно чаще и больше. Например, читать книги на английском.

У каждого кандидата в конце собеседованию рекрутер обычно спрашивает, есть ли вопросы. Часто люди теряются и не находят, что спросить. И лишь по прошествии некоторого времени (часто, когда человек уже работает в компании) сами собой всплывают вопросы, о которых нужно было поинтересоваться заранее, а не брать кота в мешке и удивляться «Как я сюда попал? Куда я смотрел? Почему я об этом не подумал?». Это так называемый «эффект лестницы». Я подготовил шпаргалку, что ты, %habrauser%, не растерялся.

Общее

1. Рабочий график и можно ли его двигать?
Я люблю поспать. Но на моей прошлой работе «рабочее утро» начиналось в 7:30. Мало того, что я довольно часто не мог прийти к этому времени, я еще пол дня занимался тем, что пытался привести себя в рабочую форму. Где то до 10:00. С 10:30 до 11:30 я усердно работал. Потом был обед. А потом мне хотелось спать, а не работать, т.к. я не высыпался еще с утра. Надо ли говорить, что вместо 8 часов, на которые меня нанял работодатель, я работал в «потоке» только часа 3-4. Так что для себя нужно решить вопрос – когда я наиболее трудоспособен? И обговорить рабочий график с руководством. И еще один нюанс. Попробуйте закрепить обговоренный график в трудовом договоре или контракте (далее ТД), если работодатель идет на персональный рабочий график для Вас. Никаких устных договоренностей. Иначе Вам начнут крутить руки уже в процессе работы (как это было со мной).

День добрый, Geektimes! Все уже слышали про USB Type-C? Тот самый, который двухсторонний, быстрый-модный-молодёжный, заряжает новый макбук, делает волосы гладкими и шелковистыми и обещает стать новым стандартом подключения на следующие лет десять?



Так вот, во-первых, это тип разъёма, а не новый стандарт. Стандарт называется USB 3.1. Во-вторых, говорить нужно именно о новом стандарте USB, а Type-C лишь приятный бонус. Чтобы понять, в чём разница, что скрывается за USB 3.1, а что — за Type C, как заряжать от USB-кабеля целый ноутбук и что ещё можно сделать с новыми USB Type-C: