1. Нет ANSI SQL. Поэтому Tableau с кликхаусом не работает. Обещают уже больше года
2. Нет ANSI SQL в смысле отсутствия нормальных join-ов. Только локальные джойны со словарями, а сджойнить две таблицы по 100 млрд. строк нельзя. Мы джойним десятки таких таблиц.
Т.е. кликхаус для задач ad-hoc аналитики не применим.
От Tableau приятные впечатление (если вас не смущает цена), выбирали еще в 2013 сравнивая с QlikView. Основным преимущество на тот момент было наличие “Live connection” к Vertica ( -> объем рассчитываемых данных «неограничен»).
Еще из плюсов:
— Может работать как с оперативной памятью локальной машины, так и на сервере
— Имеет низкий порог входа для неподготовленного пользователя
— Красиво выглядит :)
К Clickhouse нативного коннектора не имеет, к сожалению, а будет ли работать по ODBC шустро — вопрос открытый.
При разработке удалось отделить задачу сбору событий из проектов и доставки в хранилище от задачи организации самого хранилища и построения отчётов. В итоге мне как разработчику мало приходилось видеть витрины в Tableau. Но я обязательно поинтересуюсь у аналитиков.
Могу предположить, что в регионах, где солнце ярко в монитор светит, по зелёной кнопке попасть гораздо труднее.
Фронтенд справочника — админка. Первичное хранилище конфигураций — постгрес. Json schema не используется. С помощью лангпаков удалось сдвинуть валидацию в проекты. В лангпаках генерируется нативный код, схема там не пригодилась.
Есть интересные случаи: события могут прилетать от фронтендов и других проектов. На нашей стороны для приёма таких событий есть прокси, старающиеся как можно меньше вмешиваться в данные, но умеющие сигнализировать об ошибках. В некоторых интеграциях мы использовали protobuf. Соответственно, пришлось генерировать proto-схему.
Круто, если ваш уровень совпадает с рабочими задачами. Круто, если вы готовы работать: здесь любят результат. Круто, если готовы брать на себя ответственность. Общий уровень адекватности в техотделе очень высок. Поймайте меня на какой-нибудь конференции, расскажу подробнее. Часами могу болтать, а хабр гуманитария не стерпит.
Отдельно проекты с хакатонов не выкладываем. Но если авторы решат, что можно поделиться с общественностью, исходники появятся здесь: github.com/avito-tech.
Для каких-то вещей у нас ещё нет стейджинга, полностью повторяющего боевую инфраструктуру (для большинства сервисов, к слову, есть). Эту неприятность поймали как раз из-за расхождения боевых и дев-серверов.
От года к году возникают и исчезают «актуальные списки хакатонов». По запросу «хакатон Москва» в гугле удалось найти группу на vk, которую раньше не видел. Часто анонсы попадаются прямо здесь, на хабре. Можно следить за сайтами Ludum Dare, MLH.
Но одного источника у меня нет, периодически мониторю интернет вручную или долетают анонсы от коллег.
Уровень организации очень важен для хакатона. Луший формат — наличие необходимого минимума для работы и отсутствие отвлекающего и мешающего. Необходимости: тихое место, интернет, розетки. Опционально, но помогает не отвлекаться: еда. Мешать могут тесная площадка, где обсуждение одной команды слышно другим, громкие менторские выступления или навязчивое вовлечение в спонсорские активности.
Хорошо организовывали хакатоны Google, Студия Кечинова (HackDay). К сожалению, не вижу активности на сайте HackDay в последнее время.
Молодцы ребята из 2gis. Это у них мы отжали этаж в Арме.
Из «сетевых» хакатонов точно стоит присмотреться к активностям MLH (Major League Hacking). Среди прочего, они проводят очень масштабный международный хакатон Junction с тысячами участников.
Стоит охотиться за разовыми хакатонами от интересных вам компаний, чтобы побывать у них в офисе и познакомиться с их активными ребятами (ведь именно они наверняка будут среди организаторов). Так удалось узнать немножко нового о 2gis, Билайне и Лаборатории Касперского.
Если хочется поработать дома в привычной обстановке, есть распределённые удалённые хакатоны (или code jam). Сразу вспоминается джем по играм Ludum Dare.
1. Нет ANSI SQL. Поэтому Tableau с кликхаусом не работает. Обещают уже больше года
2. Нет ANSI SQL в смысле отсутствия нормальных join-ов. Только локальные джойны со словарями, а сджойнить две таблицы по 100 млрд. строк нельзя. Мы джойним десятки таких таблиц.
Т.е. кликхаус для задач ad-hoc аналитики не применим.
От Tableau приятные впечатление (если вас не смущает цена), выбирали еще в 2013 сравнивая с QlikView. Основным преимущество на тот момент было наличие “Live connection” к Vertica ( -> объем рассчитываемых данных «неограничен»).
Еще из плюсов:
— Может работать как с оперативной памятью локальной машины, так и на сервере
— Имеет низкий порог входа для неподготовленного пользователя
— Красиво выглядит :)
К Clickhouse нативного коннектора не имеет, к сожалению, а будет ли работать по ODBC шустро — вопрос открытый.
Могу предположить, что в регионах, где солнце ярко в монитор светит, по зелёной кнопке попасть гораздо труднее.
Есть интересные случаи: события могут прилетать от фронтендов и других проектов. На нашей стороны для приёма таких событий есть прокси, старающиеся как можно меньше вмешиваться в данные, но умеющие сигнализировать об ошибках. В некоторых интеграциях мы использовали protobuf. Соответственно, пришлось генерировать proto-схему.
В блоге пишем про яркие и интересные события. На конференциях, внутренних и внешних митапах часто рассказываем про более приземлённые вещи: решения во фронтенде, бэкенде, платформе. У нас кубернетес для оркестрации и Helm для управления релизами, вовсю применяется компьютерное зрение, поиск по миллиарду объявлений в бэкофисе и множество других сложных интересностей.
Ошибки с удовольствием допускаем и с ещё большим удовольствием исправляем. Кто не ошибается, тот ничего не делает.
Стильно-модно-молодёжно — я не смогу так сказать про компанию с десятилетней историей, взрослым продуктом и сотнями сотрудников.
Круто, если ваш уровень совпадает с рабочими задачами. Круто, если вы готовы работать: здесь любят результат. Круто, если готовы брать на себя ответственность. Общий уровень адекватности в техотделе очень высок. Поймайте меня на какой-нибудь конференции, расскажу подробнее. Часами могу болтать, а хабр гуманитария не стерпит.
Офис выше всяких похвал.
В Avito не круто.
Не круто, если вы ленитесь и не хотите работать. Не круто, если вам не нравятся ваши рабочие задачи.
В компании в целом и в техотделе в частности сотни человек. Это много. Они разные. Одним словом, «хорошо» или «плохо» такое явление не описать.
Комментарии к статье, к огромному сожалению, не про статью. Но даже на них мы реагируем, ставим задачи, улучшаем продукт.
Но одного источника у меня нет, периодически мониторю интернет вручную или долетают анонсы от коллег.
Уровень организации очень важен для хакатона. Луший формат — наличие необходимого минимума для работы и отсутствие отвлекающего и мешающего. Необходимости: тихое место, интернет, розетки. Опционально, но помогает не отвлекаться: еда. Мешать могут тесная площадка, где обсуждение одной команды слышно другим, громкие менторские выступления или навязчивое вовлечение в спонсорские активности.
Хорошо организовывали хакатоны Google, Студия Кечинова (HackDay). К сожалению, не вижу активности на сайте HackDay в последнее время.
Молодцы ребята из 2gis. Это у них мы отжали этаж в Арме.
Из «сетевых» хакатонов точно стоит присмотреться к активностям MLH (Major League Hacking). Среди прочего, они проводят очень масштабный международный хакатон Junction с тысячами участников.
Стоит охотиться за разовыми хакатонами от интересных вам компаний, чтобы побывать у них в офисе и познакомиться с их активными ребятами (ведь именно они наверняка будут среди организаторов). Так удалось узнать немножко нового о 2gis, Билайне и Лаборатории Касперского.
Если хочется поработать дома в привычной обстановке, есть распределённые удалённые хакатоны (или code jam). Сразу вспоминается джем по играм Ludum Dare.