События последних дней заставляют нас заявить позицию по новостям вокруг проекта Nginx. Мы в Яндексе считаем, что современный интернет невозможен без культуры open source и людей, которые инвестируют свое время в разработку программ с открытым кодом.

Судите сами: мы все используем браузеры с открытым кодом, получаем страницы с сервера с открытым кодом, который работает на ОС с открытым кодом. Открытость – не единственное свойство этих программ, но, безусловно, одно из важнейших. Собственно, большая часть свойств этих программ появились благодаря тому, что разработчики со всего мира могли прочитать их код и предложить подходящие изменения. Гибкость, быстрота и настраиваемость опенсорс-программ – это то, что позволяет современному интернету ежедневно совершенствоваться силами тысяч программистов по всему миру.

Привет, читатель.

По стопам моего первого поста подборки датасетов для машинного обучения — сделаю подборку относительно свежих датасетов с рабочими примерами по обработке данных. Ведь ни для кого не секрет, что обучение на хороших примерах проходит эффективнее и быстрее. Посмотрим, что интересного нам смогут показать одни из лучших примеров по обработке данных.

Схема работы с текущим постом унаследуется от моего поста про лучшие блокноты по ML и DS, а именно — сохранил в закладки → передал коллеге.

+ бонус в конце статьи — крутой курс от ФПМИ МФТИ.



Итак, давайте приступим.

Подборка датасетов с рабочими примерами обработки данных:

Suicide Rates Overview 1985 to 2016 — сравнение социально-экономической информации с показателями самоубийств по годам и странам.

Примеры обработки:

• Suicide data — Full interactive dashboard;
• Mental Health, Happiness, Economics, Human Freedom;
• Data Visualization of Suicide Rates

Проблема памяти может возникнуть, когда в процессе выполнения программы нужно иметь большое количество объектов, особенно если есть ограничения на общий размер доступной оперативной памяти.

Ниже приводится обзор некоторых методов уменьшения размера объектов, которые позволяют существенно сократить объем оперативной памяти, необходимой для программ на чистом Python.

Всем привет, меня зовут Денис, мы разрабатываем сервис по аналитике подписок iOS-приложений – Apphud.

На WWDC 2019 Apple представила новый способ взаимодействия с интерфейсом вашего приложения: контекстные меню. Они выглядят так:

В этой статье мы рассмотрим некоторые тонкости их использования и научимся их делать.

Сейчас компания разрабатывает новую «цифровую нервную систему», которая поддерживает автообновление ПО и обработку до 4.5 ТБ данных в час

Фото прототипа Cadillac CT5 2020 от GM

Новая «электронная платформа» — вычислительная сеть, которая будет работать на подавляющем большинстве автомобилей компании и обеспечит работу их многочисленных цифровых систем. Она столь же важна для будущего автопроизводителя, как и любая отдельная функция или даже сам автомобиль. Именно эта инфраструктура позволит GM конкурировать в индустрии, в которой все больше правят программные продукты, и предоставлять своим клиентам все высокотехнологичные преимущества, которые им необходимы, от экранов с высоким разрешением до потрясающих функций безопасности.

Самыми горячими темами Moscow Python Conf++ оказались асинхронная разработка, а также сопоставление Python, его лучших практик и инструментария с аналогами из других языков, и его место в ландшафте современной разработки. Плюс мы пригласили выступить Бенджамина Петерсона, одного из разработчиков CPython, Григория Бакунова из Яндекса и многих других очень интересных людей.



Четвёртая по счёту и вторая, устраиваемая совместно с нашей командой, Moscow Python Conf++ заметно трансформировалась. Что происходило на мероприятии, чем оно выделялось среди отраслевых IT-форумов, какой профит и удовольствие принесло участникам — в нашей короткой фотозарисовке с площадки.

1.1 Введение

Благодаря машинному обучению программист не обязан писать инструкции, учитывающие все возможные проблемы и содержащие все решения. Вместо этого в компьютер (или отдельную программу) закладывают алгоритм самостоятельного нахождения решений путём комплексного использования статистических данных, из которых выводятся закономерности и на основе которых делаются прогнозы.

Технология машинного обучения на основе анализа данных берёт начало в 1950 году, когда начали разрабатывать первые программы для игры в шашки. За прошедшие десятилетий общий принцип не изменился. Зато благодаря взрывному росту вычислительных мощностей компьютеров многократно усложнились закономерности и прогнозы, создаваемые ими, и расширился круг проблем и задач, решаемых с использованием машинного обучения.

Чтобы запустить процесс машинного обучение, для начала необходимо загрузить в компьютер Датасет(некоторое количество исходных данных), на которых алгоритм будет учиться обрабатывать запросы. Например, могут быть фотографии собак и котов, на которых уже есть метки, обозначающие к кому они относятся. После процесса обучения, программа уже сама сможет распознавать собак и котов на новых изображениях без содержания меток. Процесс обучения продолжается и после выданных прогнозов, чем больше данных мы проанализировали программой, тем более точно она распознает нужные изображения.

Благодаря машинному обучению компьютеры учатся распознавать на фотографиях и рисунках не только лица, но и пейзажи, предметы, текст и цифры. Что касается текста, то и здесь не обойтись без машинного обучения: функция проверки грамматики сейчас присутствует в любом текстовом редакторе и даже в телефонах. Причем учитывается не только написание слов, но и контекст, оттенки смысла и другие тонкие лингвистические аспекты. Более того, уже существует программное обеспечение, способное без участия человека писать новостные статьи (на тему экономики и, к примеру, спорта).

Привет Хабр, сегодня мы позанимаемся с TypeScript и React-hooks. Данный туториал поможет вам разобраться с основами "тайпскрипта" и поможет в работе над тестовым заданием для фронтендера.

Тестовые задания на проекте "Без Воды" — это возможность получить code-review. Дедлайн для текущего задания — 11 апреля 2019 года.

В феврале 2019 года Gartner выпустил новый Magic Quadrant for Network Performance Monitoring and Diagnostics (MQ for NPMD). NPMD инструменты — это решения для мониторинга сетевого трафика и инфраструктурных метрик сетевых устройств. Большая часть вендоров поставляет комплексные решения и сетевой мониторинг — один из компонентов таких решений. В статье сравню новый квадрант NPMD 2019 года с предыдущим и посмотрим что там изменилось. В конце статьи ссылки на оригиналы отчётов, где можно узнать подробности об изменениях по каждому вендору.

В новом дайджесте мы рассказываем про наследство Objective-C и безопасность мобильной авторизации, про то, как мошенники «обыгрывают» App Store, про невидимые особенности дизайна мобильных приложений и чемпионат игрушечных автомобилей с ИИ от Amazon.

Это — продолжение ретроспективы о культуре стартапов. Первый материал приняли хорошо. Надеюсь, что и второй покажется интересным и будет обсуждение в комментариях.

Про беспилотные автомобили постоянно мелькают новости, но что же на самом деле происходит в этой сфере? Как беспилотные автомобили ездят? Кто их производит? Почему они до сих пор не ездят массово по улицам? Попробуем разложить все по полочкам.


Ранняя версия беспилотника Lyft

Это пятая подборка советов про Python и программирование из моего авторского канала @pythonetc.

Предыдущие подборки:

• Сентябрь 2018
• Август 2018
• Июль 2018
• Июнь 2018

Здравствуйте!

Знаю, что у программистов много вопросов о налогообложении и праве. Решила написать о вопросах, возникающих у начинающего фрилансера.

Начну с общих вопросов физических лиц, российских налоговых резидентов, которые пока не планируют регистрироваться в качестве ИП. Есть вопросы, где я только обозначила проблему, чтобы обращали внимание. Например, про возможность удержания налогов иностранными компаниями. Кстати, вопрос относится ко всем, кто работает с иностранцами. Зачастую узнают об этом только после того, как удержат налог.

Ничего не пишу про физических лиц — нерезидентов, это отдельная большая тема.
Вопросов ИП намного больше – выбор системы налогообложения, отчетность, валютный контроль, и так далее. А в ООО плюсом корпоративные вопросы.

Пока не знаю, насколько востребована тема налогов и права, какая информация нужна, в каком формате. Задавайте вопросы, пишите, что понятно, что непонятно. Что надо подробней. Какие темы интересуют. Если будет интересно, продолжу.

Захотелось как-то мне, чтобы сообщения одного из чатов телеграма сохранялись у меня на диске (не запуская обычного клиента). Не буду раскрывать своих побудительных мотивов, но возможность эта показалась мне нужной и полезной.

Для этого в телеграме есть боты. На Хабре есть несколько статей, посвященных ботам, например: "Чат-помощник на сайт".

Бот позволяет читать и посылать сообщения, для регистрации бота не нужен телефон и количество ботов может быть любым. Но название бота включает в себя слово "bot", что может вызвать у хозяина чата ненужные вопросы.

Но, как говорится, правильно поставленный вопрос — половина ответа.

Наша компания занимается администрированием веб-серверов на базе CentOS. Довольно часто наши клиенты используют веб-приложения на базе python, ruby или java. Для автозапуска подобных приложений есть готовые шаблоны для написания стартап-скриптов. Но прогресс не стоит на месте, вышел уже второй релиз CentOS 7 и, следуя старой традиции «не ставить dot-zero релизы на продакшен», мы начинаем предлагать клиентам сервера на базе CentOS 7.1 (1503).

В CentOS7, так же как и в его родителе RHEL7, используется systemd — менеджер системы и служб для Linux, совместимый со скриптами инициализации SysV и LSB. systemd обеспечивает возможности агрессивной параллелизации и много всего прочего.



Огромный монстр с множеством возможностей, гибкими настройками и мегабайтами документации…

Но что делать, если стоит задача быстро-быстро, вот прямо вчера, сделать автозапуск некоего сервиса?
Давайте выжмем из документации минимально необходимый набор информации для создания простых старт-стоп скриптов.

(издание 2018)

Miguel Grinberg

---

Туда Сюда

Это девятнадцатая часть серии мега-учебника Flask, в которой я собираюсь развернуть Microblog на платформе Docker.

В феврале я писал статью о том, как русские энтузиасты «взламывали» консоль NES Classic Mini, как мы занимались её реверс-инжинирингом, и как я писал приложение для того, чтобы каждый мог легко закачать в неё свои игры буквально в пару кликов.



Сегодня я напишу продолжение этой истории, ведь за полгода мы добились гораздо более существенного прогресса в этом деле.

Как обычно, под катом моё повествование и в современной видеоформе, и в виде традиционной статьи.

Детям Дед Мороз принес железную дорогу Duplo. Сегменты рельс очень легко соединяются между собой, и можно построить какой-нибудь небольшой, скорее всего просто замкнутый путь, поставить станцию и смотреть, как паровозик бегает по кругу. Иногда он останавливается и детёнок должен паровоз «заправить» из колонки, после чего паровоз снова поедет.

Jupyter Notebook – это крайне удобный инструмент для создания красивых аналитических отчетов, так как он позволяет хранить вместе код, изображения, комментарии, формулы и графики:



Ниже мы расскажем о некоторых фишках, которые делают Jupyter очень крутым. О них можно прочитать и в других местах, но если специально не задаваться этим вопросом, то никогда и не прочитаешь.