Pull to refresh
71
0
Павел Осипов @Pavel_Osipov

Пользователь

Send message

Как сделать интерактивную карту с маршрутами на Python

Reading time 7 min
Views 28K

Распространённая задача программистов в работе с геопространственными данными — отобразить маршруты между различными точками. Решением, которое может понадобиться в разработке веб-сайта, делимся к старту курса по Fullstack-разработке на Python.

Читать далее
Total votes 12: ↑11 and ↓1 +10
Comments 5

Как бросить школу и перевести ребенка на удалёнку

Reading time 7 min
Views 37K
Привет, Хабр!

На днях моя дочь закончила 6й класс полностью в удалённом формате. Сразу несколько моих друзей обратились за обратной связью, потому что также задумываются о переводе детей на подобный формат обучения.

Пандемия внесла свои корректировки в привычный и давно изживший себя процесс обучения в современной (считай – еще советской) школе. И многие ГБОУ (ну и словечко) оказались к этому совершенно не готовы. Попытки организовать какие-то уроки в скайпе, зуме с треском провалились и детей отправили просто по домам учиться на усмотрение родителей.

Многие мои знакомые, которые год назад крутили пальцем у виска, когда я переводила ребенка на удаленку, стали задаваться вопросом, а так ли страшен чёрт.

Расскажу…


Читать дальше →
Total votes 109: ↑98 and ↓11 +87
Comments 238

Партнерское соглашение или как не погубить бизнес на старте

Reading time 9 min
Views 38K

Представьте, что вы вместе со своим коллегой, ведущим программистом, с которым работали последние 4 года в банке, придумали нечто невообразимое, так нужное рынку. Вы выбрали хорошую бизнес-модель и к вам присоединились сильные ребята в команду. Ваша идея приобрела вполне осязаемые черты и бизнес практически начал приносить деньги.


Если вообще не соблюдать правила гигиены, быть токсичным, не последовательным, корыстным, обманывать других, то до первых денег вообще не добраться. Представим, что все хорошо, вы все молодцы и не за горами время, когда пойдет первая серьезная прибыль. Тут рушатся воздушные замки, которые были так скрупулезно выстроены каждым членом команды. Первый думал, что он главный и он заберет 80% прибыли, так как именно он продал машину и на его деньги жила первое время вся команда. Второй думал, что два основателя получат по 50%, так как он программист и создал то самое приложение, на котором все сейчас зарабатывают. Третий и четвертый думали, что они получат долю в бизнесе, как только пойдут деньги, ведь они работали почти круглосуточно и получали значительно меньше, чем могли бы в том же банке.


В итоге бизнес под угрозой развала. А ведь всего бы этого можно было бы избежать, правильно договорившись на берегу. Как?

Читать дальше →
Total votes 48: ↑47 and ↓1 +46
Comments 28

GDPR. Практические советы

Reading time 5 min
Views 63K
Все слышали о General Data Protection Regulation (GDPR) (Regulation (EU) 2016/679), который вступает в силу 25 мая 2018 года. Штрафы большие и придётся соответствовать. Как и любой официальный документ, он написан сухо и может трактоваться по-разному. За последние полгода провел анализ десятка различных веб-систем на соответствие GDPR, и везде встречались одни и те же проблемы. В связи с этим цель этой статьи не разъяснить, что такое GDPR (об этом уже много написано), а дать практические советы техническим людям, что необходимо сделать в вашей системе, чтобы она соответствовала GDPR.

Пару интересных моментов по регламенту:

  • Если есть хоть один клиент из Европы, чьи персональные данные вы храните, вы автоматически попадаете под GDPR
  • Регламент базируется на трёх основных идеях: защита персональных данных, защита прав и свобод людей в защите их данных, ограничение перемещения персональных данных в рамках Евросоюза (Art. 1 GDPR)
  • UK всё ещё в EU, поэтому подпадает под действие GDPR, после Brexit-а GDPR будет заменён на Data Protection Bill, который по своей сути очень схож с GDPR (https://ico.org.uk/for-organisations/data-protection-bill/)
  • Серьезно ограничивается трансфер данных в третьи страны. Европейская комиссия определяет, в какие “третьи” страны или в какие сектора или организации в этих странах разрешён трансфер персональных данных Art. 45 GDPR. Вот список разрешённых стран.
Читать дальше →
Total votes 45: ↑44 and ↓1 +43
Comments 41

Доступность «кастомных html-контролов для незрячих пользователей

Reading time 3 min
Views 6.5K
Цель данного поста, с одной стороны, продемонстрировать насколько незрячим пользователям сложно, а порой и вовсе невозможно работать с html контролами, не реализующими требования доступности, а с другой — показать, что реализовать эти требования совсем не трудно.
Читать дальше →
Total votes 23: ↑22 and ↓1 +21
Comments 3

«Цифровая лаборатория» – общение со смартфоном по Bluetooth

Reading time 8 min
Views 17K
В первых двух обзорах (1, 2) мы познакомили вас с составом и основными возможностями набора NR05 «Цифровая лаборатория» из серии «Азбука электронщика».



Мы неоднократно говорили, что возможности набора не исчерпываются теми опытами и проектами, которые входят обучающее пособие. Возможности набора гораздо шире!

Рассмотрим, как можно реализовать с помощью «Цифровой лаборатории» управление исполнительными устройствами с вашего смартфона или планшета.
Читать дальше →
Total votes 12: ↑9 and ↓3 +6
Comments 7

D std.ndslice как замена Python Numpy

Reading time 9 min
Views 13K
Предисловие: Я пишу на Python более 6 лет и могу назвать себя профессионалом в этом языке. Недавно я даже написал о нем книгу. Однако последние 8 месяцев я переключился на D и уже 4 месяца активно участвую в разработке этого языка по части расширения стандартной библиотеки Phobos. Так же я участвовал в код-ревью модуля std.ndslice о котором и пойдет речь.

std.ndslice так же как и Numpy предназначен для работы с многомерными массивами. Однако в отличие от Numpy ndslice имет крайне низкий оверхэд так как базируется на ranges (диапазонах), которые используются в штатной библиотеке повсеместно. Ranges позволяют избежать лишние процедуры копирования, а так же позволяют красиво организовать ленивые вычисления.

В этой статье мне хотелось бы рассказать о том какие преимущества std.ndslice дает по сравнению с Numpy.
Читать дальше →
Total votes 28: ↑21 and ↓7 +14
Comments 24

Стратегии по ускорению кода на R, часть 1

Reading time 3 min
Views 7.1K
Цикл for в R может быть очень медленным, если он применяется в чистом виде, без оптимизации, особенно когда приходится иметь дело с большими наборами данных. Есть ряд способов сделать ваш код быстрее, и вы, вероятно, будете удивлены, узнав насколько.

Эта статья описывает несколько подходов, в том числе простые изменения в логике, параллельную обработку и Rcpp, увеличивая скорость на несколько порядков, так что можно будет нормально обрабатывать 100 миллионов строк данных или даже больше.

Давайте попробуем ускорить код с циклом for и условным оператором (if-else) для создания колонки, которая добавляется к набору данных (data frame, df). Код ниже создает этот начальный набор данных.
# Создание набора данных
col1 <- runif (12^5, 0, 2)
col2 <- rnorm (12^5, 0, 2)
col3 <- rpois (12^5, 3)
col4 <- rchisq (12^5, 2)
df <- data.frame (col1, col2, col3, col4)

В этой части: векторизация, только истинные условия, ifelse.
В следующей части: which, apply, побайтовая компиляция, Rcpp, data.table.
Читать дальше →
Total votes 16: ↑13 and ↓3 +10
Comments 3

Мониторинг выполнения задач в IPython Notebook

Reading time 2 min
Views 36K
Хотел бы поделиться простым, но полезным инструментом. Когда много работаешь с данными, часто возникают примитивные, но долгие операции, например: «скачать 10 000 урлов», «прочитать файл на 2Гб, и что-то сделать с каждой строчкой», «распарсить 10 000 html-файлов и достать заголовки». Долго смотреть в зависший терминал тревожно, поэтому долгое время я использовал следующий гениальный код:
def log_progress(sequence, every=10):
    for index, item in enumerate(sequence):
        if index % every == 0:
            print >>sys.stderr, index,
        yield item


Эта функция прекрасна, больше года она кочевала у меня из задачи в задачу. Но недавно я заметил в стандартной поставке Jupyter виджет IntProgress и понял, что пора что-то менять:

Читать дальше →
Total votes 42: ↑39 and ↓3 +36
Comments 11

Мониторинг проектов: сравнительный анализ существующих решений

Reading time 10 min
Views 17K


Предлагаем вашему вниманию публикацию, написанную по мотивам выступления Антона Баранова, ITSumma, на летней конференции BitrixSummerFest.

В этом посте я расскажу, что нужно с самого начала мониторить в проектах, в том числе высоконагруженных. Разберем аспекты, связанные с open source-системами мониторинга, в частности Zabbix и Graphite, а также присмотримся к нескольким SaaS-решениям для мониторинга.
Читать дальше →
Total votes 14: ↑11 and ↓3 +8
Comments 6

Некоторые репозитории в помощь изучающим и преподающим Python и машинное обучение

Reading time 13 min
Views 64K


Привет сообществу!

Я Юрий Кашницкий, раньше делал здесь обзор некоторых MOOC по компьютерным наукам и искал «выбросы» среди моделей Playboy.

Сейчас я преподаю Python и машинное обучение на факультете компьютерных наук НИУ ВШЭ и в онлайн-курсе сообщества по анализу данных MLClass, а также машинное обучение и анализ больших данных в школе данных одного из российских телеком-операторов.

Почему бы воскресным вечером не поделиться с сообществом материалами по Python и обзором репозиториев по машинному обучению… В первой части будет описание репозитория GitHub с тетрадками IPython по программированию на языке Python. Во второй — пример материала курса «Машинное обучение с помощью Python». В третьей части покажу один из трюков, применяемый участниками соревнований Kaggle, конкретно, Станиславом Семеновым (4 место в текущем мировом рейтинге Kaggle). Наконец, сделаю обзор попавшихся мне классных репозиториев GitHub по программированию, анализу данных и машинному обучению на Python.

Читать дальше →
Total votes 26: ↑24 and ↓2 +22
Comments 11

10 приложений для изучения Python на Android-устройствах

Reading time 5 min
Views 184K
В процессе изучения языка мы обычно пользуемся ПК для работы с соответствующими приложениями, средами, программами, читаем книги, используем массовые онлайн курсы. Сейчас, когда смартфоны с нами всегда и везде, грех не воспользоваться их возможностями для усвоения знаний по программированию или их усовершенствования.
image
В процессе изучения языка программирования, в частности Python, я считаю, что нужна погружаться в него полностью. Лозунг: «Ни дня без кода!» я дополняю, ну если ни кодить, то хотя бы почитать об этом. Для того чтобы не выходить из ритма в условиях, когда нужно в жизни сделать многое, но некогда, а хотелось бы учить Python, мобильный приложения помогут не тратить зря время в транспорте, во время ожиданий и т.д.Предлагаю список приложений из Google Play для изучения Python на Android-устройствах, которые помогут не только получить знания, но и проверить свой уровень по Python.Три из ниже перечисленных приложений я обязательно советую студентам при изучении Python: Learn Python, Quiz&Learn Python и Python Challenge. Ну теперь подробнее.
Читать дальше →
Total votes 19: ↑15 and ↓4 +11
Comments 6

ТОП-10 видео природы, снятых дронами

Reading time 1 min
Views 14K
image

Изначально дроны были предназначены для военных целей, но за последние годы их стали больше использовать для съемок видео в самых разных уголках Земли. Редакция RoboHunter решила сгладить наступление осени этой подборкой невероятной красоты.
Читать дальше →
Total votes 16: ↑13 and ↓3 +10
Comments 3

Data Science: путь к профессионализму

Reading time 8 min
Views 21K
Здравствуйте все!

На волне непрекращающихся дискуссий о Hadoop и прочих больших данных мы не могли пройти мимо замечательной публикации Джерри Овертона, рассказывающей о профессиональном подходе к анализу больших данных в компаниях любого размера. Понятные картинки, предоставленные автором, а также краткий парад технологий, без которых современному Data scientist'у не обойтись. Поэтому пусть статья и начинается с (ошибочной!) посылки: «Не читайте книги по Data Science», она заслуживает публикации в блоге нашего издательства.

Если среди уважаемых читателей найдутся те, кто захочет обсудить Hadoop и прочие технологии из его экосистемы, а также литературу по специфическим алгоритмам, затронутым автором — давайте побеседуем об этом в комментариях.
Читать дальше →
Total votes 13: ↑11 and ↓2 +9
Comments 5

Введение в машинное обучение с помощью scikit-learn (перевод документации)

Reading time 6 min
Views 86K
Данная статья представляет собой перевод введения в машинное обучение, представленное на официальном сайте scikit-learn.

В этой части мы поговорим о терминах машинного обучения, которые мы используем для работы с scikit-learn, и приведем простой пример обучения.

Машинное обучение: постановка вопроса


В общем, задача машинного обучения сводится к получению набора выборок данных и, в последствии, к попыткам предсказать свойства неизвестных данных. Если каждый набор данных — это не одиночное число, а например, многомерная сущность (multi-dimensional entry или multivariate data), то он должен иметь несколько признаков или фич.

Машинное обчение можно разделить на несколько больших категорий:
  • обучение с учителем (или управляемое обучение). Здесь данные представлены вместе с дополнительными признаками, которые мы хотим предсказать. (Нажмите сюда, чтобы перейти к странице Scikit-Learn обучение с учителем). Это может быть любая из следующих задач:

  1. классификация: выборки данных принадлежат к двум или более классам и мы хотим научиться на уже размеченных данных предсказывать класс неразмеченной выборки. Примером задачи классификации может стать распознавание рукописных чисел, цель которого — присвоить каждому входному набору данных одну из конечного числа дискретных категорий. Другой способ понимания классификации — это понимание ее в качестве дискретной (как противоположность непрерывной) формы управляемого обучения, где у нас есть ограниченное количество категорий, предоставленных для N выборок; и мы пытаемся их пометить правильной категорией или классом.
  2. регрессионный анализ: если желаемый выходной результат состоит из одного или более непрерывных переменных, тогда мы сталкиваемся с регрессионным анализом. Примером решения такой задачи может служить предсказание длинны лосося как результата функции от его возраста и веса.


  • обучение без учителя (или самообучение). В данном случае обучающая выборка состоит из набора входных данных Х без каких-либо соответствующих им значений. Целью подобных задач может быть определение групп схожих элементов внутри данных. Это называется кластеризацией или кластерным анализом. Также задачей может быть установление распределения данных внутри пространства входов, называемое густотой ожидания (density estimation). Или это может быть выделение данных из высоко размерного пространства в двумерное или трехмерное с целью визуализации данных. (Нажмите сюда, чтобы перейти к странице Scikit-Learn обучение без учителя).

Читать дальше →
Total votes 23: ↑19 and ↓4 +15
Comments 0

Сложности сборки Python3 + Qt5 приложений под Windows

Reading time 4 min
Views 50K
Недавно потребовалось мне сделать небольшую прогу под Windows. Раньше мне не доводилось разрабатывать под нее.
Сама программа несложная, написалась относительно быстро. Намного больше времени отъела сборка ее под винду. Понятно, что выбранные инструменты (Python3 + Qt5) не родные, а универстальные, но что потребуется столько времени затратить на сборку, я не предполагал.
Соответственно, хочется поделиться практикой, может кому еще придется стучаться лбом в эту стену.
Под катом выстраданная инструкция как легко собирать PyQt5 приложения в single-file.exe не требующий инсталлятора.
Читать дальше →
Total votes 20: ↑19 and ↓1 +18
Comments 18

ipgeobase в Nginx

Reading time 3 min
Views 18K
Когда возникает задача — по адресу посетителя получать его город и налоговый (автомобильный) код региона, кажется — да это же просто, в инете полно таких штук!
А потом смотришь: одни платные, другие нельзя у себя развернуть, третьи можно, но это ресурсозатратно, четвертые о регионах РФ ничего не знают…
И тут на помощь спешит больной мозг программиста с навязчивой идеей: «Нет у других — сделай сам»

Читать дальше →
Total votes 22: ↑22 and ↓0 +22
Comments 9

«То, чего на белом свете вообще не может быть…»

Reading time 6 min
Views 40K
Дорогие друзья, я рад представить вам еще одну статью из серии своих путешествий по миру удивительного. Мы начали с разговора о числах-гигантах, где я попытался поделиться с вами своим восхищением от того, какие невероятные по своей величине числа окружают нас во Вселенной и как близко мы можем подойти по ним к самой бесконечности. Вторая статья рассказывала о микроскопически малых объектах, находящихся далеко за пределами видимости не только невооруженного глаза, но и самого сильного микроскопа. Сейчас я предлагаю вам отправиться в третье путешествие — путешествие в мир вероятностей. Мы рассмотрим примеры невероятных, но, тем не менее, математически возможных событий. Нам снова придется работать с числами, так что я заранее прошу прощения у гуманитариев (если, конечно, таковые есть на данном ресурсе). В общем, если вы, так же как и я, любите забивать голову бесполезными фактами, то добро пожаловать.

image
Читать дальше →
Total votes 61: ↑56 and ↓5 +51
Comments 106

Путешествие в микромир

Reading time 8 min
Views 56K
В предыдущей статье мы говорили о числах-гигантах. Можно сказать, что мы совершили путешествие к бесконечности, а когда подошли к Числу Грэма, то лично у меня создалось ощущение, что вот еще чуть-чуть – и мы прикоснемся к ней рукой. Сегодня я предлагаю вам еще одно путешествие. На этот раз в микромир – мир малых объектов. Настолько малых, что среди всех тех, которые мы рассмотрим, песчинка будет самой крупной. Сразу скажу, что эта статья не о физике. Мы не будем говорить о квантовых эффектах, принципе неопределенности и теории струн. Я не физик (впрочем, я думаю, что вы поняли это и на основании моего предыдущего текста). Это статья о цифрах, масштабах и красоте. Добро пожаловать.
Читать дальше →
Total votes 29: ↑29 and ↓0 +29
Comments 17

Числа-гиганты

Reading time 9 min
Views 323K
В этой статье я хочу поделиться с вами некоторыми впечатляющими фактами из окружающего нас мира. Мы рассмотрим по-настоящему большие и даже гигантские числа, с которыми можем столкнуться либо в реальности (порой сами того не замечая), либо в расчетах, говорящих кое-что важное о нашей Вселенной. Некоторые числа настолько поражают воображение, что даже для того чтобы только их представить, уже необходимо приложить немало умственных усилий. Статья будет построена следующим образом. Мы будем двигаться по пути возрастания степеней десятки, начав от миллиона и дальше, насколько у нас хватит знаний, терпения и сил. Давайте же отправимся в путь.
Читать дальше →
Total votes 56: ↑54 and ↓2 +52
Comments 50

Information

Rating
Does not participate
Location
Рига, Латвия, Латвия
Date of birth
Registered
Activity