Pull to refresh
-10
0
Алексей Енин @eavprog

Разработчик

Send message

Как я читаю сейчас, путешествие по ридерам

Level of difficultyMedium
Reading time6 min
Views11K

Совсем недавно открыл для себя всю мощь Zotero. Опыт чтения с помощью этой программы ничем не уступает аналогичному с iBooks, Readwise, Alreader и любого другого ридера, с одним лишь исключением. Zotero предоставляет чтецу все то же самое, только на стероидах. Однако, прежде чем перейти к описанию, почему так происходит, и сценариям использования, расскажу про свой читательский опыт.

В 2002 году, студентом третьекурсником, на глаза попался карманный персональный компьютер (КПК), а вместе с ним и зуд прикупить себе такую штучку. Выбрал не самую дешевую модельку Toshiba e740:

Читать далее
Total votes 23: ↑19 and ↓4+15
Comments23

Algopack Мосбиржи — получаем справочную информация о доступных акциях

Reading time9 min
Views2.9K

Совсем недавно, буквально 2 месяца назад, Мосбиржа запустила Algopack и выложила на Гитхаб долгожданную многими библиотеку на python – moexAlgo, которая должна упростить работу с AlgoPack API.

Читать далее
Total votes 4: ↑4 and ↓0+4
Comments0

Сравнение Open Source BI-платформ

Level of difficultyMedium
Reading time10 min
Views15K

Привет, Habr!

Меня зовут Остапенко Настя, я лидирую направление BI в компании Axenix. Год назад мы выпустили статью с большим обзором Российского рынка BI. На этот раз мы проведем сравнение трех популярных Open-Source BI-платформ: Apache Superset, Metabase и относительно нового участника - Yandex Datalens, который совсем недавно стал доступен в качестве Open-Source продукта.

Читать далее
Total votes 21: ↑21 and ↓0+21
Comments19

Что эффективнее — усложнять модель или увеличивать количество данных?

Level of difficultyEasy
Reading time8 min
Views10K

Статья "Необоснованная эффективность данных", написанная сотрудниками Google в 2009 году, говорит нам: "Простые модели с множеством данных превосходят сложные модели с меньшим количеством данных". Этот принцип заложен в основу подхода, ориентированного на данные (Data-driven) - приоритет отдаётся информации, содержащейся в данных, в то время как модель выступает в роли инструмента. Важную ценность несут именно сами данные, которые позволяют извлекать информацию для принятия точных и эффективных решений. Если данных недостаточно, в них отсутствуют чёткие закономерности или они недостаточно разнообразны, то потенциал машинного обучения ограничивается. Но как определить, что объём данных достаточен? Где лежат границы между большим и маленьким объёмом данных? Этот вопрос мы сейчас попробуем поисследовать.

Читать далее
Total votes 20: ↑20 and ↓0+20
Comments10

Как программисту использовать ИИ на практике (Bard, ChatGPT, Midjourney)

Level of difficultyEasy
Reading time9 min
Views15K

Всех приветствую. В свое время, когда ChatGPT только запускался и сфера IT была на волне хайпа ИИ, когда чуть ли не каждый в айти, кто не связан с непосредственно написанем кода/хард скиллами, твердил (или хотел верить), что теперь программистов заменят, мое отношение к новым технологиям, как и у многих (не считая тех, кто работал в сфере ИИ), было таким же, как у художников/дизайнеров, а именно непринятие и полная убежденность в том, что это не нужно и никогда не заменит программистов, и что для работы программиста у нас уже все есть.

Но с течением времени, технология распространялась, появлялось все больше игроков с бесплатными предложениями, ИИ все больше находило применение среди самих программистов, и менялось также мое отношение к нему. В итоге я пришел к позиции, как у некоторых художников/дизайнеров, а именно к тому, что полностью ИИ вряд-ли когда-либо заменит человека, но почему бы не идти в ногу со временем и не использовать его себе на пользу. Именно поэтому я решил написать эту статью и поделиться опытом использования чат-ботов с ИИ в своей работе.

Генерировать статью
Total votes 30: ↑15 and ↓150
Comments40

100 промптов для ChatGPT

Reading time10 min
Views40K

Не стоит ожидать, что в текущем виде ChatGPT способна проделать за вас работу, поскольку она еще слишком нова и наивна, хотя и учится и совершенствуется с каждым днем. При этом он вполне может помогать искать ошибки в коде и быстро сгенерировать простой код. Но для выполнения этих задач нужны правильные промпты, написать которые иногда не так просто, как кажется. В этой статье увидите, какие промпты можно использовать для работы с ChatGPT, а также в целом больше узнаете о том, с какими микрозадачами он может помочь.

Читать далее
Total votes 28: ↑19 and ↓9+10
Comments23

Из инженера – в Data Scientist: лайфхаки от первого лица

Reading time5 min
Views6.9K

Привет! Меня зовут Роман Ленц, в Первой грузовой компании (ПГК) я занимаюсь анализом данных и машинным обучением в рамках проекта «Цифровой вагон», подробнее о котором рассказано здесь. Еще 3 года назад я работал инженером-конструктором в зарубежной строительной компании. Почему я решил кардинально поменять свою карьерную траекторию, почему выбрал именно Data Science, и как я к этому пришёл? Поделюсь опытом, который, возможно, окажется полезным для молодых специалистов, ищущих «работу мечты». Тем, кто задумался о смене профессии, думаю, информация тоже будет полезна.

Я получил высшее образование за границей. После окончания вуза устроился на работу в московское представительство иностранной строительной компании. Мы занимались проектированием объектов по всему миру, но на российском рынке количество заказов постепенно снижалось: стоимость услуг была слишком высокой для местных клиентов. Стало очевидно, что скоро придется искать другую работу. Именно тогда я задумался о том, чтобы сменить карьерную траекторию.

Не скажу, что выбрал Data Science совсем случайно. Как у инженера у меня был сильный математический бэкграунд, я был знаком с основами некоторых языков программирования, разбирался в работе с данными. Меня привлекали области, где можно применить эти навыки и знания, поэтому направление Data Science показалось мне интересным вариантом для более глубокого погружения.

Определившись, я стал постепенно вспоминать основы математики, линейной алгебры, статистики, теории вероятности. Параллельно начал проходить профильные курсы на крупных онлайн-платформах – DataCamp, Stepik, Яндекс.Практикум и других.

Читать далее
Total votes 4: ↑4 and ↓0+4
Comments4

Анализ финансовых ботов, можно ли заработать?

Reading time10 min
Views58K

Разбираю разные подходы к созданию ботов и смотрю на их эффективность

Заработает ли бот достаточно денег?
Будет ли стабильный заработок?
Достигнет ли он когда-нибудь годового дохода в $100,000?

В этом посте я отвечу на эти вопросы и дам вам несколько советов, как двигаться дальше.

Читать далее
Total votes 14: ↑12 and ↓2+10
Comments18

Почему я начал использовать аннотации типов в Python – и вам тоже советую

Reading time7 min
Views18K

С появлением подсказок типов (type hints) в Python 3.5+ добавилась опциональная статическая типизация – поэтому эти подсказки так мне нравятся. Теперь я аннотирую ими все мои проекты.

Читать далее
Total votes 34: ↑33 and ↓1+32
Comments25

Исчерпывающее руководство Getting Things Done (GTD) метода с примерами

Reading time10 min
Views94K
В данной статье вы узнаете о методе, помогающем привести в порядок все ваши дела от самых крупных и важных, до тех, что еще только появились в голове.

Я и сама не понаслышке знаю, как сложно перейти от мыслей и планирования к реальным действиям, как не только организовать первостепенные задачи, но и не упустить из вида ценные детали информации.

Я подробно разберу на практике все шаги Getting Things Done метода и вы получите четкую инструкцию к действию (Как привести дела в порядок). Вы сможете не только эффективно организовать свои дела, но и найти больше возможностей для создания новых идей, применяя данную инструкцию на практике.


Читать дальше →
Total votes 16: ↑14 and ↓2+12
Comments18

Как увеличить точность модели с 80% до 90%+ (мой опыт)

Reading time4 min
Views16K

Разберем способы поднять точность модели!

Привет, чемпион! Возможно, перед тобой сейчас стоит задача построить предиктивную модель, или ты просто фармишь Kaggle, и тебе не хватает идей, тогда эта статья будет тебе полезна!

Наверное, уже только ленивый не слышал про Data Science и то, как модели машинного обучения помогают прогнозировать будущее, но самое крутое в анализе данных, на мой взгляд, - это хакатоны! Будь-то Kaggle или локальные соревнования, везде примерно одна задача - получить точность выше, чем у других оппонентов (в идеале еще пригодную для продакшена модель). И тут возникает проблема...

Читать далее
Total votes 7: ↑5 and ↓2+3
Comments4

AutoML великий и могущественный

Reading time3 min
Views4.4K
На текущий момент, пожалуй, нет ни одного человека, кто интересуется информационными технологиями и не слышал о том, что машинное обучение, интеллектуальный анализ данных, системы поддержки принятия решений являются одними из ключевых направлений для реализации сценариев цифровой трансформации.
Читать дальше →
Total votes 7: ↑6 and ↓1+5
Comments0

Гибкость и автоматизация в машинном обучении

Reading time7 min
Views3.1K
В данной статье я хочу рассказать об основных сложностях автоматизации машинного обучения, ее природе и преимуществах, а также рассмотреть и более гибкий подход, позволяющий уйти от части недостатков.

image
Читать дальше →
Total votes 5: ↑4 and ↓1+3
Comments1

Что такое автоматизированное машинное обучение (AutoML)

Reading time4 min
Views19K

Что такое автоматизированное машинное обучение (AutoML) и
собирается ли оно лишить специалистов по данным (Data Scientists) работы?


С того момента как стали появляться инструменты автоматизированного машинного обучения (AutoML), такие как Google AutoML, эксперты обсуждают вопрос — готовы ли они к полной корпоративной интеграции и применению. В описании инструментов AutoML утверждается, что каждый может взять на себя роль «исследователя данных» (data scientist), способного создавать готовые для промышленного применения модели машинного обучения без традиционно необходимого технического образования.



Хотя, безусловно, верно, что автоматизированные процессы машинного обучения меняют способы, с помощью которых предприятия могут выполнять задачи анализа данных, технология еще не готова оставить специалистов по данным без работы. Одно из главных утверждений технологии заключается в том, что автоматически созданные модели имеют схожее качество и производятся в кратчайшие сроки по сравнению с эквивалентной моделью, созданной группой исследователей данных.


Хотя модели AutoML создаются быстрее, они эффективны только в том случае, если проблема, которую они ищут, является постоянной и повторяющейся. Большинство моделей AutoML работают хорошо и достигают постоянного качества в этих условиях; но чем сложнее проблемы с данными, тем больше требуется вмешательство специалиста, чтобы понять, что запустила система AutoML, и превратить ее в нечто полезное. Чтобы понять некоторые из этих ограничений, давайте рассмотрим процесс AutoML более подробно.


Читать дальше →
Total votes 15: ↑11 and ↓4+7
Comments2

HyperBand и BOHB. Понимание современных алгоритмов оптимизации гиперпараметров

Reading time7 min
Views7.8K
Специально к старту курса «Машинное обучение» в этом материале представляем сравнение BOHB и HyperBand — двух передовых алгоритмов оптимизации гиперпараметров нейронной сети и простого случайного поиска оптимальных гиперпараметров. Сравнение выполняется с помощью платформы neptune.ai — инструмента для управления экспериментами в области ИИ. Рисунки, графики, таблицы результатов сравнения — всё это вы найдете под катом.


Приятного чтения!
Total votes 15: ↑15 and ↓0+15
Comments0

Генетический алгоритм на Python для поиска глобальных экстремумов

Reading time4 min
Views34K

Предыстория


Недавно в рамках учебной деятельности мне понадобилось использовать старый добрый генетический алгоритм в целях поиска минимума и максимума функции от двух переменных. Однако, к моему удивлению, на просторах интернета не нашлось подобной реализации на питоне, а в википедии в статье по генетическому алгоритму именно этот раздел не освещен.



И поэтому я решил написать свой небольшой пакет на Python с наглядной визуализацией алгоритма, по которой будет удобно настраивать этот алгоритм и искать тонкости выбранной модели.

В этой небольшой статье я хотел бы поделиться процессом, наблюдениями и итогами.
Читать дальше →
Total votes 6: ↑6 and ↓0+6
Comments7

Нужен ли человек для построения самообучающихся моделей?

Reading time3 min
Views6.2K

Ещё один шаг в самообучении машин





Конечно, в Data Science существует множество самообучающихся моделей, но действительно ли они являются таковыми? На самом деле, нет: сейчас в машинном обучении сложилась ситуация, когда человеческий фактор играет решающую роль в построении эффективных моделей.

Data Science сейчас представляет собой некий сплав науки и интуиции, потому что не существует формализованного знания о том, как правильно предобрабатывать предикторы, какую модель выбрать из десятков существующих, и как настраивать множество параметров в этой модели. Всё это плохо поддается формализации, и поэтому получается парадоксальная ситуация – машинное обучение требует человеческого фактора.

Именно человек должен выстроить цепочку обучения, и настроить параметры, которые легко могут превратить самую лучшую модель в абсолютно бесполезную. Построение этой цепочки, превращающей исходные данные в предсказательную модель – может занимать несколько недель, в зависимости от сложности задачи, и часто делается просто методом проб и ошибок.

Это серьезный недостаток, и поэтому возникла идея: может ли машинное обучение — обучить себя тому же, что делает человек? Такая система была создана, и удивительно, что эта новость еще не добралась до хабрасообщества!

Читать дальше →
Total votes 5: ↑5 and ↓0+5
Comments4

Как создать торгового робота с помощью генетического программирования

Reading time15 min
Views34K


Доброго времени суток. В этой статье расскажу о создании системы в которой генетические алгоритмы пишут роботов. В теории эти роботы могли бы торговать на бирже.

Я фанат трех вещей — искусственного интеллекта, высокопроизводительных машин и практического применения любых знаний. Имея некоторое свободное время, я спроектировал небольшую задачку, приобрел железо и сел творить.

Проект возник из желания попробовать на практике генетическое программирование. Первым вариантом было создавать бота к какой-нибудь игре, но я остановился на торговых роботах, где биржа тоже своего рода игра.
Читать дальше →
Total votes 37: ↑31 and ↓6+25
Comments24

О превращении интереса к фондовой бирже в домашний проект

Reading time5 min
Views6.8K
TL;DR: Я решил создать автоматизированную email-рассылку, предназначенную для наблюдения за фондовой биржей, дающую сведения об индексах S&P 500, Nasdaq и Dow Jones во время премаркет-сессии и в исторической перспективе.

На днях я прочитал этот твит Джейсона Фрайда, основателя Basecamp. Там говорилось о том, что в компании работают над новым email-приложением Hey. Это заставило меня задуматься.



Проверка почтового ящика — это одно из моих первых утренних дел. Быстро просмотрев почту, я узнаю о том, есть ли среди писем что-то важное, и о том, на что мне надо обратить внимание. Я читаю новости и уделяю время тому, чтобы содержать мой почтовый ящик в чистоте. Электронная почта — это мой центральный повседневный инструмент.
Читать дальше →
Total votes 35: ↑34 and ↓1+33
Comments3

Представляем PyCaret: открытую low-code библиотеку машинного обучения на Python

Reading time7 min
Views17K
Всем привет. В преддверии старта курса «Нейронные сети на Python» подготовили для вас перевод еще одного интересного материала.




Рады представить вам PyCaret – библиотеку машинного обучения с открытым исходным кодом на Python для обучения и развертывания моделей с учителем и без учителя в low-code среде. PyCaret позволит вам пройти путь от подготовки данных до развертывания модели за несколько секунд в той notebook-среде, которую вы выберете.

По сравнению с другими открытыми библиотеками машинного обучения, PyCaret – это low-code альтернатива, которая поможет заменить сотни строк кода всего парой слов. Скорость проведения более эффективных экспериментов возрастет экспоненциально. PyCaret – это, по сути, оболочка Python над несколькими библиотеками машинного обучения, такими как scikit-learn, XGBoost, Microsoft LightGBM, spaCy и многими другими.

PyCaret проста и удобна в использовании. Все операции, выполняемые PyCaret, последовательно сохраняются в пайплайне полностью готовом для развертывания. Будь то добавление пропущенных значений, преобразование категориальных данных, инженерия признаков или оптимизация гиперпараметров, PyCaret сможет все это автоматизировать. Чтобы узнать чуть больше о PyCaret посмотрите это короткое видео.
Читать дальше →
Total votes 14: ↑12 and ↓2+10
Comments5
1

Information

Rating
Does not participate
Location
Оренбург, Оренбургская обл., Россия
Date of birth
Registered
Activity