Pull to refresh
10
0.1
Петр @ChePeter

Пользователь

Удивительное рядом

Reading time 6 min
Views 2.5K

Одной из самых жутких проблем для любого любителя, как и для профессионала в data science является качество разметки.
Качество разметки способно погубить самую толковую и красивую идею.

Но не всё оказалось так плохо и вашему вниманию предлагается, как и всегда в моих постах, красивая идея с кодами и примером.

Итак, начнем.
Total votes 7: ↑5 and ↓2 +3
Comments 1

FizzBuzz по-взрослому

Reading time 90 min
Views 5.2K

Тема эта стала неинтересной, всё то же и так же из раза в раз

Сеньоры начинают и проигрывают пенсионерам.

Это уже третий раз и должны уже наверно свыкнуться. ))

FizzBuzz по-сениорски

FizzBuzz по-пенсионерски

Продолжаем разгонять FizzBuzz

FizzBuzz по-македонски

Немного лирики. Хабр из места, где пишут в стиле "смотрите коллеги, можно и так ..." превратился в место хвастовства и рекламы. Пенсионеры хорошо знают, что невозможно написать код, который нельзя улучшить. И реальные сеньоры только рады, когда им пишешь про то, как можно улучшить их код. Я проверял ))

Читать далее
Total votes 15: ↑8 and ↓7 +1
Comments 6

FizzBuzz по-македонски

Reading time 5 min
Views 4.4K

Long story short

Сеньоры начинают и проигрывают

Тут как на олимпийских играх - быстрее, короче, изящней.

В продолжение увлекательной дискуссии

FizzBuzz по-сениорски

FizzBuzz по-пенсионерски

Продолжаем разгонять FizzBuzz

Читать далее
Total votes 24: ↑16 and ↓8 +8
Comments 5

FizzBuzz по-пенсионерски

Reading time 3 min
Views 9K

Статья коллеги @qrdl про собеседование с написанием вариантов FizzBuzz очень понравилась.

Но очень не понравился код, совсем не понравился. (Так бывает, статья задорная, веселая, с понтами, а код не хороший) И после публикации технотекстов пришлось внимательно изучить https://habr.com/ru/post/540136/ и понять, разобраться в своем неприятии, ну и потренироваться самому.

Мне больше 60 лет и первую часть своей карьеры я был супер программист, зарабатывал на более чем 20 языках, из которых пяток только ассемблеров. Но С среди них не было, а те языки, что были, умерли все.Очень хороший повод потренироваться.

Читать далее
Total votes 47: ↑42 and ↓5 +37
Comments 17

Над пропастью во лжи

Reading time 13 min
Views 18K

Сейчас, когда обучение созданию искусственного интеллекта преподают в продвинутых детских садах и утренний разговор с кофеваркой о перспективах урожая в Эфиопии стали реальностью, количество курсов "Создай себе немного интеллекта" уже невозможно сосчитать, то наверно осталось заполнить одну единственную пустующую нишу и написать статью на тему

"как не нужно делать data science"

Читать далее
Total votes 30: ↑20 and ↓10 +10
Comments 18

Тёмная сторона силы или все HR делают это

Reading time 6 min
Views 7.6K

Наём топа экстра класса, профи - обычно дело ответственное и непростое, есть на эту тему множество статей, советов, слухов и легенд.

Но есть в этом деле и темная сторона, о которой знают все HR, но никогда не расскажут.

Попробую рассмотреть процедуру найма топа подробно, детально и начну издалека.

Читать далее
Total votes 16: ↑5 and ↓11 -6
Comments 7

Искусственный интеллект лицом

Reading time 30 min
Views 3.8K

или

Веб морда для ваших поделок

(пет проект)

Если ваши успехи в освоении data science и других наук дошли до стадии, когда вам есть что показать, то самое время глянуть на эту статью. Эта статья совсем не про искусственный интеллект и про искусственный интеллект далее в статье больше ни слова. Эта статья описывает один из способов получить из сети картинку, обработать её и отдать обратно. Как можно дешевле, надёжней, быстрей (это конечно фантастика) Можно и с AI, можно и без AI, главное то, что есть обработчик картинок и есть что показать человечеству!

Читать далее
Total votes 7: ↑5 and ↓2 +3
Comments 1

Интуиция Искусственного Интеллекта — миф или реальность?

Reading time 3 min
Views 2.7K
Одно из самых известных, наиболее интересное и совсем не изученное свойство человеческого разума с давних пор привлекавшее исследователей это интуиция.

Со времен древности философы и математики пытались хоть как как то понять и определить смысл этого могучего нашего свойства.

Еще Платон разделял и выделял нелогическое познание,

Декарт, например, утверждал: «Под интуицией я разумею не веру в шаткое свидетельство чувств и не обманчивое суждение беспорядочного воображения, но понятие ясного и внимательного ума, настолько простое и отчётливое, что оно не оставляет никакого сомнения в том, что мы мыслим, или, что одно и то же, прочное понятие ясного и внимательного ума, порождаемое лишь естественным светом разума и благодаря своей простоте более достоверное, чем сама дедукция…».

Гегель указывал на непосредственное знание, и даже Фейербах упомянул о чувственности познания!

В данной статье автор попытается провести такое же исследование интуиции, но не человеческой, нам всем знакомой и известной, а определить и показать интуицию у искуственного интеллекта, у нейронной сети.
Читать дальше →
Total votes 2: ↑2 and ↓0 +2
Comments 3

Семплинг поперек или как выжать из датасета еще несколько тысячных

Reading time 6 min
Views 1K
Эта статья про картинки и классификацию. Небольшое исследование свойств, такой вот штрих к портрету MNIST (ну и подсказка в решении других подобных задач).

В сети есть множество публикаций об интерпретации той или иной нейронной сети и значимости и вкладе тех или иных точек в обучение. Есть масса работ про поиск усов, хвостов и других частей и их важности и значимости. Не буду сейчас подменять библиотекарей и составлять список. Просто расскажу о своем эксперименте.
Читать дальше →
Total votes 4: ↑3 and ↓1 +2
Comments 2

Деградация связной структуры

Reading time 5 min
Views 2.5K
Кролики и удавы
Вирусы и питоны

Всё, что один человек написал, другой может переврать!

В прессе масса информации про разные вирусы — страшилки, наив, бесстрашие с безумием и откровенные роботексты, но проверить ничего из этого нельзя. Поэтому решил проверить сам как и какие параметры влияют на состояние, развитие и деградацию связной структуры и сделать выводы.

Перейдем к делу, у нас есть узлы(может это и люди) связанные между собой. Узлы деградируют/болеют и их можно лечить, изолировать в карантине, ну и они отключаются, увы иногда навсегда.
Читать дальше →
Total votes 17: ↑3 and ↓14 -11
Comments 3

Этюд в битовых тонах

Reading time 4 min
Views 1.7K
Когда то давно, во время ковыряния «в» и изучения «как» очень хорошего и полезного пакета OpenSSL и как всегда неожиданно возникла одна простая идея и как все такие очень неожиданные идеи канула в лету.

Но сухой остаток остался — была найдена ошибка в OpenSSL, в умножении большого числа на BN_ULONG и небольшая программа извлечения квадратного корня побитно. Сообщение об ошибке ушло на багтрекинг и было поправлено (пользуясь случаем извиняюсь за свою излишнюю эмоциональность тогда, не каждый день в OpenSSL ошибки находишь), а вот ту самую небольшую программу нахождения квадратного корня побитово по модулю 2^n, где n это количество бит\разрядность и предлагаю вашему вниманию.
Читать дальше →
Total votes 7: ↑6 and ↓1 +5
Comments 0

Искусственный интеллект против лжи и коварства

Reading time 11 min
Views 2.9K
Во всех задачах обучения искусственного интеллекта присутствует одно пренеприятнейшее явление — ошибки в разметке обучающей последовательности. Ошибки эти неизбежны, так как вся разметка производится вручную, ибо если есть способ разметить реальные данные программно, то зачем нам ещё кого-то учить их размечать и тратить время и деньги на создание абсолютно ненужной конструкции!

Задача найти и удалить фейковые маски в большой обучающей последовательности достаточно сложна. Можно просмотреть их все вручную, но и это не спасёт от повторных ошибок. Но если внимательно приглядеться к предложенным в предыдущих постах инструментам исследования нейронных сетей, то оказывается есть простой и эффективный способ обнаружить и извлечь все артефакты из обучающей последовательности.

И в этом посте есть конкретный пример, очевидно, что простой, на эллипсах и полигонах, для обычной U-net, опять такое лего в песочнице, но необычайно конкретный, полезный и эффективный. Мы покажем как простой метод выявляет и находит почти все артефакты, всю ложь обучающей последовательности.

Итак, начнём!
Читать дальше →
Total votes 19: ↑12 and ↓7 +5
Comments 4

Простота и cложность примитивов или как определить ненужный препроцессинг для нейронной сети

Reading time 11 min
Views 2.4K
Это третья статья по анализу и изучению эллипсов, треугольников и других геометрических фигур.
Предыдущие статьи вызвали у читателей несколько очень интересных вопросов, в частности о сложности или простоте тех или иных обучающих последовательностей. Вопросы на самом деле очень интересные, например насколько треугольник сложнее для обучения, чем четырехугольник или другой многоугольник?



Попробуем сравнить, и для сравнения у нас есть отличная, проверенная поколениями студентов, идея — чем короче шпаргалка, тем легче экзамен.

Статья эта тоже есть просто результат любопытства и праздного интереса, ничего из нее в практике не встречается и для практических задач тут есть пара отличных идей, но нет почти ничего для копипастинга. Это небольшое исследование сложности обучающих последовательностей — рассуждения автора и код изложены, можно все проверить/дополнить/изменить самим.

Итак, попробуем выяснить, какая геометрическая фигура сложнее или проще для сегментации, какой курс лекций для ИИ понятней и лучше усваивается.
Читать дальше →
Total votes 18: ↑15 and ↓3 +12
Comments 0

Шпаргалка для искусственного интеллекта — выбрось лишнее, учи главному. Техника обработки обучающих последовательностей

Reading time 16 min
Views 6.4K
Это вторая статья по анализу и изучению материалов соревнования по поиску корабликов на море. Но сейчас будем изучать свойства обучающих последовательностей. Попробуем найти в исходных данных лишнюю информацию, избыточность и её удалить.



Статья эта тоже есть просто результат любопытства и праздного интереса, ничего из нее в практике не встречается и для практических задач тут нет почти ничего для копипастинга. Это небольшое исследование свойств обучающей последовательности — рассуждения автора и код изложены, можно все проверить/дополнить/изменить самим.

Недавно закончились соревнования на kaggle по поиску судов на море. Компания Airbus предлагала провести анализ космических снимков моря как с судами так и без. Всего 192555 картинок 768х768х3 — это 340 720 680 960 байт если uint8 и это громадный объем информации и возникло смутное подозрение, что не все картинки нужны для обучения сети и в таком количестве информации очевидны повторы и избыточность. При обучении сети принято некоторую часть данных отделять и не использовать в обучении, а использовать для проверки качества обучения. И если один и тот же участок моря попал на два разных снимка и при этом один снимок попал в тренировочную последовательность, а другой в проверочную, то проверка смысл потеряет и сеть переобучится, мы не проверим свойство сети обобщать информацию, ведь данные те же самые. Борьба с эти явлением отняла много сил и времени GPU участников. Как обычно, победители и призеры не торопятся показать своим поклонникам секреты мастерства и выложить код и нет возможности его изучить и поучиться, поэтому займемся теорией.
Читать дальше →
Total votes 17: ↑14 and ↓3 +11
Comments 4

Небольшое исследование свойств простой U-net, классической сверточной сети для сегментации

Reading time 18 min
Views 21K
Cтатья написана по анализу и изучению материалов соревнования по поиску корабликов на море.

image

Попробуем понять, как и что ищет сеть и что находит. Статья эта есть просто результат любопытства и праздного интереса, ничего из нее в практике не встречается и для практических задач тут нет ничего для копипастинга. Но результат не совсем ожидаем. В интернете полно описаний работы сетей в которых красиво и с картинками авторы рассказывают, как сети детерминируют примитивы — углы, круги, усы, хвосты и т.п., потом их разыскивают для сегментирования/классификации. Многие соревнования выигрываются с помощью весов с других больших и широких сетей. Интересно понять и посмотреть как и какие примитивы строит сеть.
Читать дальше →
Total votes 33: ↑31 and ↓2 +29
Comments 9

Bitcoin & AI. Победа неизбежна

Reading time 5 min
Views 7.8K
О некоторых свойствах кривой secp256k1 и попытке предсказать ее поведение.

Как известно, задача дискретного логарифмирования является очень сложной и люди не знают способа вычислять его быстро. Более того, зная точку на кривой P = n*G очень трудно сделать суждение о величине n. Даже о приблизительной величине. Попробуем еще проще: попробуем делать суждения о последовательности $P(i) = i*G$, вернее о значениях $i$ зная значения $P(i)$.
Читать дальше →
Total votes 20: ↑14 and ↓6 +8
Comments 27

Блондинки, монстры и пристрастия искусственного интеллекта

Reading time 5 min
Views 4.6K
Предыдущая статья оставила ощущение недосказанности и две темы — блондинок и монстров не раскрыты были совсем.

Попробуем исправить и начнем с монстров.

Не секрет, что большинство систем распознавания используют ИИ для определения потенциальных кандидатов и нам тоже интересно проверить, как это у цифр.
Читать дальше →
Total votes 28: ↑25 and ↓3 +22
Comments 10

Некоторые аспекты качества обучающих последовательностей

Reading time 8 min
Views 2.1K
На Хабре появился ряд статей о качестве образования и как процесса и как результата (уровень выпускников).

Тема заинтересовала и руки зачесались проверить, а как это устроено у пчелок роботов искусственного интеллекта, влияет ли качество обучающей последовательности на результат.

Была выбрана простая сеть из примеров Keras в которую добавил одну строку. Нас интересует насколько упорядоченность входной обучающей последовательности mnist влияет на результат обучения MLP.

Результат получился неожиданным и странным, пришлось перепроверять многократно, но перейдем к делу и конкретике.
Читать дальше →
Total votes 13: ↑11 and ↓2 +9
Comments 11
1

Information

Rating
2,610-th
Date of birth
Registered
Activity