Pull to refresh
146
0
Alexander Galkin @alaudo

User

Send message

Что делает ChatGPT… и почему это работает?

Level of difficulty Medium
Reading time 75 min
Views 144K

То, что ChatGPT может автоматически генерировать что-то, что хотя бы на первый взгляд похоже на написанный человеком текст, удивительно и неожиданно. Но как он это делает? И почему это работает? Цель этой статьи - дать приблизительное описание того, что происходит внутри ChatGPT, а затем исследовать, почему он может так хорошо справляться с созданием более-менее осмысленного текста. С самого начала я должен сказать, что собираюсь сосредоточиться на общей картине происходящего, и хотя я упомяну некоторые инженерные детали, но не буду глубоко в них вникать. (Примеры в статье применимы как к другим современным "большим языковым моделям" (LLM), так и к ChatGPT).

Читать далее
Total votes 248: ↑248 and ↓0 +248
Comments 121

Как работает ChatGPT: объясняем на простом русском эволюцию языковых моделей с T9 до чуда

Level of difficulty Easy
Reading time 30 min
Views 358K

В последнее время нам почти каждый день рассказывают в новостях, какие очередные вершины покорили языковые нейросетки, и почему они уже через месяц совершенно точно оставят лично вас без работы. При этом мало кто понимает — а как вообще нейросети вроде ChatGPT работают внутри? Так вот, устраивайтесь поудобнее: в этой статье мы наконец объясним всё так, чтобы понял даже шестилетний гуманитарий!

Погнали →
Total votes 357: ↑350 and ↓7 +343
Comments 283

Как Data Scientist переехал в Германию в разгар мобилизации

Reading time 13 min
Views 29K

Под катом я расскажу о своем опыте поиска работы в Германии после начала войны военной операции, а также о переезде после объявления частичной мобилизации.

Разрушим стереотипы по поводу немецкой бюрократии и педантичности.

Ну и конечно посчитаем сколько денег, времени и седых волос на это ушло.

Запрыгнуть на трактор
Total votes 67: ↑51 and ↓16 +35
Comments 58

Астрономический словарик: параллакс, планета

Reading time 7 min
Views 5.6K

Параллакс



Параллактические эллипсы звёзд при различных расстояниях от плоскости эклиптики

Параллакс — это смещение видимого положения объекта, рассматриваемого с двух разных точек. Чем дальше объект от наблюдателя, тем меньше его видимое положение меняется при перемещении наблюдателя. На основе расстояния между точками наблюдения и углом смещения видимого положения объекта можно рассчитать расстояние до него.

В астрономии под параллаксом чаще всего понимается половина угла смещения видимого направления на звезду, измеряемого в моменты, когда Земля, двигающаяся вокруг Солнца по своей орбите, находится на её противоположных сторонах. Такое измерение расстояния иногда называют «годичным параллаксом». Это первая ступенька в «космической шкале расстояний» — метода измерения расстояний, похожего на лестницу, в которой каждая следующая «ступенька» опирается на предыдущую.

Расстояние до объекта, годичный тригонометрический параллакс которого равен одной угловой секунде, называют «парсеком» (сложив слова «параллакс» и «секунда»). Это расстояние равно 3,26 светового года. В 2015 году Международный астрономический союз определил парсек как расстояние, равное 648 000/π астрономических единиц.
Читать дальше →
Total votes 40: ↑37 and ↓3 +34
Comments 1

Почему я не вошел в IT

Reading time 15 min
Views 111K

Последнее время, и, есть такое подозрение, что не последнее, а это перманентное состояние Хабра, много всяких публикаций на тему "Как я (мой друг\Лена\педиатр-офтальмолог\кошка моей жены) вошли в IT в 45 лет".

И неоднократно замечалось. что такие публикации есть типичная "ошибка выжившего" - потому что те, у кого ни хрена не получилось, ничего подобного не пишут.

Потому я попробую эту тему немножечко копнуть на своем примере и таки написать, почему Я НЕ ВОШЕЛ В IT. Хотя мысли посещают постоянно, регулярно, и все вокруг меня прямо в спину пихают. "Иди в IT", - говорят они. - "Там хорошо получают", - говорят они.

Но я, если честно, совсем не в восторге от этих перспектив. Впрочем, начнем с начала.

Читать далее
Total votes 191: ↑178 and ↓13 +165
Comments 200

Когнитивистика 101: Predictive Processing

Reading time 14 min
Views 6K

Сегодня пост об уже не очень новом, но резонансном направлении в когнитивных науках – предиктивной обработке, также известной как предиктивное, предсказательное или прогнозное кодирование (Predictive Processing/Coding, далее PP). Свои истоки PP берет из (зрительного) восприятия, но с каждым годом основные принципы PP находят применение в новых областях, например восприятии языка, психиатрии и даже высшей когнитивной деятельности. Публикаций по PP в последние годы несметное количество, и все чаще можно встретить заявление, что PP — это первая глобальная современная парадигма об архитектуре человеческого разума. Тем не менее, суждения насчет подхода разнятся. Кто-то считает, что PP – революция в области, кто-то, что PP практически ничего не объясняет, а только создает иллюзию радикальной новизны и отвлекает людей от настоящей революционной борьбы продуктивной научной работы. На мой взгляд, PP подход нащупал что-то очень верное о работе мозга, хотя конечная история окажется намного сложнее и пестрее.

Под катом ознакомительный пост о PP, описывающий базовые принципы, предиктивное восприятие и действие, попытки применить эту парадигму к разным когнитивным процессам + немного критики.

Читать далее
Total votes 11: ↑11 and ↓0 +11
Comments 5

Многообразие Linux-дистрибутивов

Reading time 53 min
Views 145K

Цель этой статьи показать и объяснить многообразие дистрибутивов Линукс. Показать основные сходства (они же все почему то называются "Линуксы" или даже правильнее "GNU/Linux") и основные различия (если бы не было различий их бы столько не существовало).

Плюс рассмотрим несколько наиболее задаваемых новичками вопросов:
- Сколько их (Linux-дистрибутивов)? Зачем так много?
- Основанный на другом дистрибутиве" - не пиратство ли это?
- Платный Linux - Как можно продавать то, что по определению распространяется бесплатно?
- Что такое "отечественный Linux"?

Читать далее
Total votes 191: ↑191 and ↓0 +191
Comments 132

Закалка тимлида: как вывести проект из пожара, не сгореть самому и не спалить команду

Reading time 23 min
Views 19K

Итак, у вас на руках «полыхающий» проект — сроки задержаны настолько, что заказчик всерьез задумывается о закрытии проекта. Или регулярно взрывающийся production не дает сфокусироваться на новых задачах а то и спать по ночам. Или вы впервые видите этот проект, но вообще-то ему уже пара лет, просто изначальная команда куда-то пропала. Или все это произошло разом, а вы здесь чтобы с завтрашнего дня взять ситуацию в свои руки и за пару месяцев показать существенный сдвиг.

На прошедшей в апреле конференции TeamLead Conf 2021 я поделился своим опытом, как вытащить проект из пожара и обойтись без человеческих жертв. Под катом моя история, а если предпочитаете смотреть — вот запись выступления.

Читать далее
Total votes 52: ↑52 and ↓0 +52
Comments 17

Москва — Берлин — Хельсинки — Копенгаген за 4 года

Reading time 11 min
Views 29K

За последние 4 года мы семьей (я, жена, дочь 6 месяцев на момент первого переезда, собака и в процессе еще + кошка) переезжали из одной страны в другую 3 раза. Последний переезд был в августе 2020 года. Давно уже хотел написать статью про впечатления о странах, где довелось пожить.

Подробнее под катом
Total votes 82: ↑78 and ↓4 +74
Comments 565

Программистское везение

Reading time 3 min
Views 15K

Более двух десятков лет назад мы разрабатывали устройство, передающее и принимающее данные, используя телевизионный сигнал. Это сейчас все избалованы гигагерцами и гигабайтами, а тогда, имея компьютер типа IBM/PC-AT, на таких скоростях можно было работать только с помощью встроенного контроллера прямого доступа к памяти (ПДП), реализованного в виде микросхем 8237А-5. Это устройство позволяло писать или читать данные, не привлекая центральный процессор.

Отработка ПО заняла несколько недель, и когда все, наконец, заработало, я решил привести исходные тексты на ассемблере в окончательный и красивый вид. С одной стороны, в этот момент, поскольку все уже работает, существенных исправлений в тексте не предвидится, с другой стороны – в памяти еще удерживается множество деталей, которые лучше увековечить понятными комментариями, так как очень скоро все эти детали забудутся. Заодно, можно глобально заменить все неудачные названия переменных на более внятные, исправить орфографические ошибки, красиво подвинуть строки и т.п.

И вот, при заключительном просмотре текста, я вдруг увидел глупую описку в программировании ПДП. Адрес в 16-разрядной 8237А-5 приходилось задавать по частям и при задании номера «станицы» (т.е. номера куска памяти в 128 Кбайт) вместо команды

Читать далее
Total votes 44: ↑40 and ↓4 +36
Comments 21

Болезнь Альцгеймера

Reading time 12 min
Views 28K

Возможно, вы слышали присказку: «Господи, отбери всё, только не лишай разума». Но, к сожалению, старость у всех разная, и зачастую, чтобы потом не страдать раскаянием, выбирать её надо чуть ли не с детства. И что самое печальное, наше общество так или иначе привыкло к стереотипу «тупеющих стариков». Мало кто знает, что под старческой деменцией, или, проще говоря, маразмом, или возрастным слабоумием, скрываются вполне реальные заболевания. Зачастую тот, кого мы называем сумасшедшим стариком - просто больной человек, которого общество бросило ещё тогда, когда его можно было спасти. Как не превратиться в монстра и не сойти с ума на пенсии?

Альцгеймер, Паркинсон и болезнь Пика. Добро пожаловать в один из постов серии «Всадники маразма» на ScientaeVulgaris.

Читать далее
Total votes 85: ↑70 and ↓15 +55
Comments 28

Загадочные субтитры на CNN

Reading time 3 min
Views 49K
Зрители CNN обратили внимание, что в выпуске новостей 12/11/2020 на их официальном YouTube-канале вместо субтитров какая-то каша из обрывков английских слов, сплошным капсом:


Как такое могло получиться? (По состоянию на 1/12/2020, субтитры на YouTube так и не исправлены.)

Stenotype


Американские стенографисты уже больше сотни лет как используют специальные устройства с минимальной 22-клавишной клавиатурой — по две клавиши под каждый палец, чтобы минимизировать движения кистей:



Сто лет назад стенотайп был вариантом печатной машинки, и каждая клавиша оставляла оттиск на бумаге. Каретки не было: после каждого «аккорда» из одной или нескольких одновременно нажатых клавиш, бумага проматывалась на одну строчку вниз. Оттиск каждой литеры приходился всегда на одно и то же место в строке. Клавиши P, R, S, T присутствуют в двух экземплярах каждая — под левой и под правой рукой.

Читать дальше →
Total votes 153: ↑153 and ↓0 +153
Comments 102

Крушение Intel состоялось

Reading time 6 min
Views 159K
Если посмотреть на историю Intel, то она сделала полный круг. В ХХ веке компания произвела настоящую революцию на рынке микроэлектроники. Затем большая корпорация решилась на смелые шаги, чтобы выжить в эпоху подрывных инноваций. Но теперь всё-таки попала под каток. Сейчас в 2020 году приходится лишь с сожалением смотреть, как она медленно тонет, и ничего не может с этим поделать. Поезд ушёл.

Бывший исполнительный директор Intel Энди Гроув говорил, что «Дилемма инноватора. Как из-за новых технологий погибают сильные компании» Клайтона Кристенсена стала самой важной книгой из всех, что он прочитал за десять лет. На обложке Forbes в 1999 году — автор книги Клайтон Кристенсен и Энди Гроув.

Действительно, Энди Гроув был живым примером того, как большой компании выжить в эпоху подрывных инноваций. Один из самых знаменитых примеров — когда Intel решилась на то, что компании редко осмеливаются сделать: выпустить низкоприбыльный продукт, который съедает её собственные высокоприбыльные продукты. Но Intel сделала это. Речь о выпуске процессора Celeron в 1998 году. Он реально съел «Пентиумы» и захватил 35% всего рынка процессоров. Но самое главное, что он выполнил свою задачу — отсёк потенциальных конкурентов снизу. Это был гениальный ход.
Читать дальше →
Total votes 210: ↑167 and ↓43 +124
Comments 779

Umka: новый статически типизированный скриптовый язык

Reading time 3 min
Views 15K

Только что вышла первая версия разработанного мной статически типизированного встраиваемого скриптового языка Umka. Он призван сочетать гибкость привычных скриптовых языков с защитой от ошибок типов на этапе компиляции в байт-код. Основная идея языка — Explicit is better than implicit — позаимствована из «дзена Python», однако должна приобрести здесь несколько иной и более очевидный смысл.

Сколь бы частными и субъективными ни были впечатления, побудившие меня взяться за разработку языка, я надеюсь, что замысел оказался не наивным. Под катом я кратко расскажу о возможностях языка и мотивах его создания.
Читать дальше →
Total votes 53: ↑49 and ↓4 +45
Comments 99

14 open-source проектов для прокачки Data Science мастерства (easy, normal, hard)

Reading time 7 min
Views 35K
Data Science для начинающих

1. Sentiment Analysis (Анализ настроений через текст)


image

Посмотрите полную реализацию проекта Data Science с использованием исходного кода — Sentiment Analysis Project в R.

Sentiment Analysis — это анализ слов для определения настроений и мнений, которые могут быть положительными или отрицательными. Это тип классификации, при котором классы могут быть двоичными (положительными и отрицательными) или множественными (счастливыми, злыми, грустными, противными ...). Мы реализуем этот Data Science проект на языке R и будем использовать набор данных в пакете «janeaustenR». Мы будем использовать словари общего назначения, такие как AFINN, bing и loughran, выполнять внутреннее соединение, и в конце мы создадим облако слов, чтобы отобразить результат.

Язык: R
Набор данных/Пакет: janeaustenR
Читать дальше →
Total votes 17: ↑16 and ↓1 +15
Comments 5

Цивилизация Пружин, 5/5

Reading time 10 min
Views 44K

Часть 5. В масштабе Вселенной


Предыдущая часть. Краткое содержание предыдущей части.

Для нас выход на околоземную орбиту очень дорог. А как обстоят дела с этим вопросом у других цивилизаций — если они, конечно, есть?


Читать дальше →
Total votes 206: ↑205 and ↓1 +204
Comments 234

Обширный обзор собеседований по Python. Советы и подсказки

Reading time 10 min
Views 180K

Всем привет!


Кратко о себе. По образованию я математик, а вот по профессии — программист. В сфере разработки с 2006 года. Хотя, поскольку программирование начали изучать ещё в школе, свои первые программки и игры я начал писать ещё в школе (примерно, с 2003). Так сложилось, что пришлось выучить и поработать на нескольких языках. Если не брать во внимание ВУЗ-овские лекции по С, С++, Бэйсику, Паскалю и Фортрану, то реально я работал с Delphi (более 6 лет), PHP (более 5 лет), Embedded (Atmel + PIC около 2.5 лет) и последним временем Python + чуть-чуть Scala. Конечно же без баз данных тоже никак не обойтись.


Для кого эта статья? Для всех, кто, как и я, хотел (или хочет) найти для себя достойную хорошо оплачиваемую работу с интересным проектом, классным коллективом и всякими плюшками. А также для тех, кто желает поднять свой уровень знаний и мастерства.

Читать дальше →
Total votes 71: ↑70 and ↓1 +69
Comments 57

Топ-10 фильмов про ИТ

Reading time 7 min
Views 170K
Привет, Хабр!

Летом в нашем ланитовском блоге мы делали подборку сериалов про ИТ (и хакеров), а теперь в преддверии Нового года пришло время полного метра. Такие «Топ-10 фильмов про ИТ» появляются примерно раз в год, и список там примерно один и тот же: «Хакеры» с Джоли, «Пароль «Рыба-меч» и «Матрица».

Кстати, о последней. При всем уважении к братьям сёстрам Вачовски и трилогии, мы таки не относили бы «Матрицу» к фильмам про айтишников или хакеров. То, что мистер Андерсон работает программистом, а вне работы немного хакерит, всё же не является сюжетной канвой фильма. Рискуем возобновить старый холивар, но «Матрица» — это таки киберпанк. Контраргументы приветствуются.

Так вот, про подборку. Мы решили предложить вам  фильмы посвежее. Под катом нет Джоли и знаменитой сцены из «Пароль „Рыба-меч“», но есть фильмы про ИТ, суперкомпьютеры, и информационную безопасность, большинство из которых выпущены в 2010–2018 годах.

Кадр из фильма «Апгрейд»
Total votes 111: ↑95 and ↓16 +79
Comments 186

Иллюзия пространства: как новый Spiderman рендерит помещения без геометрии

Reading time 5 min
Views 46K

В недавно выпущенной игре Marvel's Spider-Man во многих зданиях за окнами есть интерьеры. Они выглядят замечательно, но похоже, что их реализовали с помощью хитрого рендеринга — геометрии интерьеров на самом деле не существует и она сгенерирована шейдером. Я не видел никаких официальных заявлений Insomniac о том, как они это сделали, но исходя из того, как выглядит эффект, здесь с большой вероятностью реализована техника interior mapping, которую я придумал в 2007 году в процессе работы над диссертацией. Раньше я не писал о ней в блоге, поэтому сейчас подходящий момент для объяснения любопытного небольшого шейдера, который я придумал.

Давайте начнём с просмотра геймплея Marvel's Spider-Man. Игра выглядит просто потрясающе. Сайт Kotaku записал отдельный ролик, посвящённый окнам:


Как можно заметить примерно на 40 секунде видео, в самом деле комнаты не являются частью геометрии: там где очевидно должно быть окно, находится дверь. Кроме того, глядя в одну комнату с разных углов здания, мы видим разный интерьер. В некоторых случаях за углом здания даже находится стена. Всё это даёт нам понять, что комнаты имитируются. Тем не менее, с точки зрения перспективы они отображаются правильно и обладают реальной глубиной.
Total votes 90: ↑89 and ↓1 +88
Comments 38

Анимации в Android по полочкам (Часть 1. Базовые анимации)

Reading time 11 min
Views 93K
Всем привет!

Сегодня я хочу немного рассказать про анимацию в Android. Думаю для всех достаточно очевидный факт, что анимации могут украсить наше приложение. Но я считаю, что они могут намного больше. Первое это — хорошие анимации даже при скромной графике могут вывести наше приложение на абсолютно новый уровень. Второе — это дополнительный инструмент для общения с пользователем, позволяющий фокусировать внимание, подсказывать механики приложения, и многое другое… но это отдельная большая тема.

Сегодня мы поговорим об инструментах для создания анимации. К сожалению, так получилось, что в Android достаточно много способов что либо анимировать, и по началу в них очень легко запутаться. Я постараюсь привести максимально общую классификацию и оставлю ссылки исключительно на документацию, т.к. туториалов можно найти предостаточно. Надеюсь эта статья поможет уложить в голове всё по полочками и, при необходимости создать анимацию, выбрать наиболее подходящий способ.
Читать дальше →
Total votes 37: ↑36 and ↓1 +35
Comments 20

Information

Rating
Does not participate
Location
Hamburg, Hamburg, Германия
Date of birth
Registered
Activity

Specialization

Fullstack Developer, Database Architect
Senior