Pull to refresh
41
0.3
Иван @IvaYan

Интересующийся

Send message

Архитектура современных приложений на основе LLM

Level of difficulty Medium
Reading time 11 min
Views 6.2K

В этом посте мы рассмотрим пять наиболее важных этапов, который нужно пройти при разработке собственного приложения на основе LLM, формирующиеся общепринятые подходе к разработке таких приложений и предметные области, на которые стоит обратить внимание.

Читать далее
Total votes 4: ↑4 and ↓0 +4
Comments 1

Распределённое обучение с PyTorch на кластере для тех, кто спешит

Level of difficulty Medium
Reading time 14 min
Views 3.7K

Глубокие модели становятся всё больше и всё реже помещаются на один компьютер. Это перевод поста в блоге Lambda Labs, компании, специализирующейса на инфраструктуре для глубого обучения. В этом посте нам расскажут как организовать распределенное обучение модели PyTorch на нескольких вычислительных узлах.

В качестве инструмента для запуска задач рассматриваются torchrun и MPI.

Читать далее
Total votes 6: ↑6 and ↓0 +6
Comments 3

Тематическое моделирование антивакцинаторских сообществ в Telegram

Reading time 17 min
Views 3.3K

А помните, был такой коронавирус? Затронул он в том или ином виде практически всех: кто-то болел, кто-то вакцинировался, а кто-то с вакцинацией боролся. Вот о последних и пойдёт речь. Надо помнить, что антивакцинаторы — явление не новое, появились они задолго до коронавируса и боролись они как с конкретными вакцинами, так и с вакцинацией как явлением. Думаю, можно смело сказать, что существуют они столько же, сколько и вакцины. Но можно с уверенностью сказать, что наибольшее внимание они привлекли как раз во время пандемии COVID-19. Впрочем в этот раз они боролись не только с вакцинами, но и с ограничительными мерами, социальной дистанцией и QR-кодами. Их даже называли одной из главных проблем здравоохранения! Антивакцинаторы объединялись в сообщества в социальных сетях, делились мнением и координировали свои действия. Пожалуй, самым активным сообществом антивакцинаторов может похвастаться Telegram. Вот на эти сообщества и посмотрим: этот пост посвящён тематическому моделированию антивакцинаторских каналов в Telegram, мы рассчитываем понять, что именно они обсуждают.

Читать далее
Total votes 19: ↑13 and ↓6 +7
Comments 5

Стек, который позволил Medium обеспечить чтение на 2.6 тысячелетия

Reading time 10 min
Views 22K

Предлагаю общественности мой перевод статьи Dan Pupius'а об архитектура сервиса Medium и используемых технологиях. Хочу особо отметить, что статья является переводом, поэтому местоимение "я", используемое в тексте далее относится к автору оригинального текста, а не к переводчику.


Фон


Medium это сеть. Это место, где обмениваются историями и идеями, которые важны — место, где вы развиваетесь, и где люди провели 1.4 миллиарда минут — 2.6 тысячелетия.


У нас более 25 миллионов уникальных читателей в месяц, и каждую неделю публикуются десятки тысяч постов. Но мы хотим, чтобы на Medium мерилом успеха было не количество просмотров, а точки зрения. Чтобы значение имело качество идеи, а не квалификация автора. Чтобы Medium был местом, где обсуждения развивают идеи, а слова по-прежнему важны.


Я руковожу инженерной командой. Раньше я работал инженером в Google, где я работал над Google+ и Gmail, а также был одним из со-основателей проекта Closure. В прошлой жизни я гонял на сноуборде, прыгал из самолёта и жил в джунглях.

Читать дальше →
Total votes 47: ↑45 and ↓2 +43
Comments 17

Архитектура WhatsApp, которую Facebook купил за $19 миллиардов

Reading time 20 min
Views 87K

В очередной раз хочу предложить свой перевод статьи, на этот раз автор Тодд Хофф, и его статья посвященна архитектуре WhatsApp на момент его покупки Facebook.


Ремарка: в начале статьи содержится рассуждение автора оригинала о том, зачем Facebook купил WhatsApp за баснословные 19 миллиардов. Если это вам не интересно — просто пролистайте, описание архитектуры будет ниже.


Рик Рид в его предстоящем мартовском докладе, озаглавленном "Миллиард с большой 'М': Следующий уровень масштабирования в WhatsApp" раскрывает сногсшибательную статистику WhatsApp:


Что имеет сотни узлов, тысячи ядер, сотни терабайт RAM и надеется обслужить миллиарды смартфонов, которые вскоре станут реальностью по всему миру? Основанная на Erlang и FreeBSD архитектура WhatsApp. Мы столкнулись со многими трудностями при удовлетворении постоянно растущего спроса на наш сервис обмена сообщениями, но мы продолжаем расширять нашу систему с точки зрения размера (> 8000 ядер) и с точки зрения скорости (>70М сообщений Erlang в секунду).
Читать дальше →
Total votes 66: ↑62 and ↓4 +58
Comments 58

Что иметь в виду при переписывании программного обеспечения

Reading time 3 min
Views 13K

При разработке каких-либо продуктов у команды зачастую возникает желание перестать бороться с текущим состоянием проекта и переписать всё снова, на этот раз "правильно" и "по науке". Обычно такие порывы не одобряются, но в этот раз я бы хотел предложить к прочтению перевод поста Hugo Baraúna, посвященного тому, какие вопросы нужно задать себе, если всё же решили переписывать.


Также, как и большой рефакторинг, переписывание продукта — непростая штука. За много лет мы приобрели достаточно опыта, чтобы указать, что вам следует обдумать, планируя и осуществляя процесс переписывания.


Будут ли обе платформы существовать одновременно, или нет?

Читать дальше →
Total votes 20: ↑18 and ↓2 +16
Comments 7

Открыть исходники (почти) всего

Reading time 5 min
Views 18K
На этот раз я бы хотел предложить к прочтению [вольный] перевод статьи Тома Престон-Вернера, одного из сооснователей GitHub, в которой он рассуждает о том, какие выгоды компания может извлечь из открытия своих проектов, какие проекты открывать не стоит и какова Единственно Правильная Лицензия. Хочу также отметить, что мнение переводчика не всегда совпадает с мнением автора оригинала. Ссылка на оригинал, как всегда, под текстом перевода.

Когда Крис и я начинали работу над GitHub в конце 2007, мы разделили работу на две части. Крис работал над Rail-приложением, а я работал над Grit, первым в истории адаптером Git для Ruby. После шести месяцев разработки, Grit стал достаточно законченным, чтобы обслуживать GitHub во время нашего публичного запуска сайта и мы встали перед интересным вопросом:

Стоит ли нам открыть исходники Grit или оставить его проприетарным?

Читать дальше →
Total votes 24: ↑24 and ↓0 +24
Comments 10

Архитектура браузерного движка Servo

Reading time 8 min
Views 12K
От переводчика. Позвольте представить на суд хабрасообщества перевод части документации о браузерном движке Servo. Этот движок разрабатывается сообществом Mozilla на языке Rust, и является, пожалуй, самым большим активным проектом на этом языке. В этом документе рассказывается об архитектуре движка, как разработчики используют Rust совместно с C++ и с какими трудностями они столкнулись при разработке. Оригинал доступен в wiki проекта на github.

Это очень поверхностный обзор архитектуры Servo. Servo остаётся прототипом, и некоторые части архитектуры ещё не представлены в виде кода. Некоторые важные аспекты системы ещё не были подробно рассмотрены.

Обзор и цели



Читать дальше →
Total votes 39: ↑39 and ↓0 +39
Comments 8

Information

Rating
1,819-th
Location
Lisboa, Lisboa, Португалия
Registered
Activity