Pull to refresh
176
21.8
Send message

Полное руководство по модулю asyncio в Python. Часть 3

Reading time 11 min
Views 23K

Сегодня публикуем третью часть (первая, вторая) перевода учебного руководства по модулю asyncio в Python. Здесь представлены разделы оригинала №5, 6 и 7.

Читать далее
Total votes 23: ↑23 and ↓0 +23
Comments 0

Автофокус — планирование задач для тех, кому сложно

Reading time 3 min
Views 9.4K

Привет! Сегодня я пришел с очередным планировщиком задач. Если уже нашли идеальный для себя инструмент, то можете смело пропускать. Если нет, то попытайте счастья с Автофокусом. Сперва расскажу о методе, а потом — про инструмент.

Читать далее
Total votes 15: ↑13 and ↓2 +11
Comments 15

Алгоритм FSDP: ускорение обучения ИИ-моделей и сокращение количества GPU

Reading time 10 min
Views 3.3K

Прим. Wunder Fund: В статье описан относительно новый подход к ускорению обучения больших моделей. Сами мы его не применяем, но над скоростью обучения моделей работаем постоянно, и если вам интересна эта тема, будем рады с вами пообщаться)

Обучение крупномасштабных ИИ-моделей — это не так уж и просто. Помимо того, что для этого нужны серьёзные вычислительные мощности и ресурсы, задачи обучения очень больших моделей сопряжены с немалыми технологическими сложностями. Мы, в команде Facebook AI Research (FAIR), работаем над созданием инструментов и инфраструктурных решений, нацеленных на упрощение обучения больших моделей. Среди наших недавних проектов в этой области можно отметить модели с внутрислойным параллелизмоммодели с конвейерным параллелизмоммодели с шардингом состояния оптимизатора и данных, относящихся к вычислению градиентаархитектуру «смесь экспертов». Всё это — лишь часть нашей работы, направленной на то, чтобы сделать более эффективным обучение продвинутых ИИ-моделей для любого количества задач.

Читать далее
Total votes 17: ↑17 and ↓0 +17
Comments 0

Перплексия в языковых моделях

Reading time 10 min
Views 16K

В этом материале я хочу сделать подробный обзор такого понятия, как «перплексия» («коэффициент неопределённости»), так как оно применяется в обработке текстов на естественном языке (Natural Language Processing, NLP). Я расскажу о двух подходах, которые обычно используются для определения этого понятия, и о тех идеях, которые лежат в основе этих подходов.

Читать далее
Total votes 27: ↑27 and ↓0 +27
Comments 3

Information

Rating
252-nd
Works in
Registered
Activity