Pull to refresh
252
0
Семен Козлов @sim0nsays

Пользователь

Send message
Онлайн. На русском.
Ох. Ну хорошо, «обсуждаемые домены применения те же»
Он будет отличаться работой над ошибками, несколькими новыми темами, более детальным обзором современного состояния и, конечно, выступлений гостевых лекторов.

Но общая программа и темы те же.
Наоборот, в основном пишут как раз на Питоне, потому что хватает одного из предыдущих четырех пунктов.
Я специально со времен Dropbox фоточку про это сохранил
Крайне желателен, к сожалению или к счастью. Одним из заданий будет реализовать свою собственную нейтронную сеть и ее натренировать, то есть вычислить градиенты, написать код тренировки итд. Без матана и линейной алгебры будет тяжело.
Исторически сложилось, что весь современный deep learning на питоне, сейчас уже некуда деваться, все фреймворки написаны для него. Почему так сложилось — вопрос сложный, многогранный и без одного ответа. Думаю, потому что сошлись звезды популярности и в научной (у которой до этого был R и Matlab), и в инженерной среде (у которых Java, Ruby и что там еще). Вот Питон оказался таким разумным пересечением.

Мне он нравится, на самом деле. За скорость итерации.
Ай-ай, dlcourse.ai конечно же! Поправил, спасибо!
Спасибо за рассказ! А сохранились какие-то логи улучшения метрики по мере добавления методов? Особенно интересно сколько получилось на каждом виде стекинга выжать
Я бы тоже рад упомянть курсы на русском, я написал эти только потому что я про них знаю, что они хорошие.
Нужны:
— Линейная алгебра
— Начальная теория вероятности и статистика
— Матан, в том числе функции многих переменных

Посоветуйте хорошие русскоязычные курсы, я добавлю в пост.
Кстати, есть герои, которые просматривают видео и делают тайм-коды (спасибо им!) — так что до определенной степени можно будет.
Мне казалось, это как раз современный формат обучения, буквы уже никто не читает!
Если серьезно, то если кто-то осилит на основе этого собрать методичку текстом — было бы просто замечательно. Я не осилю :(
От Ng ждать придется довольно долго, поэтому я вот тут попытался —
Я не вижу прямой аналогии, если честно. Задачи решаются похожие, контекст конечно участвует, есть векторное представление, но методы очень разные.
Как это дискрминатор маппит входное изображение на 512 выходных картинок?
Отличная работа!
Вопрос по объяснениям, я не очень понял вот этот пассаж:
В нашем случае генератор мапит входное изображение не на один скаляр, как обычно, а на 512 выходных картинок (уменьшенного размера), по которым уже делается вывод «real or fake». Это можно интерпретировать как взвешенное голосование по 512 патчам входного изображения.

Генератор же выдает не скаляр, а картинку? И как это — выдавать 512 выходных картинок? Или это дискриминатор имеется вввиду? Почему он тогда картинку выдает? Поясните плз?
Пейстну из чатика:

sim0nsays
Так эта, есть же recurrence через ct все равно?
Как полностью распараллелить?

gsoul
Я так понимаю, что все остальное считают в параллель, а c_t последовательно, но это не сильно тормозит весь процесс

sim0nsays
Хм, то есть сначала backward pass по ct последовательно, а потом параллельно все остальные для каждого шага?

gsoual
Со скрина ниже формулы 3, 4, 5 можно считать параллельно, 6 и 7 - нельзя.

asobolev
совсем параллельно нельзя, вся рекуррентность тогда уйдёт. Но можно попробовать другие архитектуры, вроде Attention is all you need именно такая
Это в каком месте статьи конкретно? Я проглядел наискосок и не увидел

Information

Rating
Does not participate
Location
San Francisco, California, США
Works in
Date of birth
Registered
Activity