Но почему свет сошёлся клином на одном лишь гугле? Есть масса других, не менее интересных компаний. Думаю, "ассорти" из гугла, фейсбука и амазона в резюме будет смотреться лучше, чем один лишь гугл, пусть и трижды повторённый. Besides, return offers из трёх разных мест упростят переговоры о зарплате.
Понимаю, фарш назад не прокрутишь. Могу лишь обратить внимание на впечатляющий опыт Юры Ребрика (Rebryk) из того же университета, который прошёл 3 стажировки в разных технологических гигантах back-to-back — ещё есть время повторить.
К слову, изобретение не ново и подобные вендоматы уже давно существуют в крупных западных технологических гигантах. Например, я в далёком 2016-м году видел (и пользовался) такими в калифорнийских офисах Гугла и Твиттера.
В Универ можно пойти как минимум для того, чтобы на стажировки в Google / Amazon / Apple / Facebook / Microsoft и т.д. ездить (за инфой смотри блог Ларисы). А это – весомая строчка в резюме, куча денег (>$10k за 3 месяца), глобальные связи, совершенно новый опыт и легко заводящийся трактор.
А если пойти в годный универ, то сильно повышается вероятность найти столь же мотивированных однокурсников – это будет основой твоей networking сети, полезной в будущем. Кроме того, в этих годных универах зачастую либо ещё и учат хорошо и чему-то полезному, либо всё ещё остались возможности для заинтересованных студентов, нужно лишь ими воспользоваться.
P.S. Сборы на военной кафедре лишают тебя возможности ещё раз съездить на стажировку, см. выше, сколько это стоит.
В его знаменитых «теоремах об отсутствии бесплатных обедов» он показал, что для любой закономерности, которой ученик хорошо обучается, существует закономерность, которой он будет обучаться ужасно.
Вот только с практической точки зрения это довольно бесполезный результат. Да, не существует алгоритма, который бы мог всегда "выучивать" закономерности, однако нужно ли нам это? Наш физический мир обладает некоторой структурой и "регулярные" закономерности встречаются чаще других, поэтому достаточно в первую очередь научиться обрабатывать закономерности таких типов, а остальные – по остаточному признаку. Существование обучающихся "машин" под названием "человеческий мозг" служит подтверждением жизнеспособности такого подхода.
Машины, быть может, и не достигнут абсолютного идеала, но пока нет оснований сомневаться в их способности превзойти человека в любой области (хотя бы потому что нет оснований считать разум человека невычислимым).
We introduced multiple discriminators into the GAN framework and explored discriminator roles
ranging from a formidable adversary to a forgiving teacher [...] Introducing multiple
generators is conceptually an obvious next step, however, we expect difficulties to arise from more
complex game dynamics. For this reason, game theory and game design will likely be important.
Ну, не знаю, насколько этот показатель репрезентативен. В прошлом году на MLSS школу в Испании был принят 141 студент из 461 заявок, и среди них были как магистры, так и даже бакалавры.
Аналогичных школ (в Штатах или в мире вообще) по нейробайесовским методам я не знаю.
В мире самыми крутыми школами (на мой взгляд) являются школы, проводимые при поддержке института Макса Планка и имеющие незамысловатое название Machine Learning Summer School series, но они проводятся по всему миру, и в Штаты попадают крайне редко (возможно, не в последнюю очередь из-за противной визовой политики).
вот никак не могу этого осознать. p(X|Z) — это число, оно ОДНО ЕДИНСТВЕННОЕ для всех пикселей X, потому что X — это один многомерный вектор, единый объект…
Да, и предположения модели таковы, что это число является произведением других чисел, по одному на каждый пиксель: p(X|Z) = ∏ᵢ p(xᵢ | Z). Каждое множимое должно быть бернуллиевским распределением, иначе бинарная кроссэнтропия не получится.
По Вашему выходит, что оно дает одинаковую вероятность быть равным 1 для каждого пикселя картинки, а это очень странно.
Нет, я такого не говорил. У каждого бернуллиевского распределения свой параметр, генерируемый нейросетью из семпла Z.
X = f(Z) + \epsilon
К сожалению, не всегда существует такое представление. Для бернуллиевских случайных величин, например, такой репараметризации не существует.
Может я и в самом деле чего-то не понимаю, но ведь элементы X не принимают только 2 значения — 0 и 1, у них 256 возможных значений, градаций серого… поэтому о каком распределении Бернулли идет речь, мне неясно
Всё так, но кроссэнтропия выводится из логарифма плотности Бернулли, т.е. p(X|Z) – набор бернуллиевских распределений, поэтому для корректности следовало бы бинаризовать входы, поэтому подставлять в лог-плотность небинарные величины не совсем корректно.
В формуле для нижней границы лог-правдоподобия (которая оптимизируется) входы энкодера вообще никак не фигурируют. Даже в качестве «таргетов» декодера
Декодер принимает на вход семплы Z из распределения, параметры которого генерируются энкодером.
покажите мне пожалуйста это место в коде, я его в упор не вижу.
В vae_loss считается выражение под мат. ожиданием с использованием decoded, полученному по семплу из кода, что даёт Монте Карло оценку (с помощью выборки размера 1) всего мат. ожидания.
А какого фигурирования распределения в коде Вы хотите? Распределение на случайную величину, принимающую два значения, задаётся одним числом от 0 до 1 – вероятностью первого исхода. VAE предполагает условную независимость наблюдений X при условии кода Z, поэтому для задания распределения p(X|Z) достаточно задать по одному числу на каждый пиксель в X.
в vae_loss должно, согласно теории, использоваться матожидание log P(X|Z) по сэмплам из Q(Z|X), которое должно вычисляться каким-нибудь методом Монте-Карло, а по факту используется бинарная кросс-энтропия
Бинарная кросс-энтропия и есть логарифм распределения Бернулли, и мат. ожидание по Z действительно берётся с помощью Монте Карло оценки.
Декодер здесь детерминирован в смысле детерминированной генерации параметров распределения p(x|z), на графиках, соответственно, не сами семплы, а распределение, из которого они приходят.
Правда, обучающая выборка не бинаризована (ну это происходит как-то неявно) и используется в сочетании с лог-лоссом, что не очень хорошо.
Обычный метод наименьших квадратов есть частный случай метода максимума правдоподобия для нормального распределения (соответственно, минимизация абсолютного отклонения (L1 ошибка) эквивалента ММП для распределения Лапласа).
Ну а здесь примерно так же, только мы берём мат. ожидание от правдоподобия p(X|Z) по скрытым переменным Z (надо же нам их откуда-то взять).
наиболее вероятное значение измеряемой величины под названием математическое ожидание (mean)
Мат. ожидание в общем случае не является наиболее вероятным значением. Рассмотрите, например, равномерную смесь двух нормальных распределений с единичной дисперсией и центрами в -10 и 10. Мат. ожидание равно нулю, но плотность в соответствующей точке крайне мала.
Например, одна из разработок этой компании, ранее входившей в состав Google, а теперь перешедшей под юрисдикцию Softbank
…
компании DeepMind, которая формировала эту выборку еще будучи подразделением Google
Что? Вы действительно думаете, гугл бы отдал кому-нибудь сильнейшую команду исследователей в эпоху ИИ бума? Гугл отдал Boston Dynamics, которая к DeepMind не имеет никакого отношения
Ничего удивительного, именно молодым, не обременённым детьми и ипотекой проще всего (и интереснее) уезжать (но некоторые возвращаются).
Что касается оставшихся, то раз они остались, имея при этом возможность устроиться в практически любую IT компанию мира, то вряд ли они спонтанно передумают теперь.
Про self-supervision недавно Дьяконов писал.
Но почему свет сошёлся клином на одном лишь гугле? Есть масса других, не менее интересных компаний. Думаю, "ассорти" из гугла, фейсбука и амазона в резюме будет смотреться лучше, чем один лишь гугл, пусть и трижды повторённый. Besides, return offers из трёх разных мест упростят переговоры о зарплате.
Понимаю, фарш назад не прокрутишь. Могу лишь обратить внимание на впечатляющий опыт Юры Ребрика (Rebryk) из того же университета, который прошёл 3 стажировки в разных технологических гигантах back-to-back — ещё есть время повторить.
К слову, изобретение не ново и подобные вендоматы уже давно существуют в крупных западных технологических гигантах. Например, я в далёком 2016-м году видел (и пользовался) такими в калифорнийских офисах Гугла и Твиттера.
Смотря для чего. Навык разговора компьютерные квесты прокачать не помогут.
В Универ можно пойти как минимум для того, чтобы на стажировки в Google / Amazon / Apple / Facebook / Microsoft и т.д. ездить (за инфой смотри блог Ларисы). А это – весомая строчка в резюме, куча денег (>$10k за 3 месяца), глобальные связи, совершенно новый опыт и легко заводящийся трактор.
А если пойти в годный универ, то сильно повышается вероятность найти столь же мотивированных однокурсников – это будет основой твоей networking сети, полезной в будущем. Кроме того, в этих годных универах зачастую либо ещё и учат хорошо и чему-то полезному, либо всё ещё остались возможности для заинтересованных студентов, нужно лишь ими воспользоваться.
P.S. Сборы на военной кафедре лишают тебя возможности ещё раз съездить на стажировку, см. выше, сколько это стоит.
Вот только с практической точки зрения это довольно бесполезный результат. Да, не существует алгоритма, который бы мог всегда "выучивать" закономерности, однако нужно ли нам это? Наш физический мир обладает некоторой структурой и "регулярные" закономерности встречаются чаще других, поэтому достаточно в первую очередь научиться обрабатывать закономерности таких типов, а остальные – по остаточному признаку. Существование обучающихся "машин" под названием "человеческий мозг" служит подтверждением жизнеспособности такого подхода.
Машины, быть может, и не достигнут абсолютного идеала, но пока нет оснований сомневаться в их способности превзойти человека в любой области (хотя бы потому что нет оснований считать разум человека невычислимым).
Несколько дискриминаторов различной сложности были рассмотрены в статье Generative Multi-Adversarial Networks
Ну, не знаю, насколько этот показатель репрезентативен. В прошлом году на MLSS школу в Испании был принят 141 студент из 461 заявок, и среди них были как магистры, так и даже бакалавры.
Аналогичных школ (в Штатах или в мире вообще) по нейробайесовским методам я не знаю.
В мире самыми крутыми школами (на мой взгляд) являются школы, проводимые при поддержке института Макса Планка и имеющие незамысловатое название Machine Learning Summer School series, но они проводятся по всему миру, и в Штаты попадают крайне редко (возможно, не в последнюю очередь из-за противной визовой политики).
В Европе вообще много подобных школ (Gaussian Process Summer Schools
, Lisbon Machine Learning School, International Summer School on Deep Learning 2017, Vision and Sports Summer School, Data Science Summer School, etc), а вот о школах в Штатах я особо не слышал. В прошлом году были MBC Symposium: Deep Learning
и Bay Area Deep Learning Summer School, в этом – Deep Reinforcement Learning Bootcamp, но о повторении первых не слышно, а последнее проводится впервые, но уже стоит каких-то космических денег. Simons Institute из Беркли иногда проводит интересные вокршопы, но, опять же, не всегда они про машинное обучение.
В Канаде, кстати, проводится самая крутая школа по Deep Learning – Deep Learning Summer School (а в этом году вместе с ней проводилась ещё и Reinforcement Learning Summer School)
Но все вышеперечисленные школы имеют несколько другую тематику, нежели наша.
Да, и предположения модели таковы, что это число является произведением других чисел, по одному на каждый пиксель: p(X|Z) = ∏ᵢ p(xᵢ | Z). Каждое множимое должно быть бернуллиевским распределением, иначе бинарная кроссэнтропия не получится.
Нет, я такого не говорил. У каждого бернуллиевского распределения свой параметр, генерируемый нейросетью из семпла Z.
К сожалению, не всегда существует такое представление. Для бернуллиевских случайных величин, например, такой репараметризации не существует.
Всё так, но кроссэнтропия выводится из логарифма плотности Бернулли, т.е. p(X|Z) – набор бернуллиевских распределений, поэтому для корректности следовало бы бинаризовать входы, поэтому подставлять в лог-плотность небинарные величины не совсем корректно.
Декодер принимает на вход семплы Z из распределения, параметры которого генерируются энкодером.
В vae_loss считается выражение под мат. ожиданием с использованием decoded, полученному по семплу из кода, что даёт Монте Карло оценку (с помощью выборки размера 1) всего мат. ожидания.
А какого фигурирования распределения в коде Вы хотите? Распределение на случайную величину, принимающую два значения, задаётся одним числом от 0 до 1 – вероятностью первого исхода. VAE предполагает условную независимость наблюдений X при условии кода Z, поэтому для задания распределения p(X|Z) достаточно задать по одному числу на каждый пиксель в X.
Бинарная кросс-энтропия и есть логарифм распределения Бернулли, и мат. ожидание по Z действительно берётся с помощью Монте Карло оценки.
Декодер здесь детерминирован в смысле детерминированной генерации параметров распределения p(x|z), на графиках, соответственно, не сами семплы, а распределение, из которого они приходят.
Правда, обучающая выборка не бинаризована (ну это происходит как-то неявно) и используется в сочетании с лог-лоссом, что не очень хорошо.
Обычный метод наименьших квадратов есть частный случай метода максимума правдоподобия для нормального распределения (соответственно, минимизация абсолютного отклонения (L1 ошибка) эквивалента ММП для распределения Лапласа).
Ну а здесь примерно так же, только мы берём мат. ожидание от правдоподобия p(X|Z) по скрытым переменным Z (надо же нам их откуда-то взять).
На самом деле можно (формула 6), но лучше от этого не становится.
И правда, я ошибся.
Мат. ожидание в общем случае не является наиболее вероятным значением. Рассмотрите, например, равномерную смесь двух нормальных распределений с единичной дисперсией и центрами в -10 и 10. Мат. ожидание равно нулю, но плотность в соответствующей точке крайне мала.
Так вы рисуете гистограмму апостериорного p(Z|X), а не маргинального p(Z). Для получения последнего нужно взять мат. ожидание первого по x_test.
Что? Вы действительно думаете, гугл бы отдал кому-нибудь сильнейшую команду исследователей в эпоху ИИ бума? Гугл отдал Boston Dynamics, которая к DeepMind не имеет никакого отношения
Ничего удивительного, именно молодым, не обременённым детьми и ипотекой проще всего (и интереснее) уезжать (но некоторые возвращаются).
Что касается оставшихся, то раз они остались, имея при этом возможность устроиться в практически любую IT компанию мира, то вряд ли они спонтанно передумают теперь.