Замечу, что все эти LLM (трансформеры) - частный случай весьма обширного семейства графовых нейронок, конкретно - Graph Attention Networks (GAT).
Осилил cs224w - молодец.
А вот с эссе и терминологией есть куда развиваться. Autoregressive Models и подход Self-supervised Learning легко обозвать самообучающимися. ИМХО, порог входа в область и так достаточно высок, чтобы пинать за стиль изложения :]
ИМХО, отображение дат работы над задачей здорово облегчает работу с диаграммой Гантта. Было дело, в кабинете проектной группы всю стену занимал распечатанный план проекта и роль ориентира на текущую дату выполнял грузик, подвешенный на толстой красной нити, закреплённый на скрепке
Пожалуй, начинать рассказ о современной психометрике в общем и деятельности Cambridge Analytica в частности без упоминания Михала Косинского как-то не очень прилично после публикации в Wired и последующего разбора полётов :]
Спасибо, порадовали, обстоятельно! Пожалуй, стоит проверить некоррелированность последовательностей в пространствах высших порядков, т.к. ЛКГ стремится распологать точки на гиперплоскостях (см. теорема Марсальи) - https://www.pnas.org/content/61/1/25
В оправдание авторов картинки, позаимствованной из Википедии, замечу, что это схематическое отображение зависимости и надпись «Рост..» вполне допустимо трактовать как направление оси. Насчёт того, что визуализации должны быть однозначными Вы правы
Не вижу противоречий (см. закон убывающей отдачи). Прогресс свыше определённого уровня достижений стоит всё дороже. Пример — для того, чтобы Bugatti Veyron Super Sport смог развить максимальную скорость на 8 км/ч быстрее обычного Bugatti Veyron — потребовалось увеличить мощность на 200 л.с.
Что поделать — графы остаются экзотикой, всем желающим закопаться — рекомендую общедоступные материалы хардкорного CS224W — web.stanford.edu/class/cs224w
Данный вариант свёртки достаточно хорошо справляется с задачей изоморфизма — достаточно просуммировать вектора свойств вершин и мы получаем некое приближение WL-теста (а если операцию проводить в режиме обучения с учителем и подгонять веса сети под исторические данные, то в перспективе — получим идентичную оценку). Только нужно помнить, что сам тест валится на регулярных графах. Если же эти самые вектора усреднить, то мы получаем достаточно качественную оценку проведённой редукции. Как её лучше выполнять — не подскажу (не решал ещё эту задачу), но мысль буду думать. Вот ещё слайды лекции об ограничениях графовых сеток из того самого курса.
Позапускайте блокнотик — там как раз ванильная реализация описанных методов позволяет делать какие-то выводы о подобии городов и регионов на основании результатов свёртки транспортной сети :]
На вокзале велосипед как на фото предлагают за 10 евро в сутки — такие же цены и в Пенише. По сравнению с автомобилем в качестве локального транспорта между раскиданными по берегу точками получается экономически бессмысленно, но экологически — очень ответственно
Замечу, что все эти LLM (трансформеры) - частный случай весьма обширного семейства графовых нейронок, конкретно - Graph Attention Networks (GAT).
Осилил cs224w - молодец.
А вот с эссе и терминологией есть куда развиваться. Autoregressive Models и подход Self-supervised Learning легко обозвать самообучающимися. ИМХО, порог входа в область и так достаточно высок, чтобы пинать за стиль изложения :]
ИМХО, отображение дат работы над задачей здорово облегчает работу с диаграммой Гантта. Было дело, в кабинете проектной группы всю стену занимал распечатанный план проекта и роль ориентира на текущую дату выполнял грузик, подвешенный на толстой красной нити, закреплённый на скрепке
Пожалуй, начинать рассказ о современной психометрике в общем и деятельности Cambridge Analytica в частности без упоминания Михала Косинского как-то не очень прилично после публикации в Wired и последующего разбора полётов :]
Спасибо, порадовали, обстоятельно! Пожалуй, стоит проверить некоррелированность последовательностей в пространствах высших порядков, т.к. ЛКГ стремится распологать точки на гиперплоскостях (см. теорема Марсальи) - https://www.pnas.org/content/61/1/25
по просьбам трудящихсядля хакатона HackCOVID19 снял видео с решением этого самого примера —Данный вариант свёртки достаточно хорошо справляется с задачей изоморфизма — достаточно просуммировать вектора свойств вершин и мы получаем некое приближение WL-теста (а если операцию проводить в режиме обучения с учителем и подгонять веса сети под исторические данные, то в перспективе — получим идентичную оценку). Только нужно помнить, что сам тест валится на регулярных графах. Если же эти самые вектора усреднить, то мы получаем достаточно качественную оценку проведённой редукции. Как её лучше выполнять — не подскажу (не решал ещё эту задачу), но мысль буду думать. Вот ещё слайды лекции об ограничениях графовых сеток из того самого курса.
Позапускайте блокнотик — там как раз ванильная реализация описанных методов позволяет делать какие-то выводы о подобии городов и регионов на основании результатов свёртки транспортной сети :]