Comments 32
А как же модель Cronos v3 в Topaz VEAI? Она вроде только очень хорошо промежуточные кадры выдумывает?
Примерно вот так в топазе получается
Безусловно, Topaz Labs делают достаточно хорошие и качественные, на мой взгляд, вещи, однако VEAI — готовый программный продукт, который стоит 200 баксов, поэтому я не стал бы сравнивать "голый" алгоритм с этой программой. Хотя результат получился крутой, как мне кажется)
У Topaz-а нет универсальной сетки для планов с быстрым движением и для планов с медленным. У него две разные. Поэтому, чтобы получить наилучший результат, видео нужно нарезать по отдельным планам и интерполировать каждый отдельно в зависимости от того, какое движение в кадре — быстрое или медленное. Тогда можно приблизиться к результату RIFE.
Но тогда у Topaz всплывает вторая проблема — он почему-то очень часто теряет кадры. То есть на входе файл на 100 кадров, а на выходе их 98. Я когда последний раз что-то им интерполировал, мог с точностью до кадра найти, где всплыл этот баг: примерно на 90% хронометража один кадр фризился и повторялся несколько раз, а оригинальные терялись.
Учитывая, что видео желательно порезать по отдельным планам, мы получаем потерю пары кадров с каждого плана. Это либо рассинхрон аудио с видео, либо ручная работа по исправлению этого недоразумения. С получасового видео потерять 2 кадра в конце — фигня, можно плюнуть. А если у тебя 50 фрагментов и 50 раз пропущено по 2 кадра…
В общем оно того не стоит.
У RIFE больше артефактов, у Topaz-а больше размыливания.
Как раз хотел про нее написать
На мой взгляд, она интерполирует намного лучше чем RIFE и DAIN
Ну так может где-нибудь и результат ваших усилий завалялся ? Примеры уж очень скупые, хХотелось бы посмотреть полный вариант, исключительно в целях оценки качества работы современных нейросетей, конечно.
Первое, что я делаю на любом телевизоре, так это выключаю интерполяцию, потому что выглядит это ужасно, особенно в аниме.
На ваших примерах получилось неожиданно хорошо. Хотя GITS надо смотреть так, как сняли. Можно ещё вспомнить Акиру, где в некоторых сценах (например, в первой же мото-погоне) в одном кадре присутствовали элементы, движущиеся с разной частотой кадров - 12 и 24 FPS (второстепенные мотоциклисты и один из главных героев). Это в том числе и художественный приём, который, возможно, будет безвозвратно потерян при подобном увеличении частоты кадров.
Для домашнего просмотра GPU Tesla T4 может быть избыточна. RIFE v4, прикрученная к SVP, уже сейчас спокойно справляется в реал-тайме с большинством 24-30fps видео до 1080p, проверено на 3060 Ti.
Но статья-то рекламирует сервера с T4 а не потребительские видюхи.
Или вы думали что статья про нейронки, "продающие" кейворды разбросаны по ней чисто случайно а сотрудники селектела совершенно рандомно каждые пару дней сталкиваются с чисто бытовыми задачами которые отлично решаются продуктами компании?)
опачки, спасибо за информацию, надо попробовать.
А то в моём тесте SVP проиграл уплавнялке lg49nano866na. А теперь SVP наносит ответный удар.
RIFE > DAIN/TOPAZ > SVP > Optical Flow
Иначе в первом случае (чересстрочная развёртка) будет просто «ужОс-ужОс», во втором — очень дискомфортные подёргивания каждые пару секунд.
Проблема в том, что большинство мониторов не поддерживают никакой другой частоты обновления, кроме базовых 60 Гц, и сделать это на них физически невозможно. С телевизорами проще, обычно они поддерживают все нужные режимы.
Ну и т.к. каждый раз устанавливать нужный режим при просмотре может быть неудобно — желательно что бы плеер поддерживал эту возможность и сам переключал частоту обновления на нужную для этого видео в режиме «full screen».
Эта нехитрая процедура даёт наилучший результат, по сравнению со всеми испробованными мной методами «программной коррекции FPS». Да, аниме не станет выглядеть как «нативный 4k & 60fps», но это и не нужно, если оно интересное ))
Ещё лет 5-7 занимался подобными экспериментами по повышению частоты кадров видео — но тогда в целом результат был либо около нуля (нет эффекта), либо удаление одних артефактов привносило ещё больше других.
По этому прочитал статью с интересом: нейросети, диплёрнинг и всё такое, чем чёрт не шутит: вдруг «прорыв»?!
Нет, пока не случилось прорыва (((
На предложенных примерах как ни старался (честно) — не увидел разницы. Возможно причина в моём не самом новом мониторе 60 Гц, и на другом девайсе результат будет лучше, но… Для меня различие в тестовых отрывках на уровне самовнушения, проще говоря — не вижу разницы.
Пока смотрю хорошее видео на телевизоре, подключенном по HDMI к компьютеру(серверу) с автопереключением видеорежимов на «родной» для видео — и так выходит лучше всего.
На моем мониторе очень странно выглядит пример с Rick Astley, то ли глаза не воспринимают, то ли что-то не так с настройкой, как будто видео немного ускорено, но при этом песня не ускорена и все синхронизировано... монитор 60hz (wacom cintiq 22).
А так помню старая статья была как бороться с интерлейсом и на хабре и на всяких анимешных риперских сайтах типо: http://tp7.ruanime.org/IVTC/index.html (скрины не грузятся, но в статье о работе masktools http://tp7.ruanime.org/masktools/index.html даже скрины грузятся, эх столько лет прошло уже) да и тут на хабре куча статей была об IVTC.
Возможно, Вы смотрели примеры в 480p, а в данном качестве есть ограничение по частоте кадров. Попробуйте посмотреть в 720p.
А я игрался-игрался с разными вариантами подгонки экрана под видео и наоборот, но в конце концов задауншифтился к старому доброму madVR с галкой "smoot motion", хотя, в общем, можно и без галки. Артефакты в виде `1 frame repeat every 43.31 seconds` и `1 frame drop every 21.55 minutes` раздражают куда меньше, чем моргание при смене режимов телевизора
Я смотрю «по старинке»: загружаю видео (обычно заранее), готовлюсь к просмотру в удобное время, и смотрю без перерыва на телевизоре, подключенному к ПК. Так как к контенту привередлив — то смотрю только то, в чём уверен. Т.е. никакой «перемотки», досмотра по кусочкам за несколько дней и т.п. — нет. Только олдскул и хардкор, но без попкорна )
В этом сценарии совершенно не напрягает переключение режима один раз в начале видео, и один раз — в конце.
Если смотреть «краем глаза», тем более переключаясь с окна на фуллскрин — то тогда да: смена видеорежимов будет скорее мешать.
Вот так «человеческий фактор» определяет используемое техническое решение )))
Ну я вообще с джиттером боролся долго. Перешшупал, кажется, все варианты, до которых смог дотянуться. В конце концов, кажется, примерно понял, как это работает, поднастроил всякие там буферы-кодеки-оверлеи-тайминги (в MPC их хренова гора) и пришёл к выводу, что лично меня madVR без переключения частот устраивает чуть менее, чем полностью. Да и то, даже он часто избыточен. В принципе, чуть ли не единственный случай, когда вижу существенную пользу от его smooth motion - это 50-герцовые видосы из домашнего архива на 60-герцовом экране
В последнее время и вовсе обленился и гляжу, в основном, через встроенный плеер Kodi, где почти нет настроек видеовывода, и madVR не прикручивается. Переключение режимов и там есть, но, как говорил выше, не пользуюсь. Что мог, поставил на максимум и более-менее устраивает, как оно пашет без переключения
Но, разумеется, если захочется поглядеть какую-нибудь по-настоящему крутую киноху, то непременно переключу телек на киношную частоту, нахрен повыгоняю всех отвлекаторов, сяду поближе к экрану и буду смотреть, не отрываясь. Ибо замечено, что точные интервалы между кадрами и зыркание без отрывов таки значительно более способствуют вовлечению в зрелище, чем джиттер с паузами и перемотками. Только вот последний раз такое желание грабить корованы возникало года джва назад
В примерах что-то немного лучше стало, но не критично. Мне интересно посмотреть на покадровое сравнение или на кадры добавленные RIFE, то есть например 1 и 2 кадр оригинального видео и кадры которые добавили между ними.
Вообще замечал проблемы с низким FPS только в сценах где режиссер хотел по "операторски" сделать плавную проводку камеры. В полнометражных аниме вообще почти проблем нету, в сериалах да, бывают местами экономят на ключевых кадрах и раскадровке, потом что-то доделывают в Blu-Ray версиях.
Вообще меня больше напрягает значительная разница в BD vs TV (blu-ray vs broadcast):
Nisekoi вообще стало другим аниме после релиза Blu-ray
Shingeki no Kyojin (Attack on Titan) сильно перерисовали персонажей
/
Berserk (2016) тоже сильно перерисовали другие лица и эмоции
Tiger & Bunny вообще другие эмоции на лицах
Они не только добавляют "детали", "тени" и убирают цензуру, зачастую меняют композицию сцены, прически, мимику, форму лица, форму глаз, форму рта и освещение и как в том же Nisekoi вообще все задники убрали.
я так стар, что мой глаз более 24 кадров не воспринимает
12 кадров — особенность жанра. В динамических сценах ни одна нейронка не сделает хорошо. Идея в дорисовке движения мозгом. Интерполяция убивает оригинальные движения. Как итог, спокойно получаем вместо движения руки по кругу — движение треугольником. И если из трёх кадров мозг понимает, что имелся в виду круг, то после нейросети получается тупой компьютерный высер, не имеющий ничего общего с изначальным замыслом. Увы. Всё очень грустно. Автору статьи минус за издевательство над жанром.
Интерполяция убивает оригинальные движения. Как итог, спокойно получаем вместо движения руки по кругу — движение треугольником. И если из трёх кадров мозг понимает, что имелся в виду круг, то после нейросети получается тупой компьютерный высер
ИМХО это изза неправильного обучения (или обучения на неправильной интеполяции)
правильное обучение будет
1) правильно распознавать приемы анимации для передачи движения
2) правильно разбивать и правильно их интерполировать
(правильно - т.е. корректно в >95% случаев)
примеры приемов анимации
Вместо аниме стоило бы попробовать сделать подобное с классическими диснеевскими произведениями.
Скоро доживём и до того, что мангу и комиксы будут нейронками анимировать
Идея витает в воздухе. Причём, по мне, она на порядки лучше, чем так называемая колоризация
сразу по тексту веб\лайт новелл. Там даже можно будет использовать автора - пускай покажет примеры, которые он себе представлял (например), а нейронка скопирует стиль
RIFE по меркам нейронок уже тоже старичек. Уже давно (ладно, не так уж и давно, н
Увеличиваем FPS в аниме с помощью нейросети и GPU Tesla T4