Comments 25
Мало того что кодек с потерей данных, так еще и крутить нейросеть предлагают на клиентских ПК. Кажись смысла в такой технологии совсем мало. Даже если представить, что ТВ стали настолько мощными, что бы нейросеть IPTV поток дорисовывала, то назревает вопрос - а что это такое за светлое будущие, где чипы для терминаторов есть, а нормального канала связи нет.
Не обязательно с потерей, может быть и с приобретением чего-то нового, например шести пальцев.
Ну почему, зависит от размера этой сети и насколько хорош движок по ее обсчету.
А вот то, что они предлагают использовть эту сеть в видеонаблюдении, при учете того, что во время восстановления видео сеть явно будет часть деталей "придумывать", это несколько кажется странным как минимум...
Если нейросеть только в энкодере, а декодер этого не требует, то смысл есть. Так как сжатие видео по идее должно проходить на серверах, где ресурсы с доступом к нейросети можно обеспечить. А вот проигрывание должно проводиться бы на любом маломощном пользовательском компе. Для всяких стриминговых сервисов самое то.
Имхо, другое критично. Алгоритм патентованый, с применением в свободном ПО могут возникнуть проблемы. А если еще и исходники будут закрыты, то точно нафиг.
видеонаблюдении
А сможет ли такая видеозапись, в которой нейросеть дорисовала что-то свое, считаться юридически достоверной?
Например, попало на такую видеозапись ограбление. А нейросеть в такой видеозаписи дорисовала лицо грабителя Васи Пупкина, который в это время сидел дома и играл в любимые игры. И придется ему в суде доказывать что он не слон?
Насколько я знаю, сейчас видеозаписи к косвенным уликам какое как приравниваются. Т.е. даже обычные записи не являются юридически значимыми, и как бы "юридически достоверно" - довольно странное словосочетание. Существует понятие презумпции, но тут и без экспертизы понятно (нам, а не судье, конечно), что оно уже явно нарушено.
По описанию выглядит как то, что они жмут в разрешение поменьше, убирают каждый второй кадр (если по тупому), или самый "невесомый" промежуточный (если чуть умнее), кодируют классически. На выходе декодируют, делают апскейл+фрейм ген. Результаты работы апскейла и фрейм гена можно прямо сейчас посмотреть на видеокартах nvidia, там никаких превращений из Васи в Петю не наблюдается даже очень отдалённо.
Допустим. И все же проблема в целом остается: обычные кодеки довольно детерминалистичны, список их артефактов сжатия изучен и воспроизводим. А значит по видео хоть как-то можно понять, где артефакты сжатия, а где дорисованное видео и хоть что-то этим можно доказать (что видео не было дорисовано, а было снято через камеру). При переходе на ML, думаю, мы получим десятки разных версий сети/кодека (а может и сотни/тысячи, если что-то можно будет дообучать), что крайне затрудняет воспроизводимость артефактов и подтверждение достоверности видео - оно именно что дорисовано и это "by design".
Эта проблема решается до невозможности просто: не используйте нейросети там, где сложно будет доказать, что "вот это так и было", а "вот это дорисовалось". Но для кинца того же хуже явно не станет, если неразличимые на глаз с дивана отличия между такой картинкой и обычной начнут занимать меньше места.
Ресмотрибельность фильмов с этим подходом будет повышена видимо)
Уже давненько делают апскейл фильмов с использованием ML. И многие фильмы, которые изначально были доступны только в DVD-формате, действительно смотрятся по-новому.
Самая максимальная степень сжатия картинок и видео - это словесное описание всех объектов и деталей на них. Начиная от самых важных, до незначительных. Степень потерь будет (обратно) коррелировать с количеством и полнотой описанных объектов. Можно сильно "сжать" увиденное, описав только самые значимые объекты. Либо приблизить к оригиналу, добавив детали.
Куда идти за патентом?
который позволяет увеличивать фактор сжатия видео примерно на 40% раз в 10 лет
40% раз в 10 лет? Вот это сжатие...
Да, все как в заезженном мемчике
По началу оно может так и было, переход с mpeg на xvid дал ощутимый прирост качества картинки на размер файла. А вот после x264(65) такой рост уже невозможен. Повторяется история с ЦП, когда из года в год ощутима росла производительность, а теперь 5% в год уже достижение. Приближаемся к технологическому пределу для существующих технологий.
А что за странный фокус - сделать патент и это же сделать национальным стандартом? Это вообще как? Чтобы весь рынок зависел от 1 коммерческой фирмы и она левой пяткой могла аннулировать лицензии и отключать целые видеосервисы за день?
По-моему, патент и стандарт - чуть ли не противоположные понятия. Один про закрытось и запрещение, а другой про открытость, общепризнанность и принуждение это использовать.
ML-кодек VideoMost для суперсжатия видео получил патенты в РФ и в США