Цифровой износ — старое явление на новый лад



    Четверть века назад цифровые технологии пришли к простым потребителям. До того момента у нас, простых потребителей, были бумажные книги, виниловые пластинки, магнитофонные ленты и кино-фотоплёнка. Все это богатство изнашивалось при использовании, искажалось при копировании и попросту портилось от времени при хранении. Конечно же, по хорошему, нужно было иметь негативы и мастер-ленты для хранения и первые копии для использования, но конечные потребители мало следовали этим правилам.

    И когда к нам пришли персональные компьютеры с цифровыми технологиями, это было чудом — книги, фотографии, песни и фильмы, всё это не портилось ни при хранении, ни при воспроизведении, ни при копировании. На горизонте появилась цифровая вечность. Появилась, помахала ручкой и пропала.

    О том, что цифровые технологии победили, но у победы оказался странный вкус, можно говорить долго. Сейчас я затрону только вопрос фотографий.

    Зачем это всё


    В течении последних 14 лет я изучаю историю техники. В этом своём занятии я использую не только архивные документы и бумажные книги, но так же и цифровые документы. Это сканы и фотографии с личных страничек, местных интернет-форумов, сайтов библиотек и газет, и даже с сайтов-помоек со «смешными картинками» (куда грузится всё что не попадя).

    Для работы с этим контентным адом, мне пришлось выработать рефлексы, разработать методики, а так же формализовать и описать возникающие у меня на пути проблемы.

    Потому, что если проблема описана и хорошо задокументирована, то это уже не проблема, а просто особенность работы.

    Явление героя


    Явление, о котором я хочу поговорить, широко известно и много обсуждается, но, как это ни странно, не имеет устоявшегося названия и чётко очерченых границ.

    Это точно не «деградации данных» (data degradation) — она является следствием случайных технических сбоев при хранении. И это явление не тождественно «дефекту поколений» (generation loss) — он иллюстрирует некоторые технические аспекты процесса, но не описывает и не объясняет организационную сторону проблемы.

    Поэтому, я придумал термин «цифровой износ» (ещё раз проверил, прямо перед публикацией — ни Гугл, ни Яндекс этого словосочетания не находят). В данном случае, под «износом» я понимаю тоже самое что и в случае с износом в физическом мире — потеря потребительских свойств в процессе эксплуатации. И, как и в случае с техникой, цифровой износ зависит от условий и режимов эксплуатации. Спокойная езда автомобиля по ровной дороге приводит к одному уровню износа, гоняние по колдобинам, да ещё с перегрузом — к другому.

    Цифровой износ в начале цифровой революции


    Как я уже говорил, в начале цифровой революции, цифровые фотографии были перспективней аналоговых — они не выцветали и не искажались при копировании. Однако, очень быстро оказалось, что цифровые фотографии лишь в теории могут вечно сохраняться и копироваться без ущерба для качества. А всё из-за них — условий эксплуатации.

    А условия тогда были очень жёсткими.

    Диски имели маленький объём, а доступ в интернет — маленькую скорость. К тому же, и то и другое было ыдорогим. Это было суровое время. Мы выживали как могли.

    Мы уменьшали картинки в размерах



    Мы экспериментировали с форматами



    И всё равно, это не помогало. Потому как наши почтовые ящики были мизерными, а наши сайты имели меньше места чем требует хранение одного raw-файл современного цифрового фотоаппарата.
    — 10 Мб дискового пространства (без учета log-файлов),
    — использование любого домена,
    — предустановленные CGI-скрипты,
    — 1 реальный почтовый ящик,
    — виртуальный почтовый сервер на Вашем домене с неограниченным числом EMail
    адресов,
    — доступ и обновление по FTP,
    — статистика доступа к серверу.

    1.3.1 Установка виртуального сервера… бесплатно
    1.3.2 Ежемесячная плата...........................7 у.е./мес
    при единовременной оплате 6 месяцев...............40 у.е.
    при единовременной оплате 1 год...................70 у.е.
    1.3.3 Дополнительное дисковое пространство........1 у.е./мес за каждые 10 Мб

    (реальный тарифный план на хостинг из 2002 года, и у.е. и зарплаты тогда были не то что сейчас)

    Экономическая и организационная реальность интернета была такой жёсткой, что теоретически неповреждаемые_при_копировании картинки, в реальности, убивались в хлам при их эксплуатации.

    Мир после цифровой победы


    И вот, прошли десятилетия, интернет стал широким, диски — огромными, и стоит всё это сущие копейки. Сейчас нет нужды экономить байты, а большинство людей даже не задумывается над такими вопросами. Люди просто фотографируют и сразу же заливают фотографию в интернет, без какого-либо редактирования.

    Казалось бы, наступило то самое цифровое будущее, в котором картинки живут вечно и не искажаются в процессе их копирования.

    Увы, но нет.

    Самыми распространёнными вариантами использования картинок в интернет, в настоящее время, являются:

    • заливка в социальную сеть
    • заливка на фотохостинг
    • заливка на интернет-форум
    • пересылка в мессенджере
    • заливка на собственный сайт

    (варианты указаны в произвольном порядке)

    И ни один из этих вариантов, включая заливку на собственный веб-сайт, не является гарантированно неискажающим.

    Оказалось, что одновременно с ростом размеров диском и квот хостингов, выросло и количество цифровых картинок. И процесс борьбы за каждый байт, на самом деле, не исчез, а переместился с вашего компьютера на сервера интернет-сервисов. И в дело идут всё те же две операции — изменение размера картинки и игра её форматом.

    И вот вам простая, но очень наглядная иллюстрация.

    Я взял на Википедии файл с изображением известной картины вырезал из ней кусок под пропорции «4 на 3», изменил размер до 2000 пикселей в ширину и сохранил в jpg-файл размером 804 килобайта.



    С данной картинкой я сделал то, что делают большинство пользователей интернета — залил в соцсеть (в данном случае, Facebook).

    А потом скачал и получил jpg-файл размером 602 килобайта, при тех же 2000 пикселей ширины и 1500 пикселей высоты.



    Вы, конечно же, скажете что знаете про то что бывает когда используют формат jpg, что это тот самый «дефект поколений» (generation loss) и что невооружённым взглядом разницу между картинками заметить невозможно.

    Ну так я вооружился и с помощью графического редакторы получил «разницу» между картинками (PaintShop Pro в этом случае делает вычитание цветов по каждому цвету и берёт модуль). В результате, я получил картинку, которую невозможно отличить от сплошной чёрной заливки.

    Но только неворужённым взглядом. Вооружённый же взгляд сказал, что в картинке более 9 тысяч цветов. Более 9 тысяч оттенков серого, визуально неотличимых от чёрного. Всего 9 тысяч, на картинку размером в 3 миллиона пикселей. Казалось бы, беспокоиться не о чем — искажения минимальны.

    Вот этот момент я решил узнать у скольких пикселей цвет точно совпал, и для этого заменил чистый чёрный цвет (#000000) на чистый белый (#FFFFFF). Результат вы уже видели в начале этой статьи — белых пикселей очень мало. Написанный мной скрипт подсчитал число пикселей в исходной картинке, цвет которых точно совпадает с соответствующими пикселями на картинке прошедшей Facebook.

    Их оказалось ровно 37385, то есть — 1.2% от общего числа пикселей.

    98.8% пикселей оказались искажены в результате одной лишь итерации «закачать в соцсеть».

    Новое слово на букву «И»


    Тут вы спросите, чем же меня не устроил существующий термин «дефект поколений» (generation loss).

    А не устроил он меня тем, что описывает лишь один технический аспект (условно говоря, аналог «истирания» в механике), но не указывает на всё явление целиком.

    А явление это состоит в том, что дефолтным методом использования картинок в интернете, в настоящее время, является отправка их в сервисы, которые совершают над ними действия ведущие к искажению.

    И это не только повторное сжатие, это ещё и изменение размера (например, как у мессенджера Facebook), и даже наложение логотипа (как у многих интернет-форумов, блогоплатформ и вебсайтов).

    При этом, пользователи интернета мало заботятся о том, чтобы найти как можно более качественный вариант (в идеале — оригинал), а просто повторно используют первые попавшие им в соцсетях и поисковиках картинки. Картинки, которые раз за разом проходят процедуру пережатия, уменьшения или увеличения пиксельного размера, а также многократного наложения логотипов.

    Для массового потребителя, на первое место выходит сам факт переотправки картинки и быстрота, с которой он осуществлён, а вопрос качества им просто игнорируется.

    То есть, имеют место быть изменения, которые появляются не по причине наличия у пользователя такого желания, а просто в результате жизненного цикла цифрового изображения. И, учитывая технологическую и социальную реальность современного интернета, эти изменения вносятся неизбежно и прогнозируемо.

    Именно поэтому я называю это явление «цифровым износом» — оно возникает в результате эксплуатации.

    * * *

    Конечно же, существуют профессионалы и технические решения, которые позволяют хранить и передавать файлы без искажений. Надо просто использовать специально настроенные компьютеры и протоколы передачи файлов.

    А, с другой стороны, если иметь правильно оборудованное помещение и аккуратно обращаться с бумажными носителями, то их можно хранить и использовать очень долго и практически без потерь.

    Я не хочу сказать, что не изменилось совсем ничего. Конечно же изменилось и, особенно, для профессионалов. При правильной эксплуатации, цифровые объекты действительно можно считать вечными, в то время как аналоговые подвержены разрушению, даже при самом идеальном хранении.

    Но тот режим эксплуатации цифровых объектов, который использует массовый потребитель в условиях современных интернет сервисов, сходен с тем режимом эксплуатации который массовый потребитель применял к тем же магнитофонным записям и фотографиям.

    И такой режим ведёт к возникновению «цифрового износа», который хоть и не является полным аналогом механического износа, но играет ту же роль в жизненном цикле цифровых объектов, которую механический износ играет в жизненном цикле объектов материальных.

    И что теперь? (послесловие)


    Основной целью создания концепции «цифрового износа» является не запугивание читателей или стенания «мы все умрём», а выработка рефлексов и методов для жизни и деятельности в условиях существования этого явления.

    И понимание того, как и по каким законам цифровые объекты живут и распространяются в интернете, уже не раз позволяло мне найти менее изношенную версию заинтересовавшей меня картинки.
    Ищете ли Вы более качественную версию картинки перед тем как запостить в соцсети?

    Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама
    Комментарии 31
    • 0

      Проверил — картинки которые я загрузил на habrastorage.org не подвергались ни ресайзу, ни пережатию.


      Отлично!

      • +1
        Помнится, flickr вроде предлагает или предлагал хостинг без ресайзов-пережатий.
        • 0

          Проверил — да, цвет во всех пикселях совпадает.


          Но это я полез и скачал оригинал, а кто-то другой может скачать не оригинал, а изображение другого размера (например если оно было расшарено на каком-то сайте, или в соцсети).


          И в этом случае, будет существовать оригинал, но он будет где-то там.


          А в обороте будет тот самый уменьшенный вариант.

      • +3
        И ни один из этих вариантов, включая заливку на собственный веб-сайт, не является гарантированно неискажающим.
        Я бы все же назвал это деградацией. Только не понял, почему свой сайт может исказить? Если по фтп заливать, а не через какую-то вебморду со скриптом оптимизации, разумеется.
        А у жпега еще лучше есть название — шакализация. :)
        В опросе мой вариант будет наполовину таким: если картинка плохого качества, то превращаю в пнг и очищаю от шакалов, как могу, потом заливаю и раздаю. Но это следствие OCD, по ходу… %)
        • 0

          Я бы тоже назвал "деградацией" — очень хороший и широкий термин.


          Но он уже был занят за процессами происходящими именно при хранении.


          Ну а кроме собственно жпега есть явление ресайза.


          При персылке месенджером фейсбука, картинка сжалась с 2000х1500 до 1920х1440.
          Фотохостинги, опять же, активно ресайзят картинки и не всегда отдают оригиналы.

          • +1
            Это да. Поэтому постоянно нахожусь в полуактивном поиске хороших хостингов, а попутно остановился на имгуре, буду юзать его, пока он не взбрыкнет, тьфу-тьфу.
        • +3

          Личные фотки храню в платном облаке. А на потребителя, хранящего оригиналы в одноклассниках — плевать. Слишком много в последнее время ощущается ущерба в угоду этому чертову потребителю. Интерфейсы все примитивнее, контент все тупее, качество все ниже.

          • 0

            У меня основной исследовательский интерес — механизация лесного хозяйства в 1930-х — 1950-х.


            Поэтому приходится отлавливать что там пользователи выкладывают и выискивать откуда они это взяли.

            • 0
              А какое именно облако?
            • 0
              Хм, так что получается, надо некоторые действительно важные картинки/фото подвергать переобработке в сторону улучшения разрешения (то есть качества)?

              Есть ещё вероятность, что с развитием скоростей в интернете потребность в сжатии отпадёт понемногу. Окончательно побороть можно только если изобрести какие-то носители, не имеющие объёма, что уже скорее из области фантастики.

              Ну и совсем бред: один огромный МЕГАСЕРВАЧИЩЕ на всю планету (необязательно в одном месте, они могут быть соединены между собой, хотя и разбросаны по миру). Таким образом картинка будет одна на миллиарды сайтов. Правда, я хз, как бороться с разным размером/разрешением картинки — это же по сути не одна картинка, хоть и с одинаковым содержанием.
              • 0

                Хм, так что получается, надо некоторые действительно важные картинки/фото подвергать переобработке в сторону улучшения разрешения (то есть качества)?


                Нет, их надо хранить в том формате в котором Вы их получили, либо переводить в формат который соответствует следующим критериям:


                • не искажает картинку при пересохранении
                • является распространённым, имеет хорошую поддержку в настоящем и нет намёков на прекращение его поддержки в ближайшие годы

                Я в этом случае использую TIF


                Кстати, увеличение пиксельного размера картинки так же наносит ей повреждения. Оно искажает исходную информацию.


                И что более важно, это создаёт иллюзию наличия исходной информации там где её нет.


                (сейчас будет гипотетический пример).


                Допустим у Вас есть фотография автомобиля в низком разрешении.
                На этой фотографии есть тёмный пиксель и Вы не знаете что там реально было. Это мог быть как небольшой элемент, так и что-то крупное.


                Вы увеличиваете пиксельный размер картинки и теперь это не 1 пиксель, а несколько.


                А потом Вы отправляете эту картинку другому человеку, или со временем забываете что отресайзили объект.


                Как результат — на картинке есть объект размером в несколько пикселей, а значит это что-то большое.


                Вжух, и в результате увеличения пиксельного размера (с последующим забыванием об этой процедуре) Вы отмелди одну из версий.

                • 0
                  jpg.to Шутка, но суть примерно та же. :) К сожалению, приказал долго жить…
                • 0

                  (дубль)

                  • +1
                    если иметь правильно оборудованное помещение и аккуратно обращаться с бумажными носителями, то их можно хранить и использовать очень долго и практически без потерь

                    Есть два важных нюанса: во-первых, «практически». Во-вторых, если для бумаги и подобного достать подходящее помещение очень проблематично, то для сохранения цифрового материала достаточно десяток-другой минут разобраться в матчасти — и профит без всяких «практически».


                    Алсо, не стоит забывать, что совпадение пиксель-в-пиксель не обязательно означает совпадение байт-в-байт: некоторые картинкохостинги при сохранении качества могут удалять какую-нибудь мета-информацию из картинок.


                    Алсо [2], я сам иногда не только ищу оригиналы, но и даже пытаюсь рисовать фуллашди-версии мемасиков по требованию внутреннего перфекциониста)

                    • 0
                      Ну вот, нас уже двое, хехе. Можно замутить секту соцсеть. %)
                      • 0

                        для сохранения цифрового материала достаточно десяток-другой минут разобраться в матчасти — и профит без всяких «практически»


                        Потом эту матчасть нужно купить, следить за тем что бы она работала без сбоев, обновлять железо и софт.


                        Вобщем, кведение цифрового архива это весьма непростой и недешёвый процесс.
                        Причём, процесс непрерывный.


                        Это папка с бумагами может завалиться за стеллаж и через 20 лет иметь те же потребительские характерстики.


                        А если забыть на 20 лет цифровой носитель, то там возникнут очень большие сложности.


                        Алсо, не стоит забывать, что совпадение пиксель-в-пиксель не обязательно означает совпадение байт-в-байт


                        Очень правильное замечание. Поэтому я и делал сравнение скриптом пиксель-в-пиксель


                        P.S.


                        пытаюсь рисовать фуллашди-версии мемасиков по требованию внутреннего перфекциониста


                        Вы святой. Жаль что вас таких мало. :)

                        • 0
                          Это папка с бумагами может завалиться за стеллаж и через 20 лет иметь те же потребительские характерстики.
                          А если забыть на 20 лет цифровой носитель, то там возникнут очень большие сложности.
                          Можно совместить — распечатать на бумаге цифру, например, куаркоды, и хранить. %)
                          • 0

                            У меня была такая мысль, но пока нет ничего такого что я бы предпочёл специально распечатать. К тому же, тут ещё вопрос долговечности того что распечатает мой МФУ.


                            Но вот не выбрасывать распечатки с результатами соревнований лесорубов взятые у судей, или принести с инструментальной выставки каталог бренда — это я очень даже за.

                      • +1
                        В вконтакте есть паблик в котором каждый день заливают одну и туже фотку и там очень хорошо видно явление описанное в статье
                        • 0

                          Какой именно паблик?

                          • +1
                            Похоже, read&comment юзеру хабр вырезал ссылку

                            Я знаю «Путин каждый день», пять лет уже существует
                            • 0

                              Спасибо.


                              Какие-то у них странные искажения.

                              • 0
                                Вот так вот за пять лет ушакалили) Пару лет назад картинка была ещё цветной)
                                • 0

                                  https://vk.com/wall-34449467_951 — это не очень похоже на "скачал и залил снова"


                                  Скорее какой-то фильтр.

                                  • +1
                                    Я давно хотел написать скрипт, который делает то же самое, только по-быстрому — вот и повод появился, проверю))
                                    • 0

                                      уже написано — https://www.youtube.com/watch?v=w7vXJbLhTyI

                                    • 0
                                      Подобного (но только приблизительно, там эффект скорее жесткого «шарпа») можно добиться через ИрфанВью с помощью многократного Shift+S. Где-то на 3-5 итерации эффект уже явно заметен.
                        • +1
                          (реальный тарифный план на хостинг из 2002 года, и у.е. и зарплаты тогда были не то что сейчас)

                          У многих и в 2017м
                          не лучше.

                          Да и зарплаты тут недалеко ушли от 2002 года.

                          (это у местного провайдера-монополиста)
                          • +2
                            image
                            • 0

                              Это исчерпывающая замена всему тому, что я написал в обсуждаемом тексте. :)

                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.