Cognitive Technologies
Компания
33,26
рейтинг
25 ноября 2013 в 16:42

Разработка → Cognitive PDF/A – технология оцифровки текстовых документов для публикации в интернете и долговременного архивного хранения

Привет Хабр!


Мы продолжаем публикации о технологиях оптического распознавания (OCR, ICR) и понимания документов, разработанных специалистами компании Cognitive Technologies. Сегодня наш рассказ о технологиях оцифровки текстовых документов Cognitive PDF/A.

В бизнес-сфере достаточно часто приходится сканировать бумажные документы с целью последующей пересылки по электронной почте или архивного хранения. При качественном сканировании получившиеся изображения-образы зачастую оказываются достаточно большого размера. Например, документ формата А4, отсканированный в цветном режиме при разрешении 300 DPI, имеет размер порядка 25 Мб. Использование файлов таких больших размеров неэффективно в электронных архивах, поэтому все больший интерес обретают технологии сжатия получившихся электронных образов. Классические технологии сжатия изображений (JPEG, RLE, Deflate и т.п.) не применимы, так как в общем случае документы могут содержать как монохромный текст, так и полноцветные графические области. Алгоритмы сжатия изображений без потерь, результативные для монохромных текстов, неэффективны для полноцветной графики, в то время как сжатие с потерями демонстрирует высокие показатели для цветных изображений, однако сильно искажает текстовую информацию (Рис. 1). Поэтому обычно для сжатия изображений такого типа используют комбинированный подход.

image


Структурное сжатие изображений документов


Изложим идею структурного сжатия на примере изображения страницы журнала (Рис. 2). Классическая страница журнала может содержать фоновый рисунок, один или несколько текстовых блоков, графических элементов (фотографии, схемы, таблицы и пр.) и каких-то пометок. Основная идея структурного сжатия изображений такого рода заключается в выделении структурных блоков, объединение данных блоков в слои (т.е. «расслоение» изображения на текстовые, графические и прочие слои) и сжатие каждого слоя наиболее подходящим образом. Так изображение страницы журнала на Рис. 2 расслаивается на четыре слоя: фон, область черного текста, область синего текста и область с фотографией. Для сохранения максимального качества, текстовые слои следует сжимать алгоритмами сжатия без потерь (например, CCITT Group 4), в то время как для фотографии вполне допустимо применение методов сжатия с потерями (JPEG). Основное место в алгоритмах структурного сжатия отводится методам расслоения исходного изображения на текстовый и графический слои.
Высокую популярность данный подход получил сравнительно недавно. Одним из примеров, реализующих идею структурного сжатия, по праву можно считать формат DjVu.
Для сжатия цветных изображений в DjVu применяется специальная технология, разделяющая исходное изображение на три слоя: передний план, задний план и черно-белую (однобитовую) маску. Маска сохраняется с разрешением исходного файла; именно она содержит изображение текста и прочие четкие детали. Разрешение заднего плана, в котором остаются иллюстрации и текстура страницы, понижается для экономии места. Передний план содержит цветовую информацию о деталях, не попавших в задний план; его разрешение понижается еще сильнее. Затем задний и передний планы сжимаются с помощью вейвлет-преобразования (алгоритмом IW44), а маска – алгоритмом JB2.

image

Несмотря на высокие коэффициенты сжатия изображений документов, DjVu обладает существенным недостатком: на сегодняшний день формат не стандартизован, что затрудняет его использование в качестве средства для создания электронных архивов. К тому же использование одинаковой схемы расслоения для всех типов документов не всегда оправдано, и даже иногда может приводить к значимому искажению документа. Дополнительно стоит отметить, что в формате полностью отсутствуют какие-либо средства обеспечения безопасности и конфиденциальности документов.

Технология Cognitive PDF/A


Опишем технологию Cognitive PDF/A, предназначенную для перевода бумажных документов в электронный вид, и процесс оцифровки в соответствии с предлагаемой технологией (Рис. 3).
Первым этапом обработки является расслоение исходного изображения. В результате появляются два новых изображения. Первое содержит области исходного изображения, соответствующие текстовой информации (текстовый слой), а второе – графическим элементам (графический слой).
В соответствии с архитектурой алгоритма, текстовый слой не должен содержать никаких лишних областей, кроме текстовых блоков. Следовательно, изображение текстового слоя может быть легко распознано без какой-либо предварительной подготовки с помощью внешних OCR-систем.

image

Последним действием является упаковка полученных слоев и распознанного текста в PDF/A. Графический и текстовый слой подвергаются соответствующему сжатию, а распознанный текст упаковывается таким способом, чтобы обеспечить максимальное удобство поиска и копирования информации в документе.
Таким образом, технология Cognitive PDF/A состоит из трех основных частей: расслоение исходного изображения, распознавание текстового слоя с помощью OCR-системы и компактная упаковка получившихся слоев и распознанного текста в PDF/A-файл. Рассмотрим эти части более подробно.

Алгоритм расслоения


Разные типы документов обладают различными особенностями. Например, для финансовых документов характерно наличие печатей, подписей и штампов, журнальные статьи могут иметь сложный многоцветный фон, в книги часто включают полноцветные графические элементы. Поэтому технологией Cognitive PDF/A предусматриваются уникальные схемы расслоения для каждого типа документа. Выбор наилучшей схемы может осуществляться с помощью алгоритмов предварительной идентификации типа документа. Далее, в качестве примеров, будут рассмотрены схемы расслоения для двух важных типов документов: страница книги и офисный документ.
Обычно страница книги содержит черный текст на белом фоне и, возможно, графические элементы: рисунки, схемы, графики и пр. (Рис. 4)

image

Обычно в книгах области текста и графики не пересекаются. Еще одной ключевой особенностью верстки книг является использование шрифтов близких линейных размеров. Опираясь на эти характерные черты, построим схему расслоения изображения страницы книги.
Шаг 1. Бинаризуем исходное изображение, тем самым преобразуем его в монохромный вид (Рис. 5а). Так как изображение в основном содержало черный текст на белом фоне, то процесс бинаризации не должен сильно сказаться на областях, содержащих текстовую информацию.Шаг 2. С помощью морфологической фильтрации «сольем» слова в единые компоненты связности. Обозначим через w и h характерные ширину и высоту символов соответственно. Заметим так же, что расстояние между буквами в слове сравнимо с толщиной штриха символа, а расстояние между словами близко ширине символа. Поэтому «склеим» каждое слово в отдельную компоненту связности, выполнив размыкание с окном (Рис. 5б).

image
image

Шаг 3. Построим гистограмму высот полученных компонент связности (Рис. 6). Так как весь текст на странице напечатан примерно одинаковым по размеру шрифтом, то компоненты связности, соответствующие словам образуют на гистограмме один или несколько четко выраженных максимумов. Поэтому, анализируя гистограмму, можно вычислить характерный размер шрифта hfont, которым набран текст на странице, и, соответственно, выделить область на изображении, соответствующую текстовой информации (области, соответствующие компонентам связности с высотой порядка hfont ).
Зная область расположения текста на исходном расположении, построим маску расслоения, после чего применим ее для получения графического и текстовых слоев (Рис. 7).
Поскольку для выделения текстовых блоков используется быстрые алгоритмы морфологической фильтрации с прямоугольным окном, то очень важно, чтобы текстовые блоки были выровнены относительно осей изображения. Поэтому перед морфологией выполняется «выравнивание» изображения.
Для цветных изображений финансовых документов (счет фактур, квитанций, договоров и пр.) не характерны перечисленные выше особенности изображения страницы книги, так как графические элементы (печати, подписи, рукописные пометки) часто накладываются на текстовые блоки (Рис. 8). Следовательно, использовать для расслоения вышеописанный алгоритм неразумно. Построим схему расслоения, опираясь на цветовые характеристики изображения. Цветовая насыщенность черного текста и белого фона близка к нулю, в то время как для синих печатей и подписей это значение велико. Принимая во внимание это свойство, построим следующую схему расслоения.
Шаг 1. Построим гистограмму цветовой насыщенности (Рис. 9), т.е. зависимость y=logNx, где Nx – количество пикселей изображения, насыщенность которых равна x.

image
image
image

Шаг 2. Заметим, что на гистограмме четко выделяются два класса: первый сформирован пикселями с малыми значениями цветовой насыщенности, второй – с большими значениями. Пиксели из первого класса составляют области изображения, соответствующие фону и черному тексту, из второго – графическую часть изображения. Найдем порог разделения двух классов t* методом Отсу.
Шаг 3. Расслоим исходное изображение следующим образом: пиксель сходного изображения (x,y) принадлежит текстовому слою (Рис. 10а), если значение его цветовой насыщенности меньше порогового s(x,y)<t*; иначе – пиксель (x,y) принадлежит графическому слою (Рис. 10б).

image

Распознавание текстового слоя


В результате расслоения мы уже получили изображения текстовых слоев, которые могут быть легко распознано без какой-либо предварительной подготовки с помощью внешних OCR-систем.
В программной реализации технологии Cognitive PDF/A в качестве OCR модуля используется система оптического распознавания текстов с открытым исходным кодом OCR CuneiForm.

Сжатие и упаковка в формат PDF/A


Полученные в результате расслоения текстовый и графический слои, а также распознанный текст сохраняются в формате PDF/A. Данный формат является стандартом ISO 19005-1:2005, базируется на описании стандарта PDF версии 1.4 от Adobe Systems Inc. и предназначен специально для долгосрочного архивного хранения электронных документов. Несмотря на то, что PDF/A является подмножеством формата PDF, существует ряд различий, обусловленных требованиями, предъявляемыми к PDF/A как к формату долгосрочного хранения электронных документов. Так, например, обязательным для PDF/A является:
  • Внедрение всех используемых шрифтов, в том числе шрифтов из списка «стандартных для PDF».
  • Если PDF/A-файл содержит изображения, то обязательным является внедрение цветового профиля – файла, в котором содержится информация о том, как выводное устройство (монитор, принтер и пр.) должно передать цвет. Важным является тот факт, что включаемый цветовой профиль должен быть аппаратно-независимым.
  • Обязательное наличие метаданных с указанием версии используемого формата, заголовка документа, списка авторов, краткого описания, даты создания и последней модификации файла документа, а также ключевых слова для осуществления поиска. Спецификацией PDF/A также оговорен формат представления метаданных – Adobe Extensible Metadata Platform (XMP).


Для увеличения коэффициента сжатия, графический и текстовый слои сжимаются разными способами. В силу специфики содержимого, графический слой приводится к разрешению 100 DPI и кодируется алгоритмом JPEG. Текстовый слой заключает в себе основную информацию документа, следовательно, текстовый слой сохраняется в исходном разрешении, а для кодирования используются алгоритм сжатия без потерь CCITT Group 4.

Экспериментальные результаты


Оценка эффективности технологии в автоматическом режиме представляется практически невозможной – ведь недостаточно сравнить лишь размер выходного качества, необходимо также сравнивать качество полученного «компактного электронного документа». Поэтому, фактически оценка производится органолептически (то есть, «на глазок»).
На Рис. 11 представлены некоторые тестовые изображения, которые были сжаты алгоритмами JPEG (уровень компрессии, при котором сохраняется читабельность), DjVu и Cognitive PDF/A. По результатам сравнения видно (см. Таблицу), что технология Cognitive PDF/A по степени сжатия на порядок обходит JPEG, однако проигрывает DjVu. Такую разницу в размере можно объяснить тем, что в файл в формате PDF/A помимо полезной информации (собственно изображений и распознанного текста) содержит также вспомогательные данные, необходимые для долгосрочного хранения. Не смотря на меньший размер файлов DjVu, качество сжатия офисных документов ниже, что особенно проявляется в районе печатей и подписей.

image

image

Изображение и результаты, представленные в этой таблице можно скачать по адресу: yadi.sk/d/7us8gghADHVrg

Полный текст статьи опубликован:
Усилин С.А., Николаев Д.П., Постников В.В. Cognitive PDF/A – технология оцифровки текстовых документов для публикации в Интернет и долговременного архивного хранения // Труды Института системного анализа РАН. Технологии программирования и хранения данных / под ред. Арлазаров В.Л., Емельянов Н.Е. М.: ЛЕНАНД, 2009. Т. 45. С. 159–173.


Рекомендуемая литература

  1. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Алгоритмы сжатия изображений. – М.: Диалог-МИФИ, 2002. – 99 с.
  2. Гонсалес Р., Вудс Р. Цифровая обработка изображений. – М.: Техносфера, 2005. – 1072 с.
  3. Lizardtech DjVu Reference, www.lizardtech.com
  4. Куроптев А.В., Николаев Д.П., Постников В.В., Усилин С.А. Выделение графических примитивов и текстовых блоков на изображениях документов с помощью морфологических операций // Труды 51-ой научной конференции МФТИ. Современные проблемы фундаментальных и прикладных наук. Часть 9. Инновации и высокие технологии. – М.: МФТИ, 2008, С. 29 – 31.
  5. M. van Herk. A Fast Algorithm for Local Minimum and Maximum Filters on Rectangular and Octagonal Kernels // Pattern Recognition Letters. – 1992. – C. 517 – 521.
  6. ISO 19005-1:2005. Document management – Electronic document file format for long-term preservation – Part 1: Use of PDF 1.4 (PDF/A-1).
  7. Adobe Systems Incorporated. Extensible Metadata Platform (XMP) Specification, www.adobe.com
Автор: @Angelina54
Cognitive Technologies
рейтинг 33,26
Компания прекратила активность на сайте

Комментарии (9)

  • +23
    Это где то за гранью добра и зла, когда в статье рекомендуют применять различные способы сжатия для фото и текста, но в самой статье все текстовые иллюстрации приведены в JPEG с жуткими артефактами от сжатия…
    • –11
      Рисунки выложены с высокой степенью сжатия. Они были выложены так, как позволяет движок Хабра. К сожалению, он не дает возможности нам выкладывать рисунки в форматах PDF и DjVu. Мы выложили архив, иллюстрирующий основные подходы системы. Его можно посмотреть по ссылке: yadi.sk/d/7us8gghADHVrg
      • +13
        В статье говорится о сжатии без потерь PNG, его можно использовать для иллюстрации артифактов сжатия.
    • +6
      А я подумал это ход такой, типа «наш софт и такую жуть распознает», а оно вон как… ))
  • 0
    Что-то похоже на то, что открытый проект OCR CuneiForm уже года как два мертв… X__x
    Мдааа, печаль…
  • +3
    На следующей картинке легко заметить артефакты сжатия JPEG и их отсутствие при использовании PNG -> art.jpeg
  • +3
    Очень не хватает полноразмерных картинок в исходном качестве, чтобы проверить некоторые идеи. Например, «PNG 111кб» мне кажется не совсем адекватным значением для указанной иллюстрации. Буквально, даже optipng отбросит треть от этого размера, не говоря уже о 8-bit quantization.
  • +5
    Не хочу наговаривать на компанию, но довелось приобретать один их продукт. Он очень плохо был описан перед продажей ( вы нигде точно не найдете какие поля с каких документов вытаскиваются, пока не купите, а демка вам все не покажет ).

    Продукт оказался неудобно документирован (на диске, раскиданы файлы формата doc разных редакций, никакой целостности и порядка), куча dll-ек компилированных за 2005 год (хм?). Такое ощущение, что релиз и доки на диск сливает админ. Ничего про сравнение с конкурентами сказать не могу, тесты не проводил, за время распознавания и работу алгоритмов кто лучше/быстрее тоже сказать не могу, вполне возможно что ядро шустрее других, но больше не притрагивался — взяли другой продукт другой компании и по причине гибкости лицензии (без хардварного ключа) да и просто нет никого больше в мире))))
    Я вполне признаю свою некомпетентность пред сим продутом ибо не совсем кодер этого уровня. Просто личное мнение, которое не обязано совпадать с чьим либо вообще. Зря наговаривать не хочу.

    К тому же, что касается статьи, полностью поддерживаю комментаторов. Речь идет о технологии, которой приходится верить на слово по пережатым картинкам. Я понимаю, что статью написал технарь в ворде, а сюда таблицы перенес простой менеджер через принскрин вставкой в паинт, ну емае, этож не серьезно. Тут 15% людей попробуют объективно протестировать ваши результаты со своими и сделать независимую оценку качества.
    • +1
      А самое обидное! Что всем пофиг! Никто не собирается что-то менять в статье!
      Дал отдел маркетинга опубликовать что-то на хабре — готово! Премия не загорами!)

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разработка