Web engineer
0,2
рейтинг
27 июля 2012 в 09:16

Разработка → Как работает Lytro, или ещё один обзор


Lytro – пленоптическая камера, не требующая фокусировки, выпускаемая компанией Lytro (стартап Ren Ng – выпускника Стенфорда). Камера работает методом световых полей, о принципе работы которых я и постараюсь рассказать (под катом трафик!).
Картинки, где есть фотографии с lytro, кликабельны (но сайт lytro последнее время, бывает, лежит — наверное, ляжет и сейчас).

Камера

Полные спеки вы можете найти на сайте Lytro, про внешний вид рассказано в предыдущем обзоре. Сама камера сделана в Китае, подключается и заряжается через USB:


Дисплей сенсорный, обычного разрешения, вот тут он показывает, что камера заряжается:


Принцип работы прост: сверху зум (надо провести пальцем по резинке), сверху же кнопка затвора. Зум похож на 24-105mm.

Макро
Если камеру поднести близко к объекту, она не сфокусируется (да-да, и после съёмки тоже не фокусируется):


Чтобы это преодолеть, можно включить режим «creative mode». Он включается нажатием на белый квадратик:


В creative mode можно сфокусировать камеру нажатием на тач-скрин. Тыкнул на объект, камера подумала и сфокусировалась (автофокус, судя по всему, контрастный):


Сфокусироваться можно довольно-таки близко:


Ограничение creative mode в том, что после съёмки диапазон фокусировки будет ограничен.
Когда-то производители обещали сделать встроенный focus stacking для макро. Сейчас такой фичи в камере нет, но это легко выполнить в фотошопе, достав картинки из lfp — как видим, ГРИП здесь значительно больше, чем до обработки:


Настройки
Никаких настроек в камере больше нет. Экспозицию камера устанавливает самостоятельно, повлиять на этот процесс нельзя (я заметил, что в EverydayMode экспозамер матричный, в CreativeMode центровзвешенный — но тоже как-то не всегда). Вот пара примеров:


В наиболее плохих условиях это будет ISO 3200, 1/15 (хотя странно: при наличии акселерометра можно было бы определить, что камера на штативе, и увеличить выдержку):


Софт

При подключении камеры софт копирует фотографии с неё, позволяет повернуть их и залить на lytro.com.
Написан на Qt, хранит информацию в SQLite-базе, формат которой описан тут.
Совсем недавно вышел софт под win, что не может не радовать:


Формат

У Lytro один формат .lfp, используемый и для raw, и для web-оптимизированных файлов. Рассмотрим его подробнее.
Итак, .lfp представляет собой контейнер, разделённый на секции. Секции бывают нескольких типов:
  • Метаданные о файле: присутствует всегда, описывает секции файла и содержит их SHA-1 хеши, формат json.
    Пример
    {
    	"picture" : {
    		"frameArray" : [
    			{
    				"frame" : {
    					"metadataRef" : "sha1-079f3465638687275008d656c408c9c91d1bc6ee",
    					"privateMetadataRef" : "sha1-44cdec4d744eae5c06dbef8f086fd7905bd8f55a",
    					"imageRef" : "sha1-2f429e42bef0dc3fa0351dd2d55404c351e3beca"
    				},
    				"parameters" : {
    					"vendorContent" : {
    						"com.lytro.tags" : {
    							"darkFrame" : false,
    							"modulationFrame" : false
    						}
    					}
    				}
    			}
    		],
    		"viewArray" : [
    			{
    				"type" : "com.lytro.stars",
    				"vendorContent" : {
    					"starred" : false
    				}
    			}
    		],
    		"accelerationArray" : [
    			{
    				"type" : "com.lytro.acceleration.refocusStack",
    				"generator" : "Lytro Lightfield Engine 1.000000",
    				"vendorContent" : {
    					"viewParameters" : {},
    					"displayParameters" : {
    						"displayDimensions" : {
    							"mode" : "fixedToValue",
    							"value" : {
    								"width" : 1080,
    								"height" : 1080
    							}
    						}
    					},
    					"defaultLambda" : 0,
    					"depthLut" : {
    						"width" : 20,
    						"height" : 20,
    						"representation" : "raw",
    						"imageRef" : "sha1-3797be865adeaf3d28b372a2dca0aa8e3ef79b6f"
    					},
    					"imageArray" : [
    						{
    							"representation" : "jpeg",
    							"width" : 1080,
    							"height" : 1080,
    							"lambda" : 4.8976802825927734,
    							"imageRef" : "sha1-6e268b48ced0b5c38e39d477a3100f00bb9c188b"
    						},
    						{
    							"representation" : "jpeg",
    							"width" : 1080,
    							"height" : 1080,
    							"lambda" : 5.886573314666748,
    							"imageRef" : "sha1-80b19c4365465e63e623d5cc1fb9d345dfab7ce0"
    						},
    						{
    							"representation" : "jpeg",
    							"width" : 1080,
    							"height" : 1080,
    							"lambda" : 6.8429036140441895,
    							"imageRef" : "sha1-5f7c28a7b4aad7d06fcea230293aadb700ad27ef"
    						}
    					]
    				}
    			}
    		],
    		"derivationArray" : [
    			"sha1-f408b48df6a6c09e40e60585a655e8d81415b789"
    		]
    	},
    	"thumbnailArray" : [],
    	"version" : {
    		"major" : 1,
    		"minor" : 0,
    		"provisionalDate" : "2011-08-03"
    	}
    }
  • Метаданные о кадре: присутствует только в RAW-файле, это показания со всех сенсоров на момент съёмки в json.
    Пример
    {
    	"type" : "lightField",
    	"image" : {
    		"width" : 3280,
    		"height" : 3280,
    		"orientation" : 1,
    		"representation" : "rawPacked",
    		"rawDetails" : {
    			"pixelFormat" : {
    				"rightShift" : 0,
    				"black" : {
    					"r" : 168,
    					"gr" : 168,
    					"gb" : 168,
    					"b" : 168
    				},
    				"white" : {
    					"r" : 4095,
    					"gr" : 4095,
    					"gb" : 4095,
    					"b" : 4095
    				}
    			},
    			"pixelPacking" : {
    				"endianness" : "big",
    				"bitsPerPixel" : 12
    			},
    			"mosaic" : {
    				"tile" : "r,gr:gb,b",
    				"upperLeftPixel" : "b"
    			}
    		},
    		"color" : {
    			"ccmRgbToSrgbArray" : [
    				3.1115827560424805,
    				-1.9393929243087769,
    				-0.172189861536026,
    				-0.3629055917263031,
    				1.6408803462982178,
    				-0.27797481417655945,
    				0.078967012465000153,
    				-1.1558042764663696,
    				2.0768373012542725
    			],
    			"gamma" : 0.41666001081466675,
    			"applied" : {},
    			"whiteBalanceGain" : {
    				"r" : 1.07421875,
    				"gr" : 1,
    				"gb" : 1,
    				"b" : 1.26953125
    			}
    		},
    		"modulationExposureBias" : -1.1193209886550903,
    		"limitExposureBias" : 0
    	},
    	"devices" : {
    		"clock" : {
    			"zuluTime" : "2012-07-25T14:05:20.000Z"
    		},
    		"sensor" : {
    			"bitsPerPixel" : 12,
    			"mosaic" : {
    				"tile" : "r,gr:gb,b",
    				"upperLeftPixel" : "b"
    			},
    			"iso" : 205,
    			"analogGain" : {
    				"r" : 5.5625,
    				"gr" : 4.0625,
    				"gb" : 4.0625,
    				"b" : 4.6875
    			},
    			"pixelPitch" : 1.3999999761581417e-006
    		},
    		"lens" : {
    			"infinityLambda" : 123.91555023193359,
    			"focalLength" : 0.011369999885559081,
    			"zoomStep" : 661,
    			"focusStep" : 1271,
    			"fNumber" : 2.0399999618530273,
    			"temperature" : 38.670684814453125,
    			"temperatureAdc" : 2501,
    			"zoomStepperOffset" : 2,
    			"focusStepperOffset" : 22,
    			"exitPupilOffset" : {
    				"z" : 0.039666198730468748
    			}
    		},
    		"ndfilter" : {
    			"exposureBias" : 0
    		},
    		"shutter" : {
    			"mechanism" : "sensorOpenApertureClose",
    			"frameExposureDuration" : 0.015281426720321178,
    			"pixelExposureDuration" : 0.015281426720321178
    		},
    		"soc" : {
    			"temperature" : 47.337005615234375,
    			"temperatureAdc" : 2632
    		},
    		"accelerometer" : {
    			"sampleArray" : [
    				{
    					"x" : -0.066666670143604279,
    					"y" : 1.0392156839370728,
    					"z" : 0.08235294371843338,
    					"time" : 0
    				}
    			]
    		},
    		"mla" : {
    			"tiling" : "hexUniformRowMajor",
    			"lensPitch" : 1.3898614883422851e-005,
    			"rotation" : 0.0020797469187527895,
    			"defectArray" : [],
    			"scaleFactor" : {
    				"x" : 1,
    				"y" : 1.0005592107772827
    			},
    			"sensorOffset" : {
    				"x" : -1.0190916061401367e-005,
    				"y" : -2.3611826896667481e-006,
    				"z" : 2.5000000000000001e-005
    			}
    		}
    	},
    	"modes" : {
    		"creative" : "tap",
    		"regionOfInterestArray" : [
    			{
    				"type" : "exposure",
    				"x" : 0.7625085711479187,
    				"y" : 0.21875333786010742
    			},
    			{
    				"type" : "creative",
    				"x" : 0.7625085711479187,
    				"y" : 0.21875333786010742
    			}
    		]
    	},
    	"camera" : {
    		"make" : "Lytro, Inc.",
    		"model" : "F01",
    		"firmware" : "v1.0a60, vv1.0.0, Thu Feb 23 15:02:57 PST 2012, e10fcca0668db3dbf94ae347248db3da070d21e9, mods=0, ofw=0"
    	}
    }
  • Private metadata: серийник камеры и матрицы в json.
    Пример
    {
    	"devices" : {
    		"sensor" : {
    			"sensorSerial" : "0x5086D178DEADBEEF"
    		}
    	},
    	"camera" : {
    		"serialNumber" : "A20B00B1E3"
    	}
    }
  • Raw sensor data: присутствует только в RAW-файле, представляет собой RAW данные с матрицы. Открывается так:
  • Depth lookup table: присутствует только в web-оптимизированном файле. Карта глубины. Отвечает на вопрос: если я тыкнул сюда, какую из картинок мне надо показать?
  • Prerendered λ = %lambda%: присутствует только в web-оптимизированном файле. Это изображение, показываемое пользователю, когда он «фокусируется» на каком-либо участке кликом. В файле от 1 до 12 (может быть, бывает больше, я не встречал) таких секций.

Размер RAW-файла 16МБ, web-оптимизированного 1МБ. Последний отличается тем, что хранит в себе набор картинок с картой, ставящей в соответствие координаты клика и номер картинки. Полное побайтовое описание формата можно найти здесь.

RAW


Сам RAW-файл представляет собой данные с матрицы. Мы видим фильтр Байера матрицы, перед которыми расположены микролизны:


Обработка

Самое интересное – это обработка. Процесс полностью описан в работах Ren Ng, я изобразил его схематически:


Сначала происходит демозаик RAW-файла традиционными методами. После этого световое поле приводится к такому состоянию, чтобы «соты» (микролизны) попадали на целое число пикселей, для этого надо слегка повернуть и смасштабировать картинку (это самый трудный этап, требующий кропотливой настройки: у меня пока что так и не получилось его выполнить).
Затем световое поле интегрируется с определёнными параметрами и на выходе получается набор картинок с разным расстоянием фокусировки. Замечу, что софт сам выбирает, куда сфокусироваться и сколько изображений надо получить: пока нет возможности настроить это.
Полученный файл упаковывается и заливается в Интернет. При клике пользователя на одном из участков файла («фокусировка») приложение смотрит по карте, какое это изображение, и показывает его. Это карта глубины, но она очень грубая, в практических целях с таким разрешением, скорее всего, она вам покажется слишком маленькой.

Постобработка

Хорошо, когда можно что-то подправить в Фотошопе. Можно и тут, но с оговоркой.
Т.к. формат lytro описан, несложно написать скрипт, который будет уметь экспортировать все части lfp-файла. Workflow таков:
  1. Разбираем lfp;
  2. Редактируем картинки. Да, Ивана Говнова придётся убирать не один раз, а ровно столько, сколько картинок в контейнере;
  3. Собираем lfp обратно. Тут надо учесть, что необходимо посчитать все sha1-хеши, в том числе и обновить их в TableOfContents-секции, после чего пересчитать хеш от неё самой;
  4. Запускаем приложение Lytro, которое при клике на этот файл понимает, что он изменился, и обновляет его превьюшку.

Вуаля, Lytro+Instagram-овский фильтр:

О световых полях и пленоптической фотографии

В классической камере свет, приходящий с разных точек линзы в одну точку матрицы, интегрируется и сохраняется как значение яркости пикселя в этой точке. В пленоптической же камере перед матрицей стоит массив микролинз:


Каждая микролинза распределяет пришедшие в неё световые лучи в разные участки матрицы:


Диафрагма f/2 выбрана не случайно. Она позволяет наиболее экономно расходовать матрицу. Если взять меньше, на матрице будут неиспользуемые пиксели, если больше – проецируемые изображения будут пересекаться, что недопустимо:


Световое поле в пространстве описывается функцией в пятимерном пространстве:



Как видим, световое поле описывает энергетическую яркость (radiance) для каждой точки пространства и для каждого направления луча из этой точки.
Эта функция может быть задана несколькими способами:
На плоскости:


На сфере:


Между двумя плоскостями:


Как раз последний способ описания светового поля и применяется в lytro: две плоскости – это плоскость задней стенки объектива и плоскость матрицы.
Световое поле можно получить при помощи массива камер:


Пленоптическую камеру можно представить как частный случай массива камер: роль камеры выполняет микролинза.
Для получения фотографии необходимо проинтегрировать данные с камер (или в случае lytro, данные с участков микролинз):


В зависимости от способа выбора точек в пределах окна, есть два преобразования:

Смещение наблюдателя – это выбор конкретной точки внутри микролинзы:



Цифровая рефокусировка – выбор способа суммируемых точек с участков каждой микролинзы. Так как под микролинзой мало пикселей, в случае lytro возможности рефокусировки весьма ограничены:



Теорема
Имея пленоптическую камеру с апертурой f/N, у которой каждой микролизне соответствует PxP пикселей, можно получить изображение, эквивалентное по резкости полученному на классическую камеру с апертурой f/(N*P). Для Lytro это около f/14.
Другая интерпретация этой же теоремы:
Описанная в теореме пленоптическая камера позволяет получить изображения с глубиной резкости f/N, сфокусированные в любом месте в пределах ГРИП классической камеры с апертурой f/(N*P).


Трудности обработки
При обработке встречается несколько преград, осложняющих написание визуализатора светового поля:
  1. Микролинзы расположены неровно. Надо калибровать алгоритм;
  2. Надо исключать влияние виньетирования. Но вспоминая, что под микролинзой всего-то порядка 50 пикселей, становится понятным, что эта операция может выдать большую погрешность;
  3. Битые пиксели. Как и в любой другой камере, здесь они тоже есть. Их нужно определять статистически, чтобы они не портили карту глубины;
  4. Производительность. Вычисления необходимо производить в частотном домене, используя 4D-преобразование Фурье.


Боке

Размытие в камере вот такое (это картинки из одного снимка, вытянутые из lfp):


Для сравнения сделал ещё одинаковый кадр на lytro (слева) и на зеркалку на f/2 (справа):


Артефакты

Практически на всех снимках вылезают неестественные артефакты разного рода. Например, такие:


Или такие:


Душераздирающее зрелище.

Инструменты для работы с lytro

Lytro.Net: умеет открывать lfp и экспортировать их части, есть и консольная версия:


Lytro compatible viewer: открывает файлы, позволяет сфокусироваться по клику, есть слайдер расстояния фокусировки:


Размышления

Инструментов, умеющих работать со световыми полями, я не нашёл. Всё, что есть – работа с .lfp-форматом: отображение, экспорт в jpeg.
После прочтения работ Ren Ng технология уже не кажется такой мистической и нереальной, как казалась вначале.
Один и тот же формат файлов с одним и тем же magic-ом – определённо зло. Не понимаю, зачем так сделали.
Если вы желаете поработать с raw-ом, я могу прислать его вам (а могу и камеру продать чуть попозже).

Картинки

Все «живые» фотки из статьи доступны на lytro.com:

Уже второй день сайт lytro вечером лежит. На всякий случай залил lfp на файл-хостинг, они открываются этим.

Ссылки


Про lytro:
Reverse Engineering the Lytro .LFP File Format — простое понятное описание how-to-hack
lfptools — утилита для работы с файлами lytro на C
Lytro.Net — порт lfptools на C#
Lytro meltdown — няшный gui для работы с файлами lytro на c#, структура SQLite-овской базы lytro, формат файлов
The (New) Stanford Light Field Archive — примеры световых полей, полученные с нескольких камер, можно поиграться online
Lytro Teardown — тут разбирают Lytro, можно посмотреть всю электронику

Работы Ren Ng о световых полях:
Light Field Sensing — световые поля в картинках; не понять это описание сложно
Fourier Slice Photography — теоретическое описание техники световых полей
Light Field Photography with a Hand-held Plenoptic Camera — как применить технику световых полей в фотографии
LightShop: Interactive Light Field Manipulation and Rendering — немного о том, как представить информацию светового поля визуально
@Antelle
карма
194,5
рейтинг 0,2
Web engineer
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое Разработка

Комментарии (58)

  • +29
    Как всегда, желание покупать угасло.
  • +9
    Интересная технология, хотя и до практического применения ещё не слишком подходит, но я уверен, что как все технологии при должном развитии качество повысится и это будет вполне интересный гаджет.
    • –1
      Скорее, потенциальная технология для мобильных устройств вдальнейшем.
      • +1
        Поглядим, что сделает Nokia, да
    • 0
      Что-нибудь в духе «щелк-на-удачу» для мгновенно стартующих камер. Сейчас автофокус все-же занимает секунду-другую.
      Конечно, хорошо бы прикрутить возможность записи «безфокусного» видео.
      Варианты использования — камеры слежения в местах скопления объектов, шлемы со встроенными камерами и так далее.
      • 0
        Для видео это не так уж и нужно, потому как у многих камер практически гиперфокальное расстояние от метра и дальше, да и все мыльницы современные снимок делают секунды за 2 после доставания из кармана.
        • 0
          а должны делать сразу. как пленочные мыльницы — достал, щелкнул. а не «достал, включил, дождался загрузки, нажал, камера сфокусировалась, щелкнула» на практике 2 секунд не бывает
  • +3
    Спасибо большое за интересную статью, буду внимательно следить за развитием технологии :)
  • +13
    off: извините, но никогда не понимал, в чем кайф фоток оборудования с ГРИПом в полтора миллиметра. Зажмите дырочку! Не знаю кто как, а я хочу оборудование лучше видеть на фотках.
  • 0
    Как только будет возможность вручную выбирать плоскости для веб-формата (и области), а также all-in-focus, цены ей не будет. Ну, и M-режим съемки не помешает. 3D картинку ей, к сожалению, не вытянуть, ну и ладно.
    • +1
      Датчик ещё маленький слишком пока: с таким только на артефакты любоваться. Ren Ng писал, что можно сделать 200MPix до того, как упрёмся в дифракционный предел.
  • +6
    по прежнему не вижу смысла в покупке
    • –3
      это толсто
      • +13
        почему толсто? камера действительно сейчас — говно.
      • +1
        что толсто? я тоже не вижу ни одного более-менее значимого аргумента в пользу покупки данного агрегата.
      • 0
        а? я просто мнение выразил. я готов фокусироваться вручную, но получать качественные снимки.
        • +11
          Не знаю верно ли ли я выбрал слова «это толсто», но имел ввиду следущее: любая относительно новая технология подвержена «детским болезням». Да, Лайтро сейчас не даст вам того качества что вы хотите. Да, в модном ныне среди хомячков показателе мегапикселей к цене Лайтро далеко не на коне. Да, софт у нее действительно у$$$щный. Но! Ведь если не поддержать производителя/разработчика рублем то кто и на какие шиши будет полировать технологию? Вспомните к примеру как происходил перход к той же цифровой фотографии. Первые модели с говенным качеством, никакого сравнения с пленкой. Товарищи навроде Alinaki и nZeus усирались от воплей «никогда, никогда, никогда не станет цифра так же распространена как пленка!!!». Примеры с автомобилем и аэропланом, ну вы понимаете. Я к чему? К тому что Antelle взял Лайтру «чтобы изучить матчасть и поиграться», я заказал ее с примерно тех-же соображений. Плюс мне приятно думать что часть тех денег что я трачу с покупкой пойдет на развитие технологии.

          Но если у вас нет таких мотивов — я ничего не имею против, я уважаю ваше мнение в любом случае. Это я и имел ввиду под «это толсто». Без каких либо негативных намеков.
          • –2
            я не нанимался поднимать технологию своими деньгами. вот китайские телефоны я заказываю тоннами, потому что они наконец мутировали в что-то, чем можно пользоваться.
            • 0
              вы красавчик, красавэлла и красопэд!
              • 0
                а?
                • 0
                  image
                  • 0
                    все равно не понял. ладно, буду думать что это смешно.
  • 0
    При демонстрации боке — f/2 — это 100мм или 135?:)
    Просто если есть такая оптика, значит в фотографии вы понимаете. Соответственно вопрос, как к коллеге. Эта самая Литро имеет хоть какой-то практический смысл? Или чисто поиграться?
    • 0
      Это 85/1.4 (но как с lytro, так и с зеркалки тут часть кадра).
      Практического смысла я с такими артефактами не вижу: как-то уж слишком неаккуратно, на мой взгляд. Я брал, чтобы изучить матчасть и поиграться: мне без гаджета скучно, да и raw, доступный в инете, найти удалось только один.
      Не уверен, можно ли с неё получить каким-то образом нормальную карту глубины, самому это интересно.
  • 0
    Это получается принцип у этой камеры как у глаза насекомого — мухи там или стрекозы, с фасеточным зрением так что ли?
    • +2
      Скорее, ближе к глазам веслоногих ракообразных (рачков-циклопов, например) — у них составной глаз имеет не только микролинзы на каждом омматидии (рецепторе), но и общую линзу для всех. Хотя полного аналога все же нет.
  • +15
    Представьте себе, что в каком-нибудь 1975м году на рынке появилась дорогущая потребительская цифровая фотокамера Kodak с сенсором Fairchild 100x100 пикселей, которая писала бы кадры на магнитную ленту и требовала бы подключения к телевизору, чтобы их просматривать? Реакция покупателей была бы еще хуже, чем сейчас у некоторых на Lytro.

    Так что Lytro — это офигенный пример технологии, которая перескочила от состояния экспериментальных установок в лабораториях к потребительскому товару, который уже может быть пусть и дорогим гаджетом, но все же работающим и выдающим какой-то занятный результат.

    Если оптоэлектроника и микро-оптика будут развиваться хотя бы также быстро, как это было с обычными цифровыми средствами фото- и видеосъемки, то через десяток лет на базе такой технологии можно ждать действительно трехмерных, а не псевдо-трехмерных (всего-навсего стерео), как сейчас, фото- и видеокамер.

    Главная возможность, которая заложена в эту технологию — вовсе не игры с глубиной резкости, а возможность за один снимок получить массив данных, пригодных для создания карты глубин сцены и ее изображения. А имея эти данные, можно получать вот такое.
  • 0
    А кто-нибудь пробовал склеить фотографию по кусочкам, которые находятся в фокусе на этой фотографии? Было бы интересно посмотреть на результат.
    • +1
      Так это же и называется focus stacking, я даже привёл пример.
      • 0
        Тоже заинтересовал вопрос: ну вот на вышеуказанной фотографии все равно не все зоны в фокусе.
        А если не для макро-съемки? Как будет восприниматься фотография, в которой все в фокусе, тяжело представить сходу, но почему-то на их сайте нет таких примеров?
        • 0
          Сколько именно будет в фокусе, определяется теоремой (есть в посте).
          Если не для макросъёмки, будет восприниматься так же, как фотка на мыльницу: у них короткое гиперфокальное расстояние, поэтому практически всё получается в фокусе.
          • 0
            > Сколько именно будет в фокусе, определяется теоремой (есть в посте).
            Ну так можно же грубо говоря в фотошопе кропнуть каждую сфокусированную область и наложить друг на друга. И по идее все будет в резком фокусе?
            > будет восприниматься так же, как фотка на мыльницу
            Сложно представить, т.к. на мыльницах-то, кажется, что скорее все не в фокусе
            • 0
              > Ну так можно же грубо говоря в фотошопе кропнуть каждую сфокусированную область и наложить друг на друга. И по идее все будет в резком фокусе?
              Нет, смотрите: теорема определяет теоретически достижимый лимит резкости изображаемого пространства при помощи такой камеры, то есть это лимит уже после их объединения, и то для идеального случая.
              > Сложно представить
              Ок, сегодня выложу таких парочку. Мне они показались неинтересными, я не стал выкладывать их.
            • 0
              Вот, выложил — как обычные мыльницефотки низкого разрешения:
              • 0
                То есть пока что дело в низком размере изображений, получаемых с таких камер? По идее, когда добьются высокого разрешения и все будет в фокусе — качество будет очень интересным?
                • 0
                  Так а зачем? Средненькая мыльница и так отлично справляется с такой задачей.
                  • 0
                    Мне почему-то кажется, что я где-то недопонимаю: отличительная способность этой камеры состоит в том, что она может «сфокусироваться» достаточно резко на элементах, расположенных на разном фокусном расстоянии. И это видно на фотографиях в посте.
                    У мыльницы из-за того, что она не фокусируется ни на чем, все изображение получается недостаточно резким.
                    Так получается, что если выделить все слои, полученные этой камерой, то по моему мнению должна получиться фотография, которая почти вся находится в резком фокусе. А в итоге оказывается, что мы получаем недостаточно резкую фотографию, как у мыльницы. А если так, почему нельзя фотографировать на мыльницу и потом в фотошопе грубо говоря блёрить те части, которые должны быть не в фокусе?
                    Я где-то ошибаюсь, но не пойму где.
                    • 0
                      > У мыльницы из-за того, что она не фокусируется ни на чем, все изображение получается недостаточно резким.
                      Это какая-то очень-очень бюджетная мыльница, даже телефон лучше неё. Мыльница сфокусирована, так сказать, на бесконечность, потому что её гиперфокальное расстояние маленькое. То есть, изображение с мыльницы будет наоборот резким.
                      Отличительная способность этой камеры — избирательный фокус: хочу ближе, хочу дальше. А в мыльница — хочу всё в фокусе и не хочу всё в фокусе.
                    • 0
                      потом в фотошопе грубо говоря блёрить те части, которые должны быть не в фокусе?
                      Я где-то ошибаюсь, но не пойму где.

                      Именно здесь. Более точно, в словах «должны быть». Камера сама примерно знает, какие части в фокусе, а какие нет (на самом деле, ей даже знать не нужно, достаточно нарисовать картинку с нужного слоя). А вам придется из каких-то соображений выбирать эти объекты. И пару соседних слоев — чтобы размытие было более плавным. Мы платим разрешением за информацию о глубине, причем КПД сейчас очень низкий — процентов 10.
                • 0
                  Проблема не в низком разрешении изображения/матрицы, а в низком разрешающем способности куцей оптики, в конструкции которой идут на компромиссы ради дешевизны, большого ГРИП и скромных размеров.
              • 0
                Это уже их программа научилась выдавать? Или результат своей постобработки?
                • 0
                  Не, не научилась. Достал картинки из lfp, выполнил автоматический stacking в фотошопе (находит резкие области и блендит их).
                  • 0
                    А использовать их маски (те, что для выбора области для клика) не получается? Или это сложнее?
                    • 0
                      Всмысле, ту «карту глубины» (depth lookup table), которую выдаёт софт lytro? Она очень грубая, вот такая (это всё изображение целиком).
          • 0
            Перефразирую вопрос (самому сходу тяжеловато разобраться в этой математике):
            если взять сенсор с аналогичными характеристиками (площадь сенсора и отдельного пикселя), объектив с таким же отношением отверстия и фокусного расстояния, и сделать снимок, то глубина резкости у снимка окажется меньше, чем у стека, собранного из данных Lytro, так?
            • +1
              Да, будет меньше в P раз. Теоретически из lytro-вского raw-а можно напрямую получать такое же резкое изображение, какое получилось бы при объединении стека. Просто софт этого не делает (но ничего не мешает реализовать). А теорема как раз устанавливает ограничение на максимальную резкость получившегося итогового изображения (неважно, каким способом мы его получаем).
              • 0
                Ну вот такой тезис, вроде «Lytro дает возможность получить глубину резкости больше, чем фотоаппарат традиционной конструкции, использующий аналогичные компоненты» добавил бы потенциальной ценности технологии.

                А стек, на сколько я понимаю, из таких данных собирать даже лучше, чем из традиционных снимков, т.к. они обладают непрерывностью вдоль оси глубины сцены. То есть Lytro raw — это все равно что традиционный стек с условно бесконечно малым шагом фокуса между кадрами.
                • 0
                  На практике — прерывную: под микролинзой всего 7-8 пикселей в длину.
                  • 0
                    Понятно. Но тут еще, наверное, вопрос: что меньше — разрешающая способность оптики в линейных единицах или линейные размеры пикселей сенсора.
  • 0
    Вот один товарищ написал:

    Plenoptic cameras don't fill any current or anticipated need. They are what technology forecasters call a «dancing bear». For a few minutes, you look and say «wow, a bear is dancing». Then, the novelty wears off
    and you say «why do we need a dancing bear?»
    • НЛО прилетело и опубликовало эту надпись здесь
      • 0
        я в своё время поддержал foveon, ну и чуда не случилось как-то. Не то чтобы совсем, но хотелось хоть чего-то получше.
    • +1
      Так пока никто и не претендует на то, что прямо сейчас это нечто большее, чем занятный высокотехнологичный гаджет. То есть dancing bear — нечто для развлечения.

      А во что это может превратиться в результате развития за 10-20 лет — думаю, сейчас никто себе представить не сможет. Повторюсь — эта технология — вовсе не «просто камера, снимки с которой можно перефокусировать потом».

      Видели, как устроена система, снимающая панорамы StreetView? Она состоит из камер и лазерных сканеров-дальномеров. Пленоптическая камера всего лишь несколько лучшая по характеристикам, чем Lytro, способна заменить связку фотоаппарат+лазерный сканер, при том дать лучшие данные по глубине, точно синхронизированные с изображением, а не искаженные движением автомобиля и последовательным сканированием.
      Всего лишь одно применение сходу.
      • 0
        А я и не говорю, что он плохой или на что-то претендует. Медведь-то танцует, но практической пользы почти нет.
  • –4
    Аналогия с зарей цифровой фотографии неверна и вот почему.

    Главная характеристика камеры — 11 мегалучей, другими словами в фокальной плоскости камеры находятся 11 миллионов микролинз, которые процируют свет на 11 миллионов участков на сенсоре.
    Разрешение картинки на выходе — 1 мегапиксел.

    Другими словами эффективная площадь и бе того крошечного сенсора уменьшается в 11 (!) раз. т.е. примерно 0.8мм по диагонали. Все представили что такое 0.8 миллиметра, да?

    Это в разы меньше чем сенсоры в самых первых камерафонах.

    Получить качественную картинку с такого микроскопического сенсора на данном этапе развития технологий _невозможно_.

    Так что вернемся к этому разговору, когда (и если) кто нибудь разработает сенсор 0.8 мм по диагонали, способный дать динамический диапазон и оптическое разрешение (не путать с мегапикселами) хотя бы на уровне современной бюджетной мыльницы.
    • +5
      Это все не так важно.
      Главное что на рынок вышла первая камера такого типа.
      Дальше уже есть куча возможностей для совершенствования — взять 100-мегапиксельную матрицу и будет 10 мегапиксельное изображение на выходе.
      Либо придумают принципиально новый метод фиксации светового поля — может 3-х мерную матрицу, может просто возьмут 20 объективов и разместят на одном фотоаппарате, сейчас так и делают вот эти товарищи
      Это уже дело техники, как доработать качество.
      Да и, вообще говоря, текущий экземпляр весьма неплох.
      Самое важное, что эта технология дает принципиально новые возможности в фотографии.
  • 0
    Технология напоминает фассетчатое зрение насекомых. Теперь более наглядно можно представить как они видят мир…
  • 0
    В новой прошивке камеры появился ручной выбор ISO и выдержки.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.