Сравнение матриц фотоаппаратов: Матрица · Объектив · Съемка фото · Съемка видео · Фокусировка · Видоискатель и затвор · Дисплей · Память и коммуникации · Вспышка

Сравнение матриц фотоаппаратов: Матрица · Объектив · Съемка фото · Съемка видео · Фокусировка · Видоискатель и затвор · Дисплей · Память и коммуникации · Вспышка · Питание

alexxlab 15.06.1978 Leave a comment

Содержание

Матрица · Объектив · Съемка фото · Съемка видео · Фокусировка · Видоискатель и затвор · Дисплей · Память и коммуникации · Вспышка · Питание


Отзывы
Тип фотокамеры	«беззеркальная» (MILC)	«беззеркальная» (MILC)	«беззеркальная» (MILC)	«беззеркальная» (MILC)	«беззеркальная» (MILC)	«беззеркальная» (MILC)
Рейтинг DxOMark	89	96	85		96
Матрица
Матрица	КМОП (CMOS)		КМОП (CMOS)			КМОП (CMOS)
Размер матрицы	full frame		full frame	full frame		full frame
Полное число МП	32	24.7	27	25	24.7	25
Эффективное число МП	30	24.3	26	24	24. 3	24
Максимальный размер снимка	6720×4480 пикс	6000×4000 пикс	6240×4160 пикс	6016×4016 пикс	6000×4000 пикс	6000×4000 пикс
Светочувствительность (ISO)		100-204800		50-102400	100-204800
Чистка матрицы
Запись в RAW-формате
Объектив
Крепление (байонет)	Canon RF	Sony E	Canon RF	Nikon Z	Sony E	Sony E
Светосила					f/3.5 — f/5.6
Фокусное расстояние					28 — 70 мм
Оптическое увеличение					2.5
Ручная фокусировка
Стабилизация изображения	отсутствует		отсутствует	со сдвигом матрицы		со сдвигом матрицы
Мин. расстояние для фокусировки	4.5 см		4.5 см
Съемка фото
Сюжетные программы						есть
Кадров в серии (JPEG)		177 шт			177 шт
Кадров в серии (RAW)		89 шт			89 шт
HDR
2 диска управления
Замер баланса белого
Экспокоррекция	± 3 EV, с шагом 1/2 или 1/3 EV	± 5 EV, с шагом 1/2 или 1/3 EV	± 3 EV, с шагом 1/2 или 1/3 EV		± 5 EV, с шагом 1/2 или 1/3 EV	± 5 EV, с шагом 1/2 или 1/3 EV
Автобрекетинг
Режимы экспозиции	автоматический приоритет выдержки приоритет диафрагмы ручной режим	автоматический приоритет выдержки приоритет диафрагмы ручной режим	автоматический приоритет выдержки приоритет диафрагмы ручной режим	автоматический приоритет выдержки приоритет диафрагмы ручной режим	автоматический приоритет выдержки приоритет диафрагмы ручной режим	автоматический приоритет выдержки приоритет диафрагмы ручной режим
Система замера экспозиции	точечная центровзвешенная матричная (оценочная)	точечная центровзвешенная матричная (оценочная)	точечная центровзвешенная матричная (оценочная)	точечная центровзвешенная матричная (оценочная)	точечная центровзвешенная матричная (оценочная)	точечная центровзвешенная матричная (оценочная)
Съемка видео
Съемка VGA (480p)	640×480 пикс 30 к/с					640×480 пикс 30 к/с
Съемка HD (720)	1280×720 пикс 120 к/с					1280×720 пикс 120 к/с
Съемка Full HD (1080)	1920×1080 пикс 60 к/с	1920×1080 пикс 120 к/с	1920×1080 пикс 60 к/с	1920×1080 пикс 60 к/с	1920×1080 пикс 120 к/с	1920×1080 пикс 120 к/с
Съемка Ultra HD (4K)	3840×2160 пикс 30 к/с	3840×2160 пикс 30 к/с	3840×2160 пикс 25 к/с	3840×2160 пикс 30 к/с	3840×2160 пикс 30 к/с	3840×2160 пикс 30 к/с
Форматы записи файлов	MPEG-4 (H. 264)	MPEG-4, AVCHD, XAVC S	MPEG-4 (H.264)	MPEG-4, H.264	MPEG-4, AVCHD, XAVC S
Ручная фокусировка видео
Максимальная длина видео						ограничена временем ограничена объемом памяти
Порты подключения	v 1.4 аудиовыход аудиовход микрофона	USB C v 1.4 аудиовыход аудиовход микрофона	v 1.4 аудиовыход аудиовход микрофона	v 1.4 аудиовыход аудиовход микрофона	USB C v 1.4 аудиовыход аудиовход микрофона	USB C HDMI аудиовыход аудиовход микрофона
Фокусировка
Режимы автофокуса	один снимок AI фокус следящий по лицу по улыбке животное в кадре	один снимок следящий по лицу по улыбке	один снимок AI фокус следящий по лицу по улыбке животное в кадре	один снимок следящий по лицу	один снимок следящий по лицу по улыбке	один снимок следящий по лицу
Система автофокусировки	TTL	TTL	TTL	TTL	TTL	TTL
Точек фокусировки	5655 шт	693 шт	4779 шт	273 шт	693 шт	693 шт
Сенсорная фокусировка
Подстройка фронт/бек		?			?
Усиление контуров
Видоискатель и затвор
Видоискатель	электронный	электронный	электронный	электронный	электронный	электронный
Кроп видоискателя	0. 76 x	0.78 x	0.7 x	0.8 x	0.78 x	0.59 x
Охват кадра	100 %	100 %	100 %		100 %	100 %
Выдержка	30-1/8000 с	30 -1/8000 с	30-1/4000 с	30 — 1/8000 с	30 -1/8000 с
Серийная съемка	8 к/с	10 к/с	5 к/с	4.5 к/с	10 к/с	10 к/с
Тип затвора	механический	механический	механический	механический	механический	электронный/механический
Автоспуск
Дисплей
Диагональ дисплея	3.2 »	3 »	3 »	3.2 »	3 »	3 »
Разрешение дисплея	2100 тыс. пикс	921 тыс. пикс	1040 тыс. пикс	1040 тыс. пикс	921 тыс. пикс	921 тыс. пикс
Сенсорный экран
Поворотный дисплей
Дополнительный экран
Акселерометр
Память и коммуникации
2 слота для карт памяти
Типы карт памяти				SD, SDHC, SDXC,		SD, SDHC, SDXC, MemoryStick
Коммуникации	Wi-Fi Bluetooth управление со смартфона	Wi-Fi Bluetooth NFC-чип управление со смартфона	Wi-Fi Bluetooth управление со смартфона	Wi-Fi Bluetooth управление со смартфона	Wi-Fi Bluetooth NFC-чип управление со смартфона	Wi-Fi Bluetooth NFC-чип управление со смартфона
Вспышка
Встроенная вспышка
Подключение внешней вспышки
Питание
Тип питания	Аккумулятор	Аккумулятор	Аккумулятор	Аккумулятор	Аккумулятор	Аккумулятор
Модель аккумулятора	LP-E6N	NP-FZ100	LP-E17	EN-EL15c	NP-FZ100	NP-FZ100
Снимков на заряде	370 шт	610 шт	250 шт	470 шт	610 шт	740 шт
Общее
Модель пульта/синхронизатора		RM-VPR1, RMT-DSLR2			RM-VPR1, RMT-DSLR2
Материал корпуса	магниевый сплав	алюминий/пластик	магниевый сплав	алюминиевый сплав	алюминий/пластик	алюминий/пластик
Защита	пыле-, влагозащита	пыле-, влагозащита	пыле-, влагозащита	пыле-, влагозащита	пыле-, влагозащита	пыле-, влагозащита
Габариты (ШхВхТ)	136х98х84 мм	127х96х74 мм	133х85х70 мм	134x101x70 мм	127х96х74 мм	124x71x60 мм
Вес	660 г	650 г	485 г	675 г	650 г	509 г
Цвет корпуса
Дата добавления на E-Katalog	сентябрь 2018	февраль 2018	февраль 2019	сентябрь 2020	февраль 2018	сентябрь 2020

Влияние размера матрицы на ее характеристики

Наш читатель, Александр Хлупнов, поделился своим мнением о влиянии размера сенсора фотокамеры на ее характеристики. Спасибо, Александр, публикуем вашу статью.

Хотим мы, или нет, но фотоаппарат необходим для регистрации информации, т.е. памяти о каком либо событии. Количественной мерой информации может служить объем фотографии в Мрiх (мегапикселях). Очевидно, чем больший объем информации, тем она ценнее. Для цифровой фотографии объем информации определяется размером матрицы. Качество фотографии зависит от ряда технических характеристик матрицы, таких как глубина цвета (бит), динамический диапазон (ЕВС) и чувствительность ISO (low-light ISO). Наиболее полная характеристика матриц цифровых фотоаппаратов приведена на сайте независимой лаборатории DxOMark. Выберем для примера характеристики некоторых зеркальных фотоаппаратов фирмы Nikon, которые лучше знакомы автору статьи. Это, конечно, профессиональные полнокадровые и аппараты с «кропнутой» матрицей. Для полноты анализа в этой таблице приведены сведения и о некоторых фотоаппаратах фирмы Canon. Приведенная таблица содержит такие данные матриц фотоаппаратов, как разрешение в Мрiк, начальной цене, годе выпуска, общей оценки матрицы на сайте DxOMark, глубине цвета (бит), динамическом диапазоне (ЕВС), чувствительности в ISO (low-light ISO).

Анализ приведенных данных показывает, что у всех рассматриваемых фотоаппаратов, приблизительно, одинаковые значения глубины цвета и динамического диапазона. Фотоаппараты с полнокадровой матрицей имеют выше чувствительность в ISO. Анализ матриц современных зеркальных фотоаппаратов показывает, что у полнокадровых аппаратов при числе ячеек 46 Мрix (D850) размер ячейки составляет 4,35 мкм, что соизмеримо с ячейкой «кропнутой» матрицы 24 Мрix (D7200) – 3,92 мкм. Следовательно, учитывая эти геометрические размеры ячеек матриц, можно сделать вывод о том, что диапазон чувствительности матриц рассматриваемых фотоаппаратов во многом определяется электронным обеспечением фотоаппарата.

Для сравнения влияния размера матрицы на качество фотографии выберем зеркальные камеры с матрицами 24 Мрix, например, D750 и D7200. В этом случае качество фотографии не будет зависеть от размера матрицы, а будет определяться только техническими характеристиками как матрицы, так и фотоаппарата. Из данных таблицы 1 можно сделать вывод, что эти параметры близки.

Таблица 1. Матрицы фотоаппаратов

Модель фотокамеры	Мрiх	Цена	Дата выпуска	Оценка DxOMark	Бит	ЕВС	ISO
Nikon D850	45,7	$3300	08.2017	100	26,4	14,8	2660
Canon EOS 50 Ds	50,6	$3700	02.2015	87	24,7	12,4	2381
Nikon D810	36,3	$3300	06,2014	97	25,7	14,8	2853
Nikon D750	24,3	$2300	09,2014	93	24,8	14,5	2956
Nikon D5	20,8	$6500	01,2016	88	25,1	12,3	2434
Nikon D700	12,1	$2699	07,2008	80	23,5	12,2	2290
Canon EOS 6D	20,2	$2099	09,2012	82	23,2	11,8	2786
Nikon D7200	24,2	$1200	03,2015	87	24,5	14,6	1333
Nikon 1 V1	10,1	$1000	09,2011	54	21,3	11,0	346
Nikon D3400	24,2	$650	08,2016	86	24,8	13,9	1192
Nikon D500	20,9	$2000	01,2016	84	24,1	14,0	1324
Canon EOS 80D	24,2	$1200	02,2016	79	23,6	13,3	1135

Дальнейшее сравнение требует рассмотрение системы «матрица + объектив». Для корректного анализа возьмем характеристики объективов фирмы Nikon (Nikkor), приведенные на сайте DxOMark. При выборе объективов необходимо учитывать, что для сохранения неизменным объема регистрируемой информации требуется соблюдать угол обзора объектива, т.е. для аппаратов Nikon с «кропнутой» матрицей, фокусное расстояние объективов должно быть в 1,5 раза меньше, чем у полнокадровой матрицы. Обычно штатный объектив для аппарата с полнокадровой матрицей 50 мм, а эвивалентный ему штатный объектив для аппарата с «кропнутой» матрицей уже 35 мм. Если использовать зумы, то для полнокадровых матриц применяются штатные объективы 24-70 мм, 24-85 мм, 24-120 мм, а соответствующие им для «кропнутой» матрице 18-55 мм, 16-80 мм, 16-85 мм. Конечно, есть и другие объективы, но для примера выберем ниболее доступные и менее дорогие. Для характеристики объектива приводится общая оценка сайта, начальная цена, год выпуска, резкость в Мрiх, передача Тстор, мскажения %, виньетирование ЭВ, КГИ аберрация в мкм.

Наиболее важной для анализа является резкость объектива в Мрiх, т.к. этот параметр определяет объем информации, которая с помощью объектива передаётся на матрицу фотоаппарата. Остальные характеристики определяют качество передаваемой информации и при анализе могут не учитываться. Так как характеристики объективов зависят от параметров матрицы фотоаппарата, то в этой таблице указано, каким фотоаппаратом получены эти данные.

Таблица 2. Характеристики объективов

Объектив	Цена	Дата выпуска	Оценка DxOMark	Мрiх	Камера
AF Nikkor 50mm f/1.4D	$329	06.1995	37	22	D800E
AF Nikkor 50mm f/1.4D	$329	06.1995	27	15	D500
AF Nikkor 50mm f/1. 8D	$134	02.2002	32	24	D800E
AF Nikkor 50mm f/1.8D	$134	02.2002	22	11	D500
AF Nikkor 50mm f/1.8D	$134	02.2002	29	19	D750
AF Nikkor 50mm f/1.8D	$134	02.2002	21	10	D700
AF-S Nikkor 24-70mm f/2.8 G ED	$1800	08.2007	30	21	D800E
AF-S Nikkor 24-85mm f/3.5-4.5 G ED VR	$599	06.2012	24	17	D800E
AF-S DX Nikkor 35mm f/1. 8 G	$195	03.2009	28	10	D500
AF-S DX Nikkor 16-85mm f/3.5-5.6 G ED VR	$630	01.2008	19	8	D500
AF-S DX Nikkor 18-55mm f/3.5-5.6 G VR	$185	11.2007	17	8	D500
Nikon 1 Nikkor 18.5mm f/1.8	$187	09.2012	13	6	Nikon 1 V1

Сравним снимки, выполненные фотоаппаратом Nikon D750 с объективом Nikkor 50mm f/1.8D и фотоаппаратом D7200 с объективом 35mm f/1.8G. У фотоаппарата D750 разрешение снимка будет в этом случае 19 Мрiх. Для фотоаппарата D7200 с разрешением матрицы 24,3 Мрiх, разрешение объектива 35mm f/1. 8 будет чуть выше, чем у D500, у которого матрица с разрешением 20.9 Мрiх, и может быть принята 11 Мрiх. В результате этого анализа получаем, что на фотоаппаратах с одинаковым разрешением матрицы 24 Мрiх при съёмке на полнокадровой и «кропнутой» матрицах одинаковой области пространства получаем снимки с разным разрешением. Для полнокадровой матрицы, т.е. D750 разрешение 19 Мрiх, а у D7200 – с «кропнутой» — 11 Мрiх.

Подобный анализ можно провести для других объективов и матриц цифровых фотоаппаратов, используя данные DxOMark.

Рассмотрим беззеркальный фотоаппарат (можно сказать квазизеркальный) Nikon 1 V1 с матрицей в 1 дюйм. Объектив 18,5 мм эквивалентен 50 мм на полный кадр (множитель 2,7). Разрешение этого объектива из таблицы 2 – 6 Мрiх, т.е. существенно меньше, чем у фотоаппарата D700 с объективом 50mm (10 Мрiх). Ещё больше разница будет, если применить штатный зум 10-30mm, у которого разрешение всего 3 Мpix.

Съемка аппаратом с «кропнутой», т.е. меньшей по размерам матрицей, приводит к существенному уменьшению объёма получаемой информации по сравнение с полнокадровой матрицей, и как следствие, к ухудшению качества снимка.

Для современных фотоаппаратов с полнокадровыми матрицами постоянно выпускаются новые объективы с увеличенным разрешением, что позволяет увеличить объем получаемой информации, т.е. качества фотографий.

Надеюсь, что приведенный анализ, базирующийся на объективных технических характеристиках, поможет однозначно решить вопрос о том, какой цифровой фотоаппарат лучше, с полнокадровой или «кропнутой» матрицей, или сделать более широкий вывод, о том, что объем информации увеличивается при росте размеров матрицы.

Сравнить размер сенсора(матрицы) фотоаппарата

Дело в том, что измерения могут быть очень запутанными и неясными. Лично я, могу понять, насколько большой APS-C сенсор, по сравнению с полнокадровым сенсором, но у меня были проблемы в понимании того, в каком отношении находится небольшой 1/2.33 (или «1») датчик с другими сенсорами. Когда компания Nokia объявила о выпуске 808 PureView, мне действительно стало интересно, насколько большой, или маленький этот датчик. Теперь есть новый сайт, который называется «Датчик изображения камеры» (cameraimagesensor.com). Тут, вы можете сравнивать размеры и технические характеристики датчиков изображения различных фотокамер.

Сайт cameraimagesensor.com позволяет выбрать конкретный продукт из списка, будь то обычная цифровая камера, камера среднего формата, CSC, DSLR или мобильное устройство, например смартфоны. После того как объект был выбран, вы увидите, размер датчика на экране. Это не фотография в реальном размере, но она дает хорошее представление о том, как соотносятся разные датчики между собой.
Так, что если вы хотите знать, насколько маленьким будет датчик 1/2.3-inch по сравнению с Micro Four Third, или с APS-C, то у вас есть такая возможность. Вы можете сделать это очень просто и наглядно, не вникая в странные цифры и обозначения.

То на сколько, качественным будет изображение, очень влияет размер датчика. Если вы хотите получить хорошее изображение, высокого качества, с минимальным количеством шума, при покупке камеры, вам необходимо остановить свой выбор на фотокамере с большим датчиком.
Таким образом, сайт cameraimagesensor.com, является замечательным мини-сайтом, с помощью которого вы можете получить визуальное представление о размере датчика изображения, и о других интересных технических характеристиках, таких как плотность пикселей, размер (высота) пикселя, размер сенсора в мм, и т.д.

Убедиться в интересных возможностях этого приложения вы можете прямо на нашем сайте, либо посетив сайт cameraimagesensor.com

таблица размеров, сравнение типов. Как проверить ее на битые пиксели? Что это такое?

Покупатели фототехники обязательно должны знать все о матрице фотоаппарата. Большое значение имеют и разрешение, и уровень светочувствительности этого устройства. Внимание надо уделить и марке, которая производит такие детали.

Что это такое?

Матрица фотоаппарата — это примерно то же самое, что сердце или мозг для живого организма, что двигатель для автомобиля или крыша в доме. Если она не работает или работает некачественно, исправность всех остальных частей фотокамеры не имеет никакого значения. К сведению: в ряде источников употребляется еще термин «сенсор» или «датчик». Если не оговаривается, что это за «сенсор» конкретно, то подразумевается как раз матрица.

Она устроена очень сложно, ведь это микросхема, образованная фотодиодами. Интенсивность светового потока определяет интенсивность вырабатываемого электрического сигнала. Собственно, для его выработки матрица и нужна. При ее поломке, как уже ясно, любой фотоаппарат — бесполезный кусок металла, пластика и стекла. Преобразование импульса в цифровой сигнал происходит при помощи специального устройства; оно или встраивается в матрицу, или находится отдельно.

Свет преобразуется в биты по специальному протоколу. На один светодиод приходится один пиксель изображения. Чтобы добиться получения цветной картинки, основной части матрицы «помогают» специальные фильтры. С точки зрения оптики, матрица — точный аналог пленки, использовавшейся в старых фотокамерах. Отличаются только внутренние физические процессы и отсутствуют химические изменения, а работа со светом происходит полностью идентично.

Основополагающим параметром сенсора является так называемая характеристическая кривая, прямо связанная с фотографической широтой. Эта линия проложена между крайними точками правильной экспозиции. При выходе за эти пределы кривая на графике будет изгибаться. На снимках это проявляется существенным падением контрастности. В цифровой фотографии дополнительные ограничения накладывают и свойства аналого-цифровых преобразователей.

Обзор типов

При поверхностном даже ознакомлении с рынком фототехники нетрудно заметить, что она оснащается различными видами матриц.

По технологии считывания

CCD – в русскоязычных источниках обычно ПЗС – подразумевает последовательное считывание. Очевидно в связи с этим серьезное ограничение на скорость фотографирования. Обязательно придется выжидать некоторое время, пока формируется предыдущее фото. Характеристики КМОП (CMOS) в этом отношении лучше, такие матрицы привлекательнее при использовании автофокуса.

Именно КМОП стараются использовать для экспонометрии. Но и самые обычные фотографы стремятся покупать как раз модели на базе CMOS. Помимо лучшего качества снимка, они могут похвастаться относительной дешевизной и меньшими затратами ресурса батареи при фотографировании. Иногда встречаются матрицы из трех слоев, чаще всего каждый из них выполнен по технологии ПЗС. Коммерческое обозначение — 3CCD; оборудование с такой начинкой предназначено для профессиональных съемок.

В аппаратах Panasonic используется методика Live-MOS. От традиционной МОП-технологии этот метод отличается тем, что на один пиксель приходится меньше соединений. Это позволяет уменьшить напряжение. Такое конструктивное решение в сочетании с упрощенной передачей регистров и сигналов управления гарантирует получение «живых» кадров. Одновременно исключается перегрев и повышенный уровень шумов.

Фирма Fujifilm использует особый тип матриц. Их называют Super CCD. Предусмотрено наличие крупных зеленых пикселей для пониженной освещенности. Маленькие зеленые пиксели не отличаются от синих и красных точек.

Такое конструкторское решение позволило нарастить фотографическую широту матрицы.

В зависимости от светофильтра

Но сравнение матриц возможно еще и по виду используемого светофильтра. В трехматричных системах применяются дихроические призмы. Внутри таких призм световой луч будет делиться на 3 главных цвета. Потом зеленый, красный и синий потоки направляются на соответствующие матрицы. Особенности:

оптимальная передача цветового перехода;
исчезновение цветных муаров;
сокращение уровня шумов;
повышенное разрешение;
возможность цветовой коррекции до матричной обработки, а не только после нее;
увеличенные размеры;
несовместимость с объективами, имеющими небольшой рабочий отрезок;
трудность сведения цветов, которая достигается только при очень тщательной юстировке.

Другой вариант — массив мозаичных фильтров. Название говорит само за себя: пиксели располагаются в единой плоскости, и каждый под «своим» светофильтром. Если информации о цветах не хватает, на помощь приходят алгоритмы цифровой интерполяции. Увеличение чувствительности к свету достигается ухудшением цветопередачи и наоборот. Раньше всего применялся вариант RGGB.

А также известны схемы:

Есть также технология получения матриц с полноцветными кадровыми точками. Метод, разработанный фирмой Foveon, подразумевает размещение световых детекторов в три слоя. Корпорация Nikon пошла по иному пути. У ее разработки три основных луча обрабатываются при помощи микролинзы и трех фотодиодов, а затем с каждого пикселя поступают на дихроичные зеркала. Уже эти зеркала перенаправляют световой поток на детекторы; несмотря на внутреннюю сложность, привлекательна возможность обойтись без изощренной юстировки.

Размеры

Основные габариты матриц фотоаппаратов приведены в таблице (на примере популярных моделей).

Не надо путать физический формат матрицы с ее оптическим разрешением. Вполне могут быть как крупные сенсоры с относительно малой четкостью, так и очень качественные малогабаритные датчики света. Но в целом все же прослеживается закономерность: с большой матрицей чаще всего связана и большая чувствительность, и хорошая детализация картинки. Просто потому, что при таком условии реализовать ее проще.

Но надо понимать, что величина матрицы в полной мере влияет на размеры и массу камеры. Ведь именно от этого компонента зависит габарит оптической системы фотоаппарата в целом. Но линейные размеры матриц прямо связаны и с цифровым шумом. Если габариты приемника света увеличивают, растет общее количество полезной оптической информации. Удается повысить яркость изображения и насытить его естественными тонами.

На дешевых камерах обычно используются матрицы размером около 2/3 дюйма. А вот сенсоры габаритом 1 дюйм применяются преимущественно в полнокадровых фотоаппаратах. Однако за последние годы удешевление производства больших световых датчиков несколько изменило эту картину. Важно учитывать, впрочем, еще и роль размера пикселей. Чем они крупнее, тем толще изоляция на разделительных контурах, и тем меньше ток утечки.

Количество мегапикселей и разрешение

Эти параметры обязательно фигурируют и в рекламе, и в описаниях на ценниках. Особенно важно разрешение, когда планируют печатать снимки на бумаге или просматривать их на телевизорах, на больших компьютерных мониторах. А вот для фотографий размером 10х15 см можно обойтись и 3 Мп. А самые продвинутые телевизоры все равно не показывают больше 2 миллионов пикселей. Вот почему реально оценить достоинства снимков высокого разрешения не выйдет, это скорее маркетинговая уловка.

При этом чем больше пикселей заявлено, тем крупнее должна быть матрица. Рассогласование этих параметров неизбежно вызовет зашумление снимков. Кроме того, они будут неизбежно срезаны по ширине.

Внимание: стоит учитывать разрешение не только самой матрицы, но и объектива. Об этом часто забывают, а затем получают весьма странные результаты.

Параметры светочувствительности

Эти свойства значимы при съемках на фоне плохой освещенности. Чем чувствительнее матрица, тем четче будут снимки. Манипулируя ISO, влияют на яркость кадра без перенастройки диафрагмы и выдержки. Суть в том, что усиливают электрический ток, а не повышают чувствительность фотоэлементов. Проблема — когда используется крупный зум, будут усиливаться и шумы.

Поднимать величину ISO стоит только в ситуациях, когда:

задний план недостаточно освещен;
вспышку применять нельзя;
приходится снимать с рук.

Принято считать, что:

ISO на 100-200 единиц достаточно для уличных съемок при приличном освещении;
400-800 ISO хватает для комнат с искусственным светом;
ISO от 800 до 1600 нужен, чтобы фотографировать ночью;
показатели свыше 1600 потребуются только для фотографирования на концертах и подобных мероприятиях.

Самые лучшие производители

Рейтинг изготовителей фотографических матриц весьма лаконичен. Список фирм, которые этим занимаются, в целом невелик. Даже такая компания, как Nikon, хоть и разрабатывает сама матрицы, фактическое производство отдает другим организациям. Часто заказы передаются Sony. А также руководство компании утверждает, что делает заказы и у Fujitsu.

Фирма Sony является одним из крупнейших мировых производителей фотографических матриц. Ими оснащаются также собственные фотоаппараты под этим брендом. Лишь Canon опережает его по объему производства матриц (только для собственных нужд). Еще стоит отметить продукцию:

Samsung;
Panasonic;
Kodak;
E2V;
Aptina;
Sigma;
Foveon.

Как проверить на битые пиксели?

Как бы ни старались производители, пыль и другие факторы, просто повседневная эксплуатация неизбежно будут сказываться на характеристиках матриц. Их обязательно надо проверять на битые и горячие пиксели. Такая проверка зеркального фотоаппарата производится следующим образом:

отключают подавление шумов;
чувствительность матрицы выставляют на минимум или на близкое к нему значение;
задают ручной режим экспозиции;
выключают автофокус.

Важно: ни один пункт пропускать нельзя. В противном случае никакого точного представления о свойствах матрицы получить не удастся. Сам тест состоит в фотографировании без снятия крышки объектива. Выдержка должна составлять по 3 кадрам 1/3, 1/60 и 3 секунды. Далее отснятое изображение просматривают в максимально возможном разрешении, лучше всего — увеличив на экране компьютера.

На снимке с выдержкой 1/3 секунды не должно быть цветных или серых точек. Обнаружив хотя бы несколько таких включений, надо ознакомиться с кадром, сделанным при выдержке 1/60. Если там подозрительных точек нет или существенно меньше, можно считать, что первая стадия оценки прошла успешно. На самой длинной выдержке даже у полностью исправной матрицы неизбежно обнаружится 5 или 6 цветных точек. Таковы неизбежные физические процессы, и они не ухудшат каким-либо образом картинку.

Цветные точки могут появляться при высокой чувствительности. Так тоже проявляются горячие пиксели. Но это компенсируется очень легко — достаточно включить шумоподавитель. Проблемой являются видимые при средней выдержке и малом ISO многочисленные точки. Когда их больше 5 штук, стоит отложить камеру и приступить к проверке другого фотоаппарата, иначе деньги будут брошены на ветер.

В следующем видео смотрите о матрице фотоаппарата.

Эксперт Sony Александр Бахтурин делает обзор матриц. Часть 1

Александр Бахтурин

Преподаватель отдела маркетинга, эксперт компании Sony

В начале 1990-х годов появились новые автомобильные журналы, и я познакомился с автожурналистами, много для них снимал. Случались заказы от представительств и ведущих автосалонов, которые тогда были распространены, едва ли не как газетные киоски. Выигрывал я, в числе прочего, за счет качества цвета, точно подбирая фотоплёнку под задачу. Например, для алого автомобиля — Kodak, всегда более тёплую по картинке; для синего-зелёного — самую простую пленку Fujifilm; а для серо-cеребристых Audi — обязательно Agfa. Потому что статьи специалистов Agfa в германском журнале FotoMagazin и американском Popular Photography читал всегда…

От пленки к цифре

В 1995 году в интервью о перспективах развития цифрового рынка специалист Agfa ответил следующее: «Невозможно сравнивать современные 2-6-мегапиксельные матрицы с построчным переносом с кадром плёнки, который за тысячную долю секунды захватывает изображение в 18 Мпикс. с идеальной цветопередачей». И никакая пыль, как в случае использования сенсора в камере со сменной оптикой, на плёнку не влияет. И каждый следующий кадр является новым. Да, таковы были важнейшие преимущества.

Плёнки лучших компаний-производителей были рассчитаны на различные цветовые задачи: от примитивных по цвету, но ярких, любительских до профессиональных, передающих тончайшие оттенки. Про-эмульсии к концу 1990-х годов состояли из 3-4 чувствительных слоёв, в которых были распределены серебросодержащие молекулярные агрегаты, чувствительные к различной длине световой волны. По прошествии 20 лет мы можем говорить об эмульсионных носителях с 15 слоями!

Плёнка остаётся высоко ценимым инструментом профессиональных фотохудожников, но в любительской и коммерческой скоростной фотографии победила цифра. Главное в нынешнем цифровом фотоаппарате — сенсор. Если плёнку можно выбрать «под задачу» — с определённой зернистостью, цветопередачей и проработкой переходов серого, то сенсор покупается в цифровике раз и на… 3-7 лет. Это плёночная камера живёт долго. Есть 80-летние аппараты, используемые и сегодня с удовольствием. А 50-летние не хочется из рук выпускать…

Сенсор — не поменяешь, к его характеристикам и особенностям придётся «прикипеть». Цифровая камера рассчитана на 5-7 лет. И у любителя, и у профессионала она может трудиться 10 лет, а может рассыпаться через месяц. Как правило, через 2-3 года цифровая камера станет «немодной»; через 3-4 года действительно устареет; а через 5 лет будет не более чем историческим артефактом. Потому как скорость падения цены при вторичной продаже после года пользования весьма высока.

Каковы основные типы современных фотосенсоров?

ПЗС/CCD

ПЗС — система накопления заряда. Фотон света, попадающий в полупроводниковый прибор, поглощается зоной кремниевой подложки р-типа, в которой имеется дефицит электронов. Накопление электронов при воздействии света это и есть фотоэффект. «Накопительные ямы» связаны между собой, и заряд перетекает от одного к другому линейно и далее к считывающему регистровому ПЗС, который служит накопителем сигнала (помните, ПЗС изначально это элемент памяти?). Процессом подачи электро-потенциалов на ячейки сенсора управляет микросхема с тактовым генератором, он же контролирует считывание сигнала с регистров. Этот аналоговый сигнал попадает в усилитель и декодируется в аналогово-цифровом преобразователе. Мы получили чёрно-белое изображение.

Такой высокочувствительный сенсор нуждается в механическом затворе — считывание производится только после прекращения накопления заряда ячейками-пикселами. Интервал между срабатываниями затвора будет зависеть от скорости считывания. Энергопотребление весьма высоко, при работе выделяется много тепла, паразитно влияющего на сохранение и перенос заряда.

Первые сенсоры были весьма просты, их принцип ещё в 1908 году описал шотландский учёный Арчибальд Свинтон, придумавший электронно-лучевую трубку. В 1969 году Уиллард Бойл и Джордж Смит из компании AT&T Bell Laboratories сформулировали идею технического задания по созданию ПЗС, и уже в 1972 году Texas Instruments запатентовало устройство записи изображений с ПЗС-сенсора на магнитную ленту. Собственно, лаборатории работали над созданием устройства памяти для видеотелефонии, но уже в 1970 году они делали фотосъёмку с помощью линейного ПЗС-сканирования: фотоэлектрический эффект оказался важнее эффекта накопления заряда.

В 1973 компания Fairchild начала выпуск ПЗС-матриц с картинкой 100х100 пикс. В 1975 году Стив Сассон из компании Kodak создал на такой матрице первый цифровой фотоаппарат. Запись изображения шла в течение 23 с, в полтора раза дольше информация сохранялась на 8-мм видеокассете. Масса камеры достигала 3,6 кг. В 1976 году на производстве компании Procter&Gamble работала первая коммерческая камера Fairchild MV-1. И только в 1978 году было впервые запатентовано устройство цифровой фотокамеры.

О роли компании Sony в развитии ПЗС-технологий

Огромный вклад в развитие рынка цифровых видео- и фотокамер внёс президент корпорации Sony America Кадзуо Ивама/Kazuo Iwama. Его коммерческое чутьё подвигло Sony вложить в производство ПЗС огромные средства и наладить массовое производство видеокамер. После его смерти в 1982 году ПЗС-микросхема была вмонтирована в надгробную плиту.

В 1980 году компания Sony представила первую цветную ПЗС-видеокамеру XC-1. В 1981 г. Sony объявила о начале производства Sony Mavica (Ma-vi-ca — магнитная видеокамера — прим. ред.), записывавшая NTSC-видео с разрешением 570×490 пикс. на 2-дюймовый флоппи-диск Mavipak/Video Floppy VF-50, где помещалось 50 фотографий. В 1982 году Mavica превратилась в прототип, как две капли воды напоминающий современные модели Sony A7, со сменной оптикой и адаптером под объективы Nikon Ai. Идея камеры обогнала развитие цифровой фотографии на 35 лет!..

На Олимпийских играх 1984 года в Лос-Анджелесе компания Canon показала устройство Still Video System D413, позже превратившееся в первый цифровой фотоаппарат Canon RC-701 (1986). В 1990 году компания Kodak разработала первый цифровой встраиваемый модуль DCS Digital Film Back с внешним сохранением информации для профессионального Nikon F3HP, получив камеру Kodak DSC-DC3/DM3 в 5 кг весом с разрешением 1,3 Мпикс. сенсором Kodak M3. Калифорнийская Dycam в это же время выпустила первую действительно компактную ч/б цифровую камеру Dycam Model 1, продававшуюся как Logitech FotoMan FM-1. В 1995 году компания Sony выпускает первый массовый аппарат Sony Cyber-shot DSC-F1 (1/3″ CCD; 0,3 Мпикс.; 640×480) с ЖК-дисплеем и поворотным модулем объектива. Кстати, схема дожила до 2010 года в модели Sony Bloggie MHS-PM5.

В 2009 г. Уиллард Бойл и Джордж Смит получили Нобелевскую премию по физике за создание ПЗС.

Продолжение материала (часть 2) читайте здесь.

описания всех типов и видов матриц фотоаппаратов

Добрый день, друзья!

Продолжаем сегодня знакомство с устройством фотоаппарата. Привел ссылку, где обзорно рассказывал о принципе работы фотокамер. Далее мы детальнее остановимся на отдельных элементах, о которых в общих чертах фотограф должен иметь понятие. Если будут встречаться непонятные для вас определения или термины, ничего страшного, просто продолжайте читать, и вы обязательно поймете суть. Уверен в этом! А важно именно общее понимание.

Статья довольна объемная, поэтому для удобства навигации оформил для вас содержание 🙂

1. Матрица в фотоаппарате. Что это такое?
2. Дискретная структура матрицы
3. Матрица – аналог пленки
4. Экспонирование матрицы
5. Характеристики матрицы
5.1. Физический размер матрицы фотоаппарата
5.1.1. На что влияет размер матрицы?
5.1.2. От размера матрицы зависит:
5.1.3. Чем больше матрица, тем:
5.2. Тип матрицы
5.3. Чувствительность матрицы. ISO
5.4. Соотношение сигнал/шум
5.5. Разрешение матрицы
5.6. Практические особенности размера пикселя:
5.7. Динамический диапазон матрицы
6. Резюмируем

Итак…

Разделы статьи

Что это такое?

Обзор типов

По технологии считывания

Такое конструкторское решение позволило нарастить фотографическую широту матрицы.

В зависимости от светофильтра

оптимальная передача цветового перехода;
исчезновение цветных муаров;
сокращение уровня шумов;
повышенное разрешение;
возможность цветовой коррекции до матричной обработки, а не только после нее;
увеличенные размеры;
несовместимость с объективами, имеющими небольшой рабочий отрезок;
трудность сведения цветов, которая достигается только при очень тщательной юстировке.

А также известны схемы:

Размеры

Основные габариты матриц фотоаппаратов приведены в таблице (на примере популярных моделей).

Немного технических сведений

Матрицы цифровых фотоаппаратов делятся на два основных типа по применяемым полупроводникам и технологии считывания информации.

Тип матрицы ПЗС (CCD) — самый распространенный. Это достаточно дешевая технология, информация об изображении считывается последовательно с каждой ячейки.
КМОП матрицы CMOS дороже, но эффективнее в плане скорости работы, поскольку позволяют считывать данные сразу со всех светочувствительных элементов. Такие сенсоры устанавливаются в дорогих камерах, поскольку ни один производитель не пройдет мимо шанса предоставить пользователю возможности съемки с очень малыми выдержками, что в свою очередь усложняет аппаратно-программный комплекс.

Большинство фотоаппаратов пользовательского класса оснащено ПЗС матрицами. При этом ставится вполне ожидаемое условие: для получения действительно качественных снимков при естественном освещении (или при недостаточном) лучше использовать штатив, поскольку время выдержки будет значительным. Аналогично — не получится делать снимки крайне быстро, поскольку нужно время на получение и обработку изображения.

Некоторые производители решают последнюю проблему достаточно просто: оснащают фотоаппараты буфером памяти. Туда помещаются кадры до обработки, когда ведется съемка в так называемом спортивном режиме — серией за короткий промежуток времени.

Дорогие фотокамеры, оснащенные КМОП матрицами, позволяют делать снимки «с рук» с малой выдержкой, имеют высокую светочувствительность и низкий уровень шума. С помощью такого оборудования можно проводить экспонометрию, снижается время автофокусировки, естественно, легко сделать хороший кадр.

Еще одна технология, которая применяется в самой дорогой фототехнике — многослойные матрицы. Это не очередной пункт в списке «виды матриц». Светочувствительная зона таких аппаратов состоит из трех слоев ПЗС, каждый из которых считывает только один цвет. В результате качество изображения просто потрясает. Техника с данной технологией особо маркируется: 3CCD.

Последнее, что стоит упомянуть, – технологические размеры матриц. ПЗС сенсоры можно сделать маленькими, они построены на кремниевых элементах. А КМОП матрицы достаточно большие, что является еще одним рациональным доводом в пользу их применения в дорогой профессиональной технике.

Параметры светочувствительности

Поднимать величину ISO стоит только в ситуациях, когда:

задний план недостаточно освещен;
вспышку применять нельзя;
приходится снимать с рук.

Принято считать, что:

ISO на 100-200 единиц достаточно для уличных съемок при приличном освещении;
400-800 ISO хватает для комнат с искусственным светом;
ISO от 800 до 1600 нужен, чтобы фотографировать ночью;
показатели свыше 1600 потребуются только для фотографирования на концертах и подобных мероприятиях.

Самые лучшие производители

Samsung;
Panasonic;
Kodak;
E2V;
Aptina;
Sigma;
Foveon.

Как проверить на битые пиксели?

отключают подавление шумов;
чувствительность матрицы выставляют на минимум или на близкое к нему значение;
задают ручной режим экспозиции;
выключают автофокус.

Важно: ни один пункт пропускать нельзя. В противном случае никакого точного представления о свойствах матрицы получить не удастся. Сам тест состоит в фотографировании без снятия крышки объектива. Выдержка должна составлять по 3 кадрам 1/3, 1/60 и 3 секунды. Далее отснятое изображение просматривают в максимально возможном разрешении, лучше всего — увеличив на экране компьютера.

В следующем видео смотрите о матрице фотоаппарата.

Количественный показатель качества

Задавая себе вопрос, какая матрица фотоаппарата лучше,- можно достаточно быстро получить ответ без необходимости вникать в технологические особенности. Обратите внимание на следующие характеристики:

заявленное количество мегапикселей в характеристике камеры;
эффективное количество пикселей, которое ответственные производители указывают в документации к фотоаппарату;
возможные размеры изображений, которые можно делать с помощью камеры.

Производители дешевых моделей фотоаппаратов часто лукавят, указывая, прежде всего, размерность картинки и выставляя огромные цифры как эффективный рекламный ход. Это не говорит о качестве получаемых снимков. Типы матриц фотоаппаратов могут быть разного класса. Однако если сенсор не имеет достаточной разрешающей способности, большие изображения на выходе будут иметь низкую детализацию и высокий уровень шума.

Еще больше о качестве камеры скажет соотношение между заявленными мегапикселями матрицы и количеством эффективных точек. Это напрямую говорит о применяемой оптике. Если аппаратная часть выполнена ответственно, заявленное и эффективное количество пикселей будет почти одинаково, что не только положительно характеризует продажную цену, но и напрямую отвечает за качество снимков.

Live-MOS

Описание

Изготовителем и пользователем является Panasonic. В основе лежит МОП-технология, но с меньшим затрачиванием напряжения. Особенность этой разновидности – картинка в режиме «live» без перегрева и повышения уровня шумов.

Достоинства

· В статичном положении затраты электроэнергии минимальны.
· Фотоаппараты минимизированы, так как используется один и тот же способ изготовления с остальными частями камеры. Поэтому можно расположить электронику пикселей в одной части.
· Пользователю под силу настраивать усиление всех цветовых ячеек, что заметно улучшает передачу цвета.

Недостатки

· Часть чувствительного к свету компонента находится в одинаковых пропорциях с чувствительностью.
· Появление шума на изображении. Причиной этому является отдельная электрическая цепь для каждого пикселя, и у каждого пикселя отдельная зависимость между экспозицией и выходным зарядом.
· Возникает перегрев и шум из-за электрических компонентов.

Super CCD-матрица

Описание

Матрицы под названием Super CCD используются в камерах Fujifilm. В них имеются большие и маленькие зелёные пиксели. Это увеличивает фотографическую широту матрицы. Пиксели в данном варианте не прямоугольные, а восьмиугольные.

Достоинства

· Сильной стороной является тот момент, когда изображение, которое находится в объективе содержит строго горизонтальные или вертикальные линии.
· Повышенная чувствительность.
· Расширенный динамический диапазон.

Недостатки

· в отличие от классической матрицы SuperCCD пропустит диагональные линии, из которых и состоят объекты в действительности.

QuantumFilm

Описание

Матрица, основным элементом которой выступают квантовые точки. Именно из-за того, что применяется уникальная технология на квантовых точках, происходит почти 100% захват света. Это позволяет обеспечить высокую чувствительность света при низкой освещённости. Это матрица будущего.

Достоинства

· Низкая цена, поскольку соединяются две технологии: традиционная с использованием кремния и новая с квантовыми точками.
· Размер сенсора значительно меньше за счёт квантовых точек.
· Эта модель, которая очень чувствительна к свету обладает в несколько раз большим действием, а её динамический диапазон в два раза превышает диапазон обычных матриц, изготовленных по технологии КМОП или CMOS, как её ещё называют. Это преимущество возникает благодаря появлению квантового эффекта.
· Материал квантовой точки, из которого она изготовлена, одновременно является своего рода линзой и усилителем. При этом свет фокусируется на кремниевом элементе, который произведён по технологии CMOS.

Формирование изображения в фотокамере

Матрица, фотодатчик, сенсор – это названия одного и того же устройства, входящего в конструкцию фотоаппарата и являющегося его основным элементом. По конструкции матрица это прямоугольная пластинка разных размеров из химически чистого кремния, на которой методом вакуумного напыления организовано большое количество n-p переходов. Эти переходы представляют собой светочувствительные фотодиоды или фототранзисторы. Таким образом, матрица это интегральная микросхема с несколькими миллионами светочувствительных элементов. Когда на фотодиод попадет свет, он преобразуется в электрический сигнал. В зависимости от объекта съёмки количество света может быть большим или меньшим. Электрические потенциалы с матрицы считываются построчно или поэлементно, затем обрабатываются процессором.

Физическая геометрия сенсора

Физический размер матрицы фотоаппарата в миллиметрах — еще один фактор, который не только напрямую отвечает за качество снимков, но и очень сильно формирует цену камеры. У самых лучших моделей соотношение размерности, которое основано на стандартном формате пленки 35 мм, близко к единице. Чем дешевле модель, тем выше показатель «кроп», обрезки, который сигнализирует о том, что матрица меньше по габаритам.

Чем меньше площадь сенсора, тем ниже охват визуального пространства перед объективом и:

ниже общее количество света, которое падает на матрицу, следовательно, приходится повышать светочувствительность и увеличивать цифровой шум;
больше теряется малых деталей, появляется размытие, это вызывают малые размеры, до которых преобразуется кадр.

Высокие значения кропа в фотоаппарате также означают, что разница в освещенности объектов в поле зрения фотоаппарата будет сглаживаться, что очень негативно сказывается на снимках, полученных в вечернее время без вспышки, например.

Коэффициент размерности указывается в документации к камере. Неважно, ориентируетесь ли на бюджетную или профессиональную модель — лучше будет купить аппарат с большой в геометрическом смысле матрицей.

Матрица в фотоаппарате. Что это такое?

Матрица в камере – это основной элемент, при помощи которого мы получаем изображение. Также часто называется сенсором или датчиком. Представляет собой микросхему, состоящую из фотодиодов – светочувствительных элементов. В зависимости от интенсивности попадающего света фотодиод формирует электрический сигнал разной величины, который впоследствии преобразуется в цифровой при помощи отдельного АЦП или встроенного в матрицу.

Матрица фиксирует свет и превращает его в набор битов (0/1), который затем формирует цифровое изображение.

Выглядит она следующим образом:

Матрица в фотоаппарате

Блестящая прямоугольная пластина по центру – это она и есть. А по краям фотографии байонет камеры.

Какие типы матриц бывают

Виды этого элемента напрямую влияют на принцип его работы. Существует несколько основных типов. Среди них:

ПЗС. У прибора с зарядной связью структурным элементом выступает транзистор. Такая матрица имеет приятный ламповый цвет. Когда-то этот тип был широко распространён. Но постепенно его вытеснили более современные микросхемы.
КМОП. Относительно новый вид, который активно стал использоваться около 12 лет назад. Особенность технологии — аппарат производит выборку отдельного пикселя по схожей схеме со стандартной системой памяти. Каждый пиксель оснащён усилителем. КМОП позволяет получить полную картинку, не теряя границ изображения — боковых, верхних и нижних. Технология меньше «шумит» на снимках и отличается большим энергосбережением.
Live-MOS. Такой тип выпускается только одной компанией. Основа технологии — МОП-матрица. Она позволяет создавать изображения хорошего качества, с низким уровнем шума. Тип исключает перегрев камеры.

Какой фотоаппарат выбрать

При желании снимать всё подряд, не задумываясь о высоком качестве снимка, можно приобрести любой фотоаппарат типа компакт или «мыльница». Отсутствие ручных режимов, большое количество сюжетных программ и фокусировка на лица, делает такой фотоаппарат простым в обращении и удобным для бытового использования. Для получения качественных снимков подойдёт недорогой фотоаппарат с матрицей большего размера и с возможностью ручной установки некоторых параметров съёмки. Ещё больше возможностей предоставляет пользователю беззеркальная камера «суперзум». Обладая небольшими размерами, она позволяет снимать интересные сюжеты на большом удалении от объекта съёмки, поэтому подойдёт для туристов и путешественников. Самые качественные снимки получаются с помощью зеркальной камеры, хотя её применение ограничивается большими размерами и весом. Если Вы хотите узнать все нюансы выбора фотокамеры, наши эксперты подготовили подробные инструкции в статье как выбрать фотоаппарат.

Физический размер матрицы

На качество снимком влияет не только тип матрицы, но и ее размер. Обозначается он в дюймах.

Размер матрицы фотоаппарата напрямую зависит от количества и размера пикселей. Размер пикселей зависит от того, какой светочувствительностью он наделен. И чем больше пиксели по размеру, тем больше световых лучей они могут собрать. Соответственно, чем больше матрица, тем меньше шума на снимках и больше светочувствительность.

Полная матрица равна кадру снимка пленочным фотоаппаратом в 35 мм (2,4Х3,6 см) или crop 1. После появления цифровых камер, принцип работы не изменился, только пленку сменила матрица. Но, полномерный фотодатчик имеет большие размеры, вес и производители пошли на уменьшение его размера.

Если размер матрицы фотоаппарата меньше стандартного, то она называется кроп-фактор, в обиходе «камера с кропнутой матрицей». Значение отображает во сколько раз фотодатчик меньше кадра пленки.

ВАЖНО! Размер матрицы фотоаппарата имеет большое значение: объектив с меньшим фотодатчиком обрежет изображение, а если съемка делается полноразмерным, то кадр будет шире и угол обзора больше.

Самые распространенные модели фотоаппаратов имеют кроп-фактор размером 1,3; 1,5; 1.6 и 2, то есть меньше пленочного кадра в 1,3 раза и так далее. Хотя на рынке представлены модели с полноразмерной матрицей и называются они полнокадровыми цифрозеркальными аппаратами.

Размеры матриц фотоаппаратов компактного типа меньше полноценного фотодатчика в 25 раз.

Таблица самых распространенных размеров:

Размер в дюймах	В какой технике устанавливается	Ширина, мм	Высота, мм
35 мм	полноразмерной	36	24
1/2 от 35 мм	в дорогой, профессиональной	22	15
4/3	в дорогой, профессиональной	18	13,5
2/3	в дорогих компактных аппаратах с несъемной техникой	8,8	6,6
1/1,8	в дорогих и средних по цене камерах	7,2	5,3
1/3,2	в дешевой компактной аппаратуре	4,5	3,4

СОВЕТ! Выбирая камеру, отдавайте предпочтение той, у которой размер фотосенсора больше.

Физический размер матрицы видеокамеры, фотоаппарата влияет на общий вес камеры и габаритные размеры.

Критерии выбора

Отмечались основные характеристики, влияющие на окончательный результат снимка. В первую очередь необходимо определиться с ценовым сегментом. Чем бюджетнее будет аппарат, тем более низкое качество съёмки у него.

Стоит подробнее разобрать все перечисленные характеристики микросхемы, чтобы понимать, что именно от них зависит.

Размер микросхемы влияет на величину пикселей и плотность их расположения по отношению друг к другу. Чем меньше будет плотность, тем минимальнее получается уровень нагрева поверхности. Это приводит к усилению соотношения между шумом и сигналом, что делает фотографию более чёткой. Именно габариты матрицы считаются одним из важнейших параметров при выборе фотоаппарата.

От размера микросхемы зависит уровень шума на снимках, насколько глубокими и насыщенными будут цвета. Также параметр влияет на динамический диапазон и размер самой камеры. Последнее не менее важно. Ведь работать с фотоаппаратом должно быть удобно.

Большая матрица позволяет добиться низких показателей шума. Это связано с тем, что увеличенная поверхность микросхемы принимает и пропускает больше световых лучей. Шум будет сниженным даже в условиях съёмки при плохом освещении. Никаких лишних точек на фотографиях не будет.

Также крупная матрица отличается широким динамическим диапазоном и хорошей цветопередачей. Оттенки получаются глубокими и насыщенными. Это значит, что камера сможет идентифицировать различные изменения и погрешности цвета, даже если они едва заметны. Особенно важен параметр для тех, кто любит фотографировать однотонные пейзажи без резких перепадов тонов. Большая матрица легко улавливает цветовой переход, даже если сильных различий по оттенкам нет.

Ключевой недостаток такого аппарата сводится к большому размеру камеры. Увеличение микросхемы ведёт к увеличению самого устройства. Конечно, придётся привыкать работать с крупной камерой. Но с учётом полученных результатов при фотосъёмке, этот недостаток нельзя назвать существенным. Но подобные модели могут быть довольно дорогостоящими. Это также стоит учитывать.

@The Appliances Reviews

При выборе подходящего фотоаппарата необходимо обращать внимание на габариты матрицы и её стоимость. Оба параметра — основные, позволят подобрать камеру в лучшем соотношении цена/качество.

Матрица — одна из важнейших деталей в фотоаппарате. Именно от неё зависит качество получаемых снимков. Поэтому к её выбору необходимо подходить серьёзно. Для новичка следует выбирать модели проще, на которых он сможет потренироваться и отточить мастерство. Для дальнейшей работы в качестве профессионала рекомендуется приобрести фотоаппарат с улучшенной матрицей.

Дискретная структура матрицы

Основу составляют очень маленькие фотодиоды или фототранзисторы, которые фиксируют свет и превращают его в электрический сигнал. Один такой фотодиод формирует один пиксель выходного цифрового изображения.

Небольшое отступление для тех, кто, возможно, не знает. Цифровое изображение состоит из множества точек, которые наш мозг «склеивает» в целостную картинку. Если таких точек будет недостаточно, мы станем замечать дискретность структуры, иными словами, станет казаться, будто изображение «распадается», являясь мозаичным, плавные переходы исчезнут.

Давайте рассмотрим фотографию собаки.

Дискретная структура матрицы на примере собаки

Не обращайте сейчас внимания, что она черно-белая. Абстрагируйтесь от понятия цвета, это другая тема, в данный момент так лучше будет воспринимать информацию. Матрица фиксирует электрический сигнал разной величины в зависимости от интенсивности света. И, если отнять специальные фильтры, предназначенные для получения цветного изображения, то выходная фотография получается как раз черно-белой. Кстати, камеры, снимающие исключительно в ЧБ, также существуют.

Схематически нанес на изображение сетку, иллюстрирующую дискретную, т.е. прерывную структуру матрицы. Каждый квадрат иллюстрирует минимальный элемент матрицы – пиксель, формируемый фотодиодом, на который попадает свет N-ой интенсивности и на выходе преобразуется в пиксель цифрового изображения N-ой яркости. К примеру, левый верхний угол темный – значит, на этот участок матрицы попало мало света. Шерсть, напротив, светлая – значит, туда попало больше света и электрический сигнал был иным. Естественно, изображение состоит из намного большего числа квадратиков, тут лишь схематическое изображение.

Светочувствительность

Параметры чувствительности (ISO) демонстрируют возможность камеры снимать в условиях плохой освещенности. Фотоаппарат с высокой чувствительностью будет делать более четкие изображения. Важность это показателя заключается в том, что при помощи ISO, не меняя параметры диафрагмы и выдержки, можно отрегулировать яркость кадра. Принцип работы состоит в усилении электрического тока, а не в усилении светочувствительности фотоэлементов. Однако при сильном увеличении, появляются шумы.

Увеличивать значение ISO рекомендуется только в случаях, когда слабо освещен задний план, нет возможности воспользоваться вспышкой либо съемка идет с руки.

100-200 единиц для съемки на улице и при хорошем освещении;
400-800, для помещений с искусственным освещением;
800-1600, для создания фотографий ночью.

Более высокие показатели рекомендованы для съемок концертов.

Количество мегапикселей и разрешение

Внимание: стоит учитывать разрешение не только самой матрицы, но и объектива. Об этом часто забывают, а затем получают весьма странные результаты.

Резюмируем

Сразу хочу развеять ваши сомнения. Цель этой статьи — заложить у вас понимание, что и как работает. Не расстраивайтесь, если многое непонятно — главное, создать «полочки» в вашей голове, структуру, а потом по мере надобности заполнять их информацией. Но материал, безусловно, важен и является костяком для понимания фотографии. Поэтому, если совсем ничего непонятно, перечитайте еще раз либо вернитесь к нему позднее. И специально для вас сделаю краткую выдержку из того, что желательно отложить у себя в голове:

Матрица – это один из важнейших элементов в камере, который фиксирует свет, превращая его в электрические сигналы. Не может быть заменена в камере. Является аналогом пленки в пленочных фотоаппаратах.
Процесс получения снимка, когда открыт затвор, называется экспонированием.
Матрица имеет множество характеристик. Размер – одна из важнейших, по нему косвенно можно предполагать остальные параметры. Как класс автомобиля – от седана B-класса не ждешь огромного пространства, как в седане E-класса, каким бы продвинутым и дорогим он ни был.
Выбирая камеру с тем или иным размером матрицы, стоит понимать ее достоинства и недостатки и быть готовым ими пользоваться. Маленькая матрица больше всего страдает в условиях, когда света недостаточно. Если планируете развиваться в сфере фотографии и вам это действительно нравится, советую обратить внимание на формат Micro 4/3 или остановиться на APS-C варианте.
Качественная матрица — залог хорошего изображения. При выборе камеры нужно начинать с нее. С другой стороны, в крайности бросаться тоже не нужно – дорогая полнокадровая камера с дешевым объективом вряд ли принесет хороший результат. Точнее, он будет хуже, чем мог бы быть. Но сегодня камеру с откровенно плохой матрицей нужно поискать.
Не гонитесь за высоким разрешением. Даже минимального в современных камерах будет за глаза.
Вообще по приоритету, что важно для получения качественного изображения, писал тут. Рекомендую прочесть, если еще не читали. Если у вас сложилось впечатление превосходства технических параметров над творчеством, эта статья покажет вам обратное, подводя к мысли, что важен баланс. Возможно смещение в творческую сторону. Но смещение в сторону технофильства ни к чему хорошему в плане результатов не приводит.

Сравнение фотоаппаратов по характеристикам.

Для сравнения характеристик фотоаппаратов нажмите на картинку с надписью «Добавить» и выберите необходимые для сравнения модели.


	Добавить
Характеристики

Основные
Класс
Число мегапикселей матрицы
Дисплей
Видоискатель
Тип объектива
Матрица
Тип матрицы
Физический размер
Число эффективных пикселов
Разрешение матрицы по Y
Разрешение матрицы
Чувствительность ISO, мин
Чувствительность ISO, макс
Функция очистки матрицы
Объектив
Байонет
Фокусное расстояние, мин
Фокусное расстояние, макс
Ручная фокусировка
Стабилизатор изображения
Светосила объектива
Объектив в комплекте
Дисплей и видоискатель
Размер дисплея
Тип дисплея
Число точек дисплея
Второй дисплей
Поле зрения видоискателя
Экспозиция и баланс белого
Экспокоррекция
Замер экспозиции
Выдержка, макс
Выдержка, мин
Режимы экспозиции
Брекетинг экспозиции
Баланс белого
Съемка
Формат кадра
Серийная съемка
Число кадров в серии, JPEG
Число кадров в серии, RAW
Формат файла
Автоспуск
Видео и звук
Формат записи видео
Разрешение видео, макс
Частота кадров, макс
Запись звука
Вспышка
Встроенная вспышка
Дальность действия
Система замера вспышки
Подавление «Красных глаз»
Подсветка автофокуса
Горячий башмак
Брекетинг вспышки
Синхроконтакт
Память
Поддержка карт памяти
Интерфейсы и доп. функции
Интерфейсы
Дистанционное управление
Питание
Аккумулятор
Запас заряда
Корпус
Материал
Габариты
Вес

Camera Matrix — обзор

3.2 Получение внутренних параметров камеры и трехмерных координат характерных точек

Предполагая, что трехмерные мировые координаты точки P в пространстве равны P _w ( x _w , y _w , z _w ) в опорном кадре камеры, а соответствующие ему координаты изображения — p ( x _p , y _p ).Согласно обычной модели камеры-обскуры и искажению объектива [11,12], они связаны следующими уравнениями проекции:

xn = xw / zwyw / zw = xy, r2 = x2 + y2,

xd = xd (1 ) xd (2) = (1 + k1r2 + k2r4) xn + 2p1xy + p2 (r2 + 2×2) p1 (r2 + 2y2) + 2p2xy,

(2) xpyp1 = Kxd (1) xd (2) 1withK = fxα · Fxu00fyv0001.

, где ( u ₀, v ₀) — главная точка на плоскости изображения, x _n и x _d — идеальные и фактические координаты изображения p соответственно. f _x и f _y обозначают эффективное фокусное расстояние, k ₁, k ₂ — коэффициенты радиального искажения, а p ₁, p ₂ — коэффициенты тангенциального искажения. α — коэффициент перекоса, а K — матрица камеры. Все эти внутренние параметры могут быть получены заранее с помощью некоторых эффективных методов калибровки камеры [13,14], и они считаются фиксированными после калибровки камеры.

Учитывая, что интервал между характерными точками известен, можно получить трехмерные локальные координаты характерных точек в соответствующей системе координат камеры [9], которые обозначаются как aijl и bijr ( i = 1, 2, …, м , j = 1, 2,…, n ) соответственно. Если взять в качестве иллюстрации позу 1 на рис. особая точка b ₁₁, b ₃₁ согласно RCCF соответственно.

Однако существует одна потенциальная проблема, заключающаяся в том, что выбросы, которые являются центрами характерных точек, извлеченных на изображении, выходят далеко за пределы их наземной истинности, могут не дать нам правильно вычислить трехмерные координаты характерной точки в пространстве. Хотя мы сделали характерные точки на наших мишенях светящимися, чтобы избежать этой проблемы в большинстве условий, все же существует вероятность того, что центры одной или двух характерных точек будут извлечены с большой ошибкой. В этом состоянии мы должны использовать алгоритм RANSAC [15], чтобы проверить центр всех характерных точек, извлеченных на одном изображении, с целью обнаружения и устранения возможных выбросов заранее, а затем использовать следы, характерные точки с допустимым шумом. , чтобы продолжить нашу калибровку.И в этой статье мы предполагаем, что все извлеченные точки центра являются промежуточными и действительными.

Предположим, что в точке j -е, единичные направления цели a , b при LCCF и RCCF равны ajl, bjl и ajr, bjr, соответственно, поэтому их можно вычислить по следующему уравнению:

(3) ajl = amjl-a1jl / amjl-a1jl, bjr = bmjr-b1jr / bmjr-b1jr, (j∈ [1, n]).

Модель камеры с проектором

| imatest

Не рекомендуется в текущей версии

Модель проекционной камеры описывает математику преобразования мировой точки в точку изображения.Это делается с помощью модели камеры с отверстиями. Вместе с моделью искажения, которая характеризует отклонение от модели точечного отверстия, этим методом можно моделировать большинство камер *.

Модель проекционной камеры учитывает только взаимосвязь между мировыми координатами и координатами изображения. Он не учитывает другие факторы, такие как функция передачи модуляции (MTF), оптические аберрации (например, хроматические аберрации, кома и т. Д.), Линейность и воспроизведение цвета, которые могут повлиять на качество изображения.j \ left (\ mathbf {X} _ {i} \ right) \)

Существует три компонента для применения модели проективного преобразования: внешние элементы, модель камеры-точечного отверстия и искажение точек для учета разницы между встроенной камерой и моделью-крошечным отверстием.

Проекция трехмерных точек в модели камеры-обскуры.

Изображение проецируемых точек.

Внутренние функции камеры описывают свойства модели камеры-обскуры, которые связывают относительные мировые координаты камеры относительно камеры с координатами изображения.В модели крошечного отверстия лучи проходят по прямой линии от объекта в сцене через крошечное отверстие к фокальной плоскости. Геометрия этого подобна треугольникам, связывающим мировые координаты с координатами изображения. Математическая модель для этого использует 5 параметров: фокусное расстояние в направлениях x и y, основная точка в направлениях x и y и перекос между направлениями x и y.

Параметры

Фокусное расстояние

В модели точечного отверстия фокусное расстояние, \ (f \) — это расстояние от точечного отверстия до фокальной плоскости вдоль оптической оси.Системы с большим фокусным расстоянием будут иметь большее увеличение в более узком поле зрения (FOV), тогда как меньшие фокусные расстояния будут иметь больший охват.

Возможно иметь разное фокусное расстояние вдоль каждого направления фокальной плоскости. В этом случае фокусное расстояние оси \ (y \) изменяется на \ (\ alpha \).

\ (f_y = \ alpha \ cdot f \)

Для настоящей камеры-обскуры \ (f_x = f_y \) (\ (\ alpha = 1 \)), однако на практике это может быть связано с факторами, включая производственные дефекты, искажение объектива и изображения, полученные с помощью системы сканирования.Интерпретация неравных фокусных расстояний заключается в том, что эффективная форма пикселя не является квадратной.

Принцип

Точка \ ((pp_x, pp_y) \) — это основная точка, которая представляет собой пиксельную координату пересечения оптической оси с фокальной плоскостью. Функция сдвига наклона-сдвига перемещает фокальную плоскость (и главную точку) вокруг оптической оси.

перекос

Фактор перекоса \ (s \) вводит трансформацию сдвига изображения.Для многих камер это 0. Случаи, когда оно не равно нулю, включают в себя фотографирование изображения (введение гомографии) и несинхронизацию процесса выборки пикселей из фреймграббера. Ненулевой перекос означает, что оси x и y камеры не перпендикулярны друг другу.

Внутренняя матрица

Внутренняя матрица, \ (\ mathbf {K} \) — это верхнетреугольная матрица, которая преобразует мировую координату относительно камеры в координату однородного изображения. Существует две общие и эквивалентные формы внутренней матрицы:

\ (\ mathbf {K} = \ begin {bmatrix} f & s & pp_x \\ 0 & f \ cdot \ alpha & pp_y \\ 0 & 0 & 1 \ end {bmatrix} \)

\ (\ mathbf {K} = \ begin {bmatrix} f_x & s & pp_x \\ 0 & f_y & pp_y \\ 0 & 0 & 1 \ end {bmatrix} \)

Многие камеры могут быть представлены с более простой внутренней матрицей. \ top \) будет точкой относительно камеры.Предположим, что

\ (\ begin {bmatrix} x \\ y \\ w \ end {bmatrix} = \ begin {bmatrix} f & 0 & pp_x \\ 0 & f & pp_y \\ 0 & 0 & 1 \ end {bmatrix} \ begin {bmatrix} X \\ Y \\ Z \ end {bmatrix} \)

\ (\ begin {bmatrix} x \\ y \\ w \ end {bmatrix} = \ begin {bmatrix} f \ cdot X + pp_x \ cdot Z \\ f \ cdot Y + pp_y \ cdot Z \\ Z \ конец {bmatrix} \)

После преобразования в неоднородные координаты

\ (\ begin {bmatrix} x ‘\\ y’ \ end {bmatrix} = \ begin {bmatrix} \ displaystyle \ frac {f \ cdot X + pp_x \ cdot Z} {Z} \\ \ displaystyle \ frac { е \ cdot Y + pp_y \ cdot Z} {Z} \ end {bmatrix} = \ begin {bmatrix} f \ cdot \ displaystyle \ frac {X} {Z} + pp_x \\ f \ cdot \ displaystyle \ frac {Y } {Z} + pp_y \ end {bmatrix} \)

Проверка этого результата показывает, что расстояние от оптической оси (основной точки) пропорционально отношению расстояния мировых точек от оптической оси к расстоянию до камеры.Это означает, что точка, которая вдвое дальше от оптической оси и вдвое дальше от камеры, будет соответствовать той же точке изображения. Лучшая реконструкция точки с помощью одной камеры — это то, что точка находится где-то на линии.

шт.

Все эти значения рассчитываются в единицах количества пикселей. Шаг пикселя \ (p \) используется для преобразования количества пикселей в физические единицы. Например:

\ (f [\ mathrm {mm}] = f [\ mathrm {пикселей}] \ cdot p \ left [\ frac {\ mu \ mathrm {m}} {\ mathrm {pixel}} \ right] \ cdot \ гидроразрыв {1 [\ mathrm {mm}]} {1000 [\ mu \ mathrm {m}]} \)

Обратный

Инверсия внутренней матрицы камеры используется для преобразования неискаженных точек изображения в линии от центра камеры.{-1} = \ displaystyle \ frac {1} {f} \ begin {bmatrix} 1 & 0 & -pp_x \\ 0 & 1 & -pp_y \\ 0 & 0 & f \ end {bmatrix} \)

Модель искажения камеры описывает отклонение физической камеры от модели проекционной камеры. Он преобразует неискаженные точки 2D-изображения в точки искаженного 2D-изображения (те, которые находятся за пределами камеры). Модель обратной дисторсии преобразует точки искаженного изображения в неискаженные.

Внешний вид камеры описывает положение и ориентацию камеры в мире.Существует два способа описания преобразования координат между мировыми координатами и координатами относительно камеры: преобразование точки и преобразование осей (поза). Они оба имеют одинаковую форму матрицы вращения / переноса и являются противоположными друг другу.

Центр камеры соответствует расположению входного зрачка камеры. В панорамной фотографии это часто называют точкой отсутствия параллакса. Камеры с большим полем зрения (например, камеры «рыбий глаз») будут иметь разные положения входного зрачка при разных углах поля зрения.Для этих камер используется осевое расположение входного зрачка.

Преобразование точки

Описание преобразования точки преобразует мировую точку в точку относительно камеры. Его матрица вращения / перемещения прямо умножается вправо на внутреннюю матрицу для формирования матрицы камеры.

\ (\ begin {bmatrix} x \\ y \\ w \ end {bmatrix} = \ left [\ begin {array} {ccc} && \\ & \ mathbf {K} & \\ && \ end {array} \ right] \ left [\ begin {array} {ccc | c} &&& \\ & \ mathbf {R} && \ mathbf {t} \\ &&& \ end {array} \ right] \ begin {bmatrix} X \\ Y \\ Z \\ 1 \ end {bmatrix} \)

В обозначении точечного преобразования камера расположена в \ (- \ mathbf {R} ^ \ top \ mathbf {t} \). {\ top} \ mathbf {t} \\ &&& \ end {array} \ right] \ begin {bmatrix} X \\ Y \\ Z \\ 1 \ end {bmatrix} \)

В обозначении позы камеры центр камеры расположен в \ (\ mathbf {t} \).

Матрица камеры, \ (\ mathbf {P} \), представляет собой комбинацию внутренней матрицы камеры и точечного преобразования.

\ (\ mathbf {P} = \ left [\ begin {array} {ccc} && \\ & \ mathbf {K} & \\ && \ end {array} \ right] \ left [\ begin {array} { ccc | c} &&& \\ & \ mathbf {R} && \ mathbf {t} \\ &&& \ end {array} \ right] \)

Матрица камеры преобразует точки мира в координаты однородного изображения.

Мировые точки к точкам изображения

Преобразует мировую координату в координату относительно камеры путем умножения на мировую точку в преобразование точки изображения.Это преобразование является обратной позе.
Примените внутреннюю матрицу камеры к относительной координате камеры, чтобы получить однородную координату изображения.
Преобразует координату однородного изображения в неоднородную координату.
Примените модель искажения, чтобы определить положение изображения мировой точки на фокальной плоскости.

Обозначение преобразования точки

\ (\ begin {bmatrix} x \\ y \\ w \ end {bmatrix} = \ underbrace {\ left [\ begin {array} {ccc} && \\ & \ mathbf {K} & \\ && \ end {array} \ right]} _ {\ mathrm {intrinics}} \ underbrace {\ left [\ begin {array} {ccc | c} &&& \\ & \ mathbf {R} && \ mathbf {t} \\ &&& \ конец {массив} \ right]} _ {\ mathrm {обратная \ поза}} \ begin {bmatrix} X \\ Y \\ Z \\ 1 \ end {bmatrix} \)

\ (\ begin {bmatrix} x ‘\\ y’ \ end {bmatrix} = \ begin {bmatrix} \ mathrm {distort} _ {x} \! \! \ Left (\ displaystyle \ frac {x} {w } \ right) \\\ mathrm {искажать} _ {y} \! \! \ left (\ displaystyle \ frac {y} {w} \ right) \ end {bmatrix} \)

Обозначение преобразования осей

\ (\ begin {bmatrix} x \\ y \\ w \ end {bmatrix} = \ underbrace {\ left [\ begin {array} {ccc} && \\ & \ mathbf {K} & \\ && \ end {array} \ right]} _ {\ mathrm {intrinics}} \ underbrace {\ left [\ begin {array} {ccc | c} &&& \\ & \ mathbf {R} ^ {\ top} && — \ mathbf { R} ^ {\ top} \ mathbf {t} \\ &&& \ end {array} \ right]} _ {\ mathrm {inverse \ pose}} \ begin {bmatrix} X \\ Y \\ Z \\ 1 \ конец {bmatrix} \)

Изображение указывает на линии

Примените модель обратного искажения, чтобы неискажать точки изображения.Это помещает их в геометрию камеры-обскуры.
Преобразуйте координату изображения в однородную координату с весом \ (w \). Можно использовать любое действительное, отличное от нуля \ (w \), однако два общих из них — это 1 или расстояние от центра камеры до мировой точки.
Умножьте координату однородного изображения на значение, обратное внутренней матрице камеры. Этот вектор является вектором направления линии между точкой и центром камеры в координатах относительно камеры.

Примените поворот позы камеры (обратный матрице точечного преобразования) к вектору направления.\ top \ right | \ right | \) — расстояние от центра камеры (расположение входного зрачка) до мировой точки.

Калибровка камеры

и оценка основной матрицы с помощью RANSAC

Проект 5: Калибровка камеры и оценка основной матрицы с помощью RANSAC
Структура из нескольких изображений. Рисунок Снавели и др. al.

Логистика

Шаблон: Project5_CameraCalibration
Часть 1: Вопросы
- Вопросы + шаблон: Сейчас в репо: questions /
- Ручной процесс: Gradescope как PDF.Отправляйте анонимные материалы пожалуйста!
Часть 2: Код
- Шаблон записи: В репо: запись /
- Необходимые файлы: code /, writeup / writeup.pdf
- Процесс подачи заявки: Gradescope как репозиторий GitHub. Представлять на рассмотрение анонимные материалы пожалуйста!

Обзор

Цель этого проекта — познакомить вас с геометрией камеры и сцены.Конкретно оценим камеру матрица проекции, которая сопоставляет координаты трехмерного мира с координатами изображения, а также фундаментальную матрицу, которая связывает точки в одной сцене с эпиполярными линиями в другой. Матрица проекции камеры и основная матрица каждый может быть оценен с использованием точечных соответствий. Оценить матрицу проекции — внутреннюю и внешнюю калибровка камеры — вход соответствует 3-й и 2-й точкам. Чтобы оценить фундаментальную матрицу, вход соответствует 2d точкам на двух изображениях.Вы начнете с оценки матрицы проекции и фундаментальная матрица для сцены с наземными истинными соответствиями. Затем вы перейдете к оценке фундаментальных матрица с использованием точечных соответствий из SIFT и RANSAC.

Помните эти сложные изображения епископального дворца Гауди из Проекта 2? Используя RANSAC, чтобы найти фундаментальной матрицы с наибольшим количеством инлир, мы можем отфильтровать ложные совпадения и достичь почти идеальной точки для сопоставление точек, как показано ниже:

Подробная информация и стартовый код

Этот проект состоит из трех частей:

Оценка матрицы проекции,
Оценка фундаментальной матрицы и
Надежная оценка фундаментальной матрицы с помощью RANSAC на основе ненадежных совпадений SIFT.

Эти три задачи можно реализовать в student.py .

Часть I: Проекционная матрица камеры

Учитывая известные соответствия точек 3D и 2D, как мы можем восстановить матрицу проекции, которая преобразуется из мира 3D? координаты в координаты 2D-изображения? Напомним, что при использовании однородных координат уравнение движения из 3D мир в координаты 2D камеры:

$$ \ begin {pmatrix} u \\ v \\ 1 \ end {pmatrix} \ cong \ begin {pmatrix} su \\ sv \\ s \ end {pmatrix} = M \ begin {pmatrix} X \\ Y \\ Z \\ 1 \ end {pmatrix} = \ begin {pmatrix} m_ {11} & m_ {12} & m_ {13} & m_ {14} \\ м_ {21} и м_ {22} и м_ {23} и м_ {24} \\ m_ {31} & m_ {32} & m_ {33} & m_ {34} \ end {pmatrix} \ begin {pmatrix} X \\ Y \\ Z \\ 1 \ end {pmatrix} $$

Наша задача — найти М.Мы собираемся составить систему линейных уравнений, чтобы найти регрессию наименьших квадратов. решение для этих параметров матрицы камеры с учетом соответствия между точками трехмерного мира и точками двухмерного изображения. В класса, мы увидели два решения этой проблемы, которые требуют перестановки коэффициентов 3D и 2D точечное свидетельство:

$$ u = \ frac {m_ {11} X + m_ {12} Y + m_ {13} Z + m_ {14}} {m_ {31} X + m_ {32} Y + m_ {33} Z + m_ {34}} $$ $$ \ rightarrow (m_ {31} X + m_ {32} Y + m_ {33} Z + m_ {34}) u = m_ {11} X + m_ {12} Y + m_ {13} Z + m_ { 14} $$ $$ \ rightarrow 0 = m_ {11} X + m_ {12} Y + m_ {13} Z + m_ {14} — m_ {31} uX — m_ {32} uY — m_ {33} uZ — m_ {34 } u $$ $$ v = \ frac {m_ {21} X + m_ {22} Y + m_ {23} Z + m_ {24}} {m_ {31} X + m_ {32} Y + m_ {33} Z + m_ {34}} $$ $$ \ rightarrow (m_ {31} X + m_ {32} Y + m_ {33} Z + m_ {34}) v = m_ {21} X + m_ {22} Y + m_ {23} Z + m_ { 24} $$ $$ \ rightarrow 0 = m_ {21} X + m_ {22} Y + m_ {23} Z + m_ {24} — m_ {31} vX — m_ {32} vY — m_ {33} vZ — m_ {34 } v $$

С помощью этих перестановок мы можем настроить нашу линейную регрессию, чтобы найти элементы матрицы M.Однако в проективной геометрии матрица M определяется только до неизвестного масштаба. По сути, эти уравнения есть много разных возможных решений. В случае вырожденного решения M = все нули, что не очень помогает. в нашем контексте.

Мы рассмотрим два способа обойти это:

Мы можем исправить масштаб, установив последний элемент \ (m_ {34} \) в 1, а затем найти оставшиеся коэффициенты,
Мы можем использовать разложение по сингулярным числам для прямого решения задачи оптимизации с ограничениями, в которой масштаб установлен: $$ \ begin {align *} & \ min \ | Ax \ | \\ & s.т ~ \ | х \ | = 1 \ end {align *} $$

Восстановив вектор значений одним из этих методов, мы должны преобразовать его в предполагаемую камеру. проекционная матрица M.

Чтобы помочь вам проверить M, мы предоставляем оценочный код, который вычисляет общую «остаточную ошибку» между прогнозируемыми 2d расположение каждой трехмерной точки и фактическое расположение этой точки на 2-м изображении. Невязка — это евклидово расстояние в плоскости изображения (квадратный корень из суммы квадратов разностей u и v).Это должно быть очень small — порядка одного пикселя. Мы также предоставляем набор «нормализованных точек» в файлах. ./pts2d-norm-pic_a.txt и ./pts3d-norm.txt. Стартовый код загрузит эти 20 соответствующих нормализованных 2D и 3D-точки. Если вы решите для M, используя все точки, вы должны получить матрицу, которая является масштабированным эквивалентом следующая матрица:

$$ M _ {\ text {norm} A} = \ begin {pmatrix} -0,4583 & 0,2947 & 0,0139 & -0,0040 \\ 0,0509 и 0.0546 и 0,5410 и 0,0524 \\ -0,1090 & -0,1784 & 0,0443 & -0,5968 \ end {pmatrix} $$

Имея эту матрицу, мы можем проецировать трехмерные точки мира на плоскость нашей камеры. Например, эта матрица примет нормализованная трехмерная точка и спроецируйте его в 2D-изображение (после преобразования однородной 2D-точки к его неоднородной версии делением на s).

Как только у нас будет точная матрица проекции M, можно разделить ее на более знакомые и более полезная матрица K внутренних параметров и матрица [R | T] внешних параметров.{-1} m_4 $$

Если мы используем нормализованные трехмерные точки и M, указанные выше, мы получим центр камеры:

$$ C _ {\ text {norm} A} = $$

Мы также предоставили визуализацию, которая покажет приблизительное трехмерное расположение камеры относительно нормализованные координаты трехмерной точки.

Часть II: Оценка фундаментальной матрицы

Следующая часть этого проекта — оценить сопоставление точек на одном изображении с линиями на другом с помощью фундаментальная матрица.Это потребует от вас использования методов, аналогичных тем, которые описаны в части 1. Мы будем использовать соответствующие точки, перечисленные в pts2d-pic_a.txt и pts2d-pic_b.txt. Напомним, что определение фундаментальная матрица:

$$ \ begin {pmatrix} u ‘& v’ & 1 \ end {pmatrix} \ begin {pmatrix} f_ {11} & f_ {12} & f_ {13} \\ е_ {21} и е_ {22} и е_ {23} \\ е_ {31} и е_ {32} и е_ {33} \ end {pmatrix} \ begin {pmatrix} u \\ v \\ 1 \ end {pmatrix} = 0 $$

Фундаментальная матрица иногда определяется как транспонированная матрица выше с левым и правым изображением точки поменяны местами.Обе являются действительными фундаментальными матрицами, но функции визуализации в стартовом коде предполагают, что вы используете форму выше.

Другой способ записать это матричное уравнение:

$$ \ begin {pmatrix} u ‘& v’ & 1 \ end {pmatrix} \ begin {pmatrix} f_ {11} u + f_ {12} v + f_ {13} \\ f_ {21} u + f_ {22} v + f_ {23} \\ f_ {31} u + f_ {32} v + f_ {33} \ end {pmatrix} = 0 $$

Это то же самое, что:

$$ \ begin {pmatrix} f_ {11} uu ‘+ f_ {12} vu’ + f_ {13} u ‘+ f_ {21} uv’ + f_ {22} vv ‘+ f_ {23} v’ + f_ {31} u + f_ {32} v + f_ {33} \ end {pmatrix} = 0 $$

Благодаря этому мы можем построить линейную систему для решения с помощью регрессии наименьших квадратов.Для каждой неизвестной переменной мы нужно одно уравнение, чтобы ограничить наше решение. Пара соответствующих точек даст одно уравнение для нашего система. Однако, как и в части I, эта матрица определяется только с точностью до масштаба, и вырожденное нулевое решение решает эти уравнения. Нам нужно исправить масштаб и решить, используя те же методы, что и в части 1. Это дает нам возможность решить систему с 8-балльными соответствиями (или более, поскольку мы восстанавливаем наилучшее соответствие наименьших квадратов для всех точек).

Оценка F методом наименьших квадратов — это полный ранг; однако фундаментальная матрица — это матрица ранга 2. Таким образом, мы должен понизить свой ранг. Для этого мы можем разложить F с помощью сингулярного разложения на матрицы U ΣV ‘ = F. Затем мы можем оценить матрицу ранга 2, установив наименьшее сингулярное значение в Σ равным нулю, таким образом создавая Σ2. Тогда фундаментальная матрица легко вычисляется как F = U Σ2 V ‘. Мы можем проверить нашу фундаментальную матрицу оценка путем построения эпиполярных линий с использованием функции построения графика, предоставленной в стартовом коде.

Часть III: Фундаментальная матрица с RANSAC

Учитывая две фотографии сцены, маловероятно, что наша точка соответствия, с которой нужно выполнить регрессию для фундаментальной матрицы все было бы правильно. Наша следующая задача — использовать RANSAC для надежной оценки фундаментальная матрица из ненадежных точечных соответствий, вычисленных с помощью детектора характерных точек. Мы моделируем шум (потому что мы используем наземные точки истинности) двумя видами шумовых функций.

Сначала мы просим вас написать функцию позиционного шума. Это примет интервал и добавит некоторую ценность (выбирается равномерно случайным образом) из интервала, в основном нарушая координаты совпадений некоторыми количество. Это должно быть сделано только для некоторого процента точек, указанных в аргументах функции.

Другие наши функции вносят шум в совпадения, случайным образом меняя местами некоторое подмножество совпадений.Итак, если вы набрали 100 баллов и попросили добавить шум до 30%, затем 30 баллов следует перетасовать в списке. Обратите внимание, мы хотите переключить, какие точки на изображении A совпадают с другими точками на изображении B, а не поменять местами индексы указывает на себя.

В стартовом коде используются наземные совпадения (вместе с флагом для выполнения сопоставления характерных точек с помощью ORB). дескриптор) для пары изображений. По желанию, мы будем возмущать эти совпадения шумом, используя ваши функции, которые вы только что написал.Мы будем использовать эти возможные точечные соответствия и RANSAC, чтобы попытаться найти хорошую фундаментальную матрицу. Мы итеративно выберем случайный набор точечных соответствий (например, 8, 9 или какое-то небольшое количество точек), решите фундаментальную матрицу, используя функцию, которую вы написали для части II, а затем подсчитайте количество вставок. В этом контексте Inliers будут точечными соответствиями, которые «согласуются» с оцененной фундаментальной матрицей. К посчитайте, сколько инстеров имеет фундаментальная матрица, вам понадобится метрика расстояния, основанная на фундаментальной матрице. матрица.(Подсказка: для точечного соответствия (x ‘, x) какими свойствами обладает фундаментальная матрица?). Вы будете также необходимо выбрать порог между выпадающими и выпадающими значениями. Результаты будут очень чувствительны к этому порог, поэтому изучите диапазон значений, обеспечивающий баланс между разрешением и исключением. Мы также должны принять решение о критериях остановки для RANSAC, например, учитывая тысячи итераций RANSAC. После остановки вернуть фундаментальную матрицу с наибольшим количеством вставок.8 = 0,39% шанс при оценке фундаментальной матрицы выбрать 8 неверных соответствий случайным образом. Правильная фундаментальная матрица должно иметь больше выпадающих значений, чем выбросов, созданных из ложных совпадений, иначе проблема неразрешима.

Для некоторых реальных изображений оцениваемая фундаментальная матрица может означать невозможную связь между камеры, например, эпиполь в центре одного изображения, когда камеры на самом деле имеют большую параллельную трансляцию в плоскость изображения.Расчетная фундаментальная матрица также может быть неверной, потому что мировые точки копланарны, или потому, что камеры на самом деле не являются камерами-обскурами и имеют искажения объектива. Тем не менее, эти «неправильные» фундаментальные матрицы, как правило, удаляют неправильные совпадения характерных точек (и, к сожалению, многие правильные тоже).

Оценка и визуализация

Для части I мы предоставили ожидаемый результат (матрица M и центр камеры C). Это числовые оценки, поэтому мы не будем проверять точные числа, а только приблизительно правильные местоположения.

Что касается части II, вас будут оценивать на основе вашей оценки фундаментальной матрицы. Вы можете проверить, насколько хороши ваши оценка фундаментальной матрицы выполняется путем рисования эпиполярные линии на одном изображении, которые соответствуют точке на другом изображении. Вы должны увидеть все эпиполярные линии, пересекающие соответствующую точку в другом изображение, например:

Мы предоставляем вам функцию в стартовом коде, которая рисует эпиполярную линию на изображении с учетом фундаментальных матрица и точка с другого изображения.

Часть III — самая открытая часть этого задания. Ваша цель должна состоять в том, чтобы продемонстрировать, что вы можете оценить фундаментальную матрицу для реальной пары изображений и использовать ее для отклонения ложных совпадений ключевых точек. Мы можем проверить основную матрицу, которую вы оцениваете, и вы должны визуализировать исправленное изображение в своей записи. Кроме того, мы требуем, чтобы вы реализовали функции шума и исследовали влияние шума на производительность RANSAC.

Мы не включаем оценку точности ключевых точек, используемую в проекте 2. У вас должно получиться почти идеальное точность (очень мало выбросов) среди ключевых точек, которые вы назначаете как выбросы.

Данные

Мы предоставляем 2D и 3D соответствия наземных точек для пары базовых изображений (pic_a.jpg и pic_b.jpg) и для трех использованных изображений.

Запрещенные функции

Вы должны сами построить матрицы для калибровки камеры и оценки F-матрицы, но вы можете использовать готовые линейные решатели.Вы также должны реализовать RANSAC самостоятельно. Вы также должны написать шум функционирует самостоятельно. Не стесняйтесь использовать функции numpy.

Примечания по нормализации координат

Ваша оценка фундаментальной матрицы может быть улучшена путем нормализации координат перед вычислением фундаментальная матрица. Рекомендуется выполнить нормализацию с помощью линейных преобразований, как описано ниже, чтобы среднее значение точек было равным нулю, а средняя величина — около 1.0 или другое небольшое число (квадрат также рекомендуется корень из 2).

$$ \ begin {pmatrix} u ‘\\ v’ \\ 1 \ end {pmatrix} = \ begin {pmatrix} s & 0 & 0 \\ 0 & s & 0 \\ 0 & 0 & 1 \ end {pmatrix} \ begin {pmatrix} 1 & 0 & -c_u \\ 0 & 1 & -c_v \\ 0 & 0 & 1 \ end {pmatrix} \ begin {pmatrix} u \\ v \\ 1 \ end {pmatrix} $$

Матрица преобразования T является произведением матриц масштаба и смещения. c_u и c_v — средние координаты.Чтобы вычислить шкалу s, вы можете оценить стандартное отклонение после вычитания средних значений. Тогда масштаб Фактор s будет обратной величиной любой оценки шкалы, которую вы используете. Или вы могли бы найти максимум абсолютная величина. Или вы можете масштабировать координаты так, чтобы средний квадрат расстояния от начала координат (после центрирование) равно 2. Вы можете использовать одну масштабную матрицу на основе статистики координат обоих изображений или вы можете сделать это для каждого изображения.{T} @ F_ {norm} @ T_ {a} $$

Это может быть реализовано в вашей функции Estimation_fundamental_matrix () , написанной для части II, но вы на самом деле не заметите разницы во второй части, потому что входные соответствия в значительной степени идеальны. В В части III (которая вызывает Estimation_fundamental_matrix () ) вы с большей вероятностью заметите улучшение. В качестве альтернативы вы можете реализовать масштабирование на основе распределения всех координат объектов, а не только горстка перешла в Estimation_fundamental_matrix () .В своей рецензии вы должны выделить один до и после случая, когда нормализация улучшила ваши результаты.

Запись

Опишите свой процесс и алгоритм, покажите свои результаты, опишите любые дополнительные баллы и сообщите нам любые другие информация, которую вы считаете актуальной. Мы предоставляем вам шаблон LaTeX writeup / writeup.tex . Пожалуйста скомпилируйте его в PDF и отправьте вместе со своим кодом.

Обязательно укажите следующие детали при написании вашего метода:

Ваша оценка матрицы проекции и центра камеры.
Ваша оценка основной матрицы для пары базовых изображений (pic_a.jpg и pic_b.jpg).
Покажите нам соответствия (и исправленное изображение) с возрастающими уровнями шума обоих видов. Сравните, как Оценка RANSAC и vanilla выполняется на каждом уровне. Напишите, что думаете о том, насколько хорошо работает RANSAC.
Покажите нам, что произойдет, если вместо читерских совпадений будут использоваться функции ORB. Детализируйте свой выводы.

Мы проводим анонимную оценку TA, поэтому, пожалуйста, не указывайте свое имя или идентификатор в своей рецензии или коде.

Рубрика

+10 баллов: Правильная настройка системы уравнений регрессии наименьших квадратов для проекции матрица.
+10 баллов: Правильное решение для матрицы проекции и правильное решение для центра камеры.
+10 баллов: Правильная настройка фундаментальной матричной регрессии.
+10 точек: Правильное решение для фундаментальной матрицы и создание хороших эпиполей на образцах изображений.
+8 баллов: Правильная реализация шумовых функций.
+27 баллов: Правильное объединение RANSAC с оценкой фундаментальной матрицы и генерация правильно исправленных изображений.
+05 баллов: Написать.
-05 * n pts: где n — количество раз, когда вы не выполняете инструкции по сдаче.

Дополнительный кредит

Пожалуйста, укажите в своем письме, какой дополнительный кредит вы сделали, и подробно опишите его результат.

до 3 точек: функция пользовательского шума.
до 5 баллов: Улучшите код своего проекта 2, используя методы этого проекта.
до 10 баллов: используйте другую процедуру RANSAC (и сравните ее производительность с базовой RANSAC), например:
до 10 баллов: обучение современному алгоритму обнаружения точек функции глубокого обучения или соответствию

Кредиты

Этот проект основан на проекте, предложенном Аароном Бобиком CS 4495 в GATech, и был расширен и под редакцией Генри Ху, Грэди Уильямса и Джеймса Хейса.Элеонора Турсман адаптировала код для Python с помощью Анна Сабель.

Матрицы преобразования цвета в цифровых камерах: учебное пособие

1. Введение

Рассмотрим преобразование сцены, снятой цифровой камерой в необработанном пространстве камеры, в цифровое изображение, подходящее для отображения с использованием цветового пространства, ориентированного на вывод. По крайней мере, есть два принципиально важных вопроса, которые необходимо решить, пытаясь правильно воспроизвести внешний вид цвета.Во-первых, функции отклика цифровых фотоаппаратов отличаются от функций зрительной системы человека (HVS). Широко используемый подход к этой проблеме состоит в том, чтобы рассматривать цветовые пространства как векторные пространства и учитывать различия в ответах путем введения матрицы преобразования цвета. Типом матрицы преобразования цвета, который часто встречается, является матрица характеристик 3 × 3 T_, которая определяет линейную взаимосвязь между необработанным пространством камеры и эталонным цветовым пространством CIE XYZ:

В общем, необработанные пространства камеры не являются колориметрическими, поэтому приведенное выше преобразование приблизительное.Взаимосвязь может быть оптимизирована для данного источника света путем минимизации ошибки цвета. Примечательно, что это означает, что оптимальная T_ зависит от характера источника света сцены, ¹ ^, ², включая его точку белого (WP). Методология характеристики для определения оптимального T_ описана в разд. 2.4, вместе с иллюстрацией того, как T_ следует нормализовать на практике.

Вторая проблема, которую необходимо решить, — это восприятие освещения сцены WP.Хотя различные механизмы адаптации, используемые HVS, сложны и не до конца понятны, считается, что HVS естественным образом использует механизм хроматической адаптации для регулировки своего восприятия WP освещения сцены для достижения постоянства цвета при различных условиях освещения. ³ ^, ⁴ Поскольку датчики цифровых камер не адаптируются естественным образом, неправильный баланс белого (WB) будет возникать, когда WP освещения сцены отличается от эталонного белого цветового пространства, связанного с выходом, используемого для кодировать выходное изображение, созданное камерой.Как показано в разд. 3, цифровые камеры должны пытаться имитировать этот механизм хроматической адаптации, используя соответствующее преобразование хроматической адаптации (CAT).

Как обсуждалось в разд. 4, современные смартфоны и коммерческие необработанные преобразователи обычно вычисляют оптимальную характеристическую матрицу T_ путем интерполяции между двумя предварительно установленными характеристическими матрицами в соответствии с оценкой WP освещения сцены, и CAT реализуется после применения T_. В традиционных цифровых камерах преобразование цвета обычно переформулируется в терминах множителей необработанных каналов и матриц вращения цвета R_.Этот подход предлагает несколько преимуществ, как обсуждалось в разд. 5. Аналогичный, но более простой в вычислительном отношении подход используется конвертером исходных файлов DCRaw с открытым исходным кодом, как обсуждается в разд. 6. Конвертер цифровых негативов Adobe ^® с открытым исходным кодом (DNG) предлагает два метода преобразования цветов, и природа цветовых матриц Adobe и прямых матриц обсуждается в разд. 7. Наконец, в разд. 8.

2. Camera Raw Space

2.1.

Gamut

Необработанное пространство камеры для данной модели камеры возникает из ее набора функций спектральной чувствительности или функций отклика камеры:

Eq.(2)

Ri (λ) = QEi (λ) eλhc, где e — заряд элемента, λ — длина волны, h — постоянная Планка, а c — скорость света. Внешний квантовый выход для мозаики i определяется формулой

. (3)

QEi (λ) = TCFA, i (λ) η (λ) T (λ) FF, где TCFA, i — функция пропускания матрицы цветных фильтров (CFA) для мозаики i, η (λ) — заряд эффективность сбора или внутренняя квантовая эффективность фотоэлемента, а T (λ) — функция пропускания границы раздела SiO2 / Si. ⁵ Коэффициент заполнения определяется как FF = Adet / Ap, где Adet — это светочувствительная область обнаружения на фотосайте, а Ap — это площадь фотосайта.Спектральная полоса пропускания камеры должна идеально соответствовать видимому спектру, поэтому требуется фильтр, блокирующий инфракрасное излучение.

Аналогично функциям отклика конуса глаза HVS, которые можно интерпретировать как определение количества основных цветов конуса глаза, которые глаз использует для восприятия цвета при заданном λ, функции отклика камеры можно интерпретировать как указание количества основные цвета необработанного пространства камеры на каждом λ. Например, измеренные функции отклика камеры Nikon D700 показаны на рис.1. Однако необработанное пространство камеры является колориметрическим только в том случае, если выполняется условие Лютера-Айвса, ⁷ ^— ⁹, что означает, что функции отклика камеры должны быть точным линейным преобразованием функций отклика конуса глаза, которые косвенно представлены как линейное преобразование из функций сопоставления цветов CIE для стандартного наблюдателя.

Рис. 1

Функции отклика камеры Nikon D700. Пиковая спектральная чувствительность нормирована на единицу.Данные получены из исх. 6.

Хотя функции отклика конуса глаза подходят для захвата деталей с помощью простой линзы человеческого глаза, в цифровых камерах используются составные линзы, которые были скорректированы на хроматическую аберрацию. Следовательно, функции отклика камеры разработаны с учетом других соображений. ¹⁰ ^, ¹¹ Например, лучшее соотношение сигнал / шум достигается за счет уменьшения перекрытия функций отклика, что соответствует характеристической матрице с меньшими недиагональными элементами.¹⁰ ^— ¹² Действительно, незначительные цветовые ошибки могут быть заменены на лучшее соотношение сигнал / шум. ¹⁰ ^— ¹³ С другой стороны, повышенная корреляция в измерении длины волны может улучшить производительность процедуры цветовой демозаики. ¹⁴ Из-за таких компромиссов, наряду с ограничениями производства фильтров, функции отклика камеры на практике не являются точными линейными преобразованиями функций отклика глазного конуса.Следовательно, необработанные пространства камеры не являются колориметрическими, поэтому камеры показывают метамерную ошибку. Метамеры — это разные спектральные распределения мощности (SPD), которые HVS воспринимают как один и тот же цвет при просмотре в одинаковых условиях. Камеры с метамерной ошибкой дают разные цветовые отклики на эти метамеры. Метамерная ошибка камеры может быть определена экспериментально и количественно оценена с помощью индекса метамерии чувствительности цифровой фотокамеры (DSC / SMI). ⁸ ^, ¹⁵

На рисунке 2 показан спектральный локус HVS на диаграмме цветности xy, которая представляет собой двумерную проекцию цветового пространства CIE XYZ, которая описывает относительные пропорции значений трехцветных цветов.Обратите внимание, что сам спектральный локус имеет форму подковы, а не треугольника из-за того, что перекрытие функций ответа глаз-конус предотвращает независимую стимуляцию глазных колбочек, поэтому цветности, соответствующие координатам цветности (x, y), расположены за пределами спектральные локусы невидимы или воображаемы, поскольку они более насыщены, чем чистые цвета спектра. Цветовой охват необработанного пространства камеры Nikon D700 также показан на рис. 2 и сравнивается с несколькими стандартными цветовыми пространствами, относящимися к выходу, а именно sRGB, ¹⁶ Adobe ^® RGB, ¹⁷ и ProPhoto RGB.¹⁸ Из-за положений основных цветов необработанного пространства камеры на диаграмме цветности xy, некоторые области гаммы необработанного пространства камеры не достигают спектрального геометрического места HVS, поскольку эти области лежат за пределами треугольной формы, доступной для аддитивных линейных комбинаций три праймериз. Кроме того, заметным следствием метамерной ошибки камеры является то, что необработанная пространственная гамма камеры искажается от треугольной формы, доступной для аддитивных линейных комбинаций трех основных цветов.Некоторые области даже вытеснены за пределы треугольника, доступного для цветового пространства CIE XYZ. ¹⁹ См. Исх. 19 для дополнительных примеров.

Рис. 2

Цветовая гамма необработанного пространства камеры для Nikon D700 (голубая заштрихованная область), нанесенная на диаграмму цветности xy. Цветовая гамма не является идеальным треугольником, поскольку нарушается условие Лютера-Айвса, что также объясняет, почему определенные области выталкиваются за пределы треугольника, доступного для цветового пространства CIE XYZ, определенного основными цветами, расположенными в (0,0), (0,1 ) и (1,0).Граница серой заштрихованной области в форме подковы определяет спектральное местоположение HVS. Насыщенность уменьшается по мере удаления от спектрального локуса внутрь. Для сравнения указаны (треугольные) гаммы нескольких цветовых пространств, относящихся к стандартному выводу.

Для определения гаммы необработанного пространства камеры первым шагом является измерение функций отклика камеры с использованием монохроматора на дискретном наборе длин волн в соответствии с методом A стандарта ISO 17321-1. ¹⁵ Для каждой длины волны функции отклика камеры выдают необработанные относительные трехцветные значения RGB в необработанном пространстве камеры.Второй шаг — преобразовать RGB в относительные значения CIE XYZ путем применения матрицы характеристик, которая удовлетворяет уравнению. (1). Впоследствии координаты цветности (x, y), соответствующие спектральному геометрическому пространству необработанного пространства камеры, могут быть вычислены с использованием обычных формул, x = X / (X + Y + Z) и y = Y / (X + Y + Z ).

Так как заданная матрица характеристик оптимизирована для использования с освещающим источником, то есть освещением сцены, используемым для выполнения характеристики, другим следствием метамерной ошибки камеры является то, что необработанная пространственная гамма камеры может изменяться в зависимости от применяемой матрицы характеристик.Цветовой охват необработанного пространства камеры Nikon D700, показанный на рис. 2, был получен с использованием матрицы характеристик, оптимизированной для источника света D65 CIE. На рисунке 3 показано, как изменяется цветовая гамма, когда вместо нее применяется матрица характеристик, оптимизированная для источника A CIE.

Рис. 3

То же, что и на рис. 2, за исключением того, что для получения необработанного пространственного охвата камеры использовалась матрица характеристик, оптимизированная для источника света CIE A, а не матрица характеристик, оптимизированная для источника света CIE D65.

2.2.

Необработанные значения

Значения цвета в необработанном пространстве камеры выражаются в виде цифровых необработанных значений для каждого необработанного цветового канала, которые аналогичны трехцветным значениям в цветовом пространстве CIE. Для CFA, который использует три типа цветных фильтров, таких как CFA Байера, ²⁰ необработанные значения, выраженные с использованием единиц, относящихся к выходу, то есть данных / цифровых чисел (DN) или аналого-цифровых единиц, относятся к следующим набор необработанных каналов, обозначенных здесь каллиграфическими символами:

Eq.(4)

[nDN, 1nDN, 2nDN, 3nDN, 4] = [RG1G2B]. Хотя здесь для представления блока Байера использовалась векторная нотация, истинный необработанный вектор пикселей получается только после выполнения цветной демозаики в в этом случае с каждым фотосайтом будет связано четыре необработанных значения. CFA Байера использует в два раза больше зеленых фильтров, чем красный и синий, что означает, что в целом будут получены два значения G1 и G2, связанные с разными позициями в каждом блоке Байера. Это выгодно с точки зрения общего отношения сигнал / шум, поскольку фотосайты, принадлежащие зеленым мозаикам, более эффективны с точки зрения фотопреобразования.Кроме того, шаблон Байера оптимален с точки зрения уменьшения артефактов наложения спектров, когда три типа фильтров расположены на квадратной сетке. ¹⁴ Хотя считается, что большее количество зеленых фильтров обеспечивает повышенное разрешение для сигнала яркости, поскольку стандартная функция яркости 1924 CIE для пиков фотопического зрения на 555 нм, ²⁰ утверждалось, что CFA Байера с двукратным больше синих пикселей, чем красных и зеленых было бы оптимальным для этой цели.¹⁴ При демозаике необработанных данных, соответствующих стандартному CFA Байера, окончательный результат покажет ложные лабиринты или сетки, если соотношение между G1 и G2 меняется по изображению. ²¹ Программные необработанные преобразователи могут усреднять G1 и G2 вместе, чтобы устранить такие артефакты. ²¹

Поскольку в принципе существует только три функции отклика камеры, R1 (λ), R2 (λ) и R3 (λ), цветовая характеристика для байеровского CFA рассматривает G1 и G2 как один канал, G. Необработанные значения можно выразить следующим образом:

Eq.(5)

R = k∫λ1λ2R1 (λ) E˜e, λdλ, G = k∫λ1λ2R2 (λ) E˜e, λdλ, B = k∫λ1λ2R3 (λ) E˜e, λdλ. Функции отклика камеры определены формулой. (2) интегрирование производится по спектральной полосе пропускания камеры, E˜e, λ — средняя спектральная освещенность на фотосайте, а k — постоянная величина. Выражения для E˜e, λ и k приведены в Приложении.

Фактические необработанные значения, полученные на практике, представляют собой квантованные значения, смоделированные путем взятия целой части уравнения. (5). При преобразовании из необработанного пространства камеры полезно нормализовать исходные значения до диапазона [0,1] путем деления уравнения.(5) необработанной точкой отсечения, которая является наивысшим доступным DN.

2.3.

Эталонный белый

При использовании вышеуказанной нормализации эталонный белый цвет необработанного пространства камеры определяется единичным вектором

, выраженным в терминах трехцветных значений CIE XYZ или координат цветности (x, y) с Y = 1, эталонный белый необработанного пространства камеры — это WP освещения сцены, которая дает максимально равные исходные значения для нейтрального объекта. (WP SPD определяется трехцветными значениями CIE XYZ, которые соответствуют 100% нейтральному диффузному отражателю, освещенному этим SPD.)

Отсюда следует, что эталонный белый цвет необработанного пространства камеры в принципе можно определить экспериментально, найдя источник света, который дает равные исходные значения для нейтрального объекта. Обратите внимание, что если для декодирования необработанного файла используется конвертер RAW с открытым исходным кодом DCRaw, необходимо отключить WB. С точки зрения колориметрии CIE, эталонный белый цвет необработанного пространства камеры формально определяется формулой

Eq. (7)

[X (WP) Y (WP) Z (WP)] сцена = T_ [R (WP) = 1G (WP) = 1B (WP) = 1] сцена, где Y (WP) = 1 и нижние индексы означают, что WP — это точка освещения сцены.Матрица характеристик 3 × 3 T_ преобразуется из необработанного пространства камеры в CIE XYZ и должна быть оптимизирована для требуемого освещения сцены. Оптимальное значение T_ на данном этапе неизвестно, но в принципе его можно определить с помощью процедуры оптимизации, описанной в разд. 2.4.

Хотя цветовые пространства CIE используют нормализованные единицы, так что их эталонные белые цвета соответствуют WP стандартных источников света CIE, необработанные пространства камеры не нормализуются естественным образом таким образом. Следовательно, эталонный белый цвет необработанного пространства камеры не обязательно является нейтральным цветом, поскольку он обычно расположен далеко от планковского локуса и поэтому не обязательно имеет связанную коррелированную цветовую температуру (CCT).

Обратите внимание, что WP может быть связан с CCT при условии, что его координаты цветности (x, y) достаточно близки к планковскому локусу, но существует много таких координат, которые соответствуют одной и той же CCT. Чтобы различать их, может быть присвоено значение Duv, неофициально называемое цветовым оттенком. ²² Это определяется путем преобразования (x, y) в координаты цветности (u, v) на диаграмме цветности UCS CIE 1960, ²³ ^, ²⁴, где изотермы нормальны для локуса Планка.В этом представлении CCT является допустимой концепцией только для координат (u, v), расположенных на расстоянии от планковского локуса, которое находится в пределах Duv = ± 0,05 вдоль изотермы. ²⁵

Чтобы увидеть, что эталонный белый цвет необработанного пространства камеры далек от планковского локуса, рассмотрим исходные значения Nikon D700 для нейтрального диффузного отражателя, освещенного источниками освещения CIE A и D65, соответственно,

Eq. (8)

[R (WP) = 0,8878G (WP) = 1,0000B (WP) = 0,4017] A = T_A − 1 [X (WP) = 1,0985Y (WP) = 1,0000Z (WP) = 0.3558] A [R (WP) = 0,4514G (WP) = 1,0000B (WP) = 0,8381] D65 = T_D65−1 [X (WP) = 0,9504Y (WP) = 1,0000Z (WP) = 1,0888] D65, где T_A и T_D65 — это примерные характеристические матрицы, оптимизированные для осветительных приборов CIE A и D65, соответственно. Как показано на рис. 4, WP этих стандартных источников света очень близки к планковскому локусу. Источник света A имеет CCT = 2856 K и Duv = 0,0, а источник света D65 имеет CCT = 6504 K и Duv = 0,0032. Очевидно, что приведенные выше необработанные значения Nikon D700 сильно отличаются от единичного вектора необработанного пространства камеры, и в обоих случаях необходимо применить большие множители к необработанным значениям красных и синих пикселей.Эти множители известны как умножители необработанных каналов, поскольку они обычно применяются к необработанным красным и синим каналам перед цветовой демозаикой как часть стратегии преобразования цвета, используемой внутренними механизмами обработки изображений традиционных цифровых камер.

Рис. 4

Расчетные эталонные белые пространства необработанных пространств Nikon D700 и Olympus E-M1 по сравнению с WP осветительных приборов CIE A и D65. Планковский локус представлен черной кривой. Цветом отображаются только видимые цветности, содержащиеся в цветовом пространстве sRGB.

Оценка эталонного белого цвета Nikon D700 может быть получена путем аппроксимации уравнения. (7) с использованием легко доступной матрицы характеристик вместо T_. Применение T_A дает (x, y) = (0,3849,0,3058), что соответствует Duv = -0,0378. Это связано с CCT = 3155 K, так как значение Duv находится в пределах допустимого предела, но на рис. 4 показано, что цветовой оттенок является сильным пурпурным. Это справедливо для типичных пространств необработанного снимка в целом. ²¹ Аналогичная оценка для камеры Olympus E-M1 дает (x, y) = (0.3599,0,2551), что соответствует Duv = −0,0637. У этого нет связанной CCT, а цветовой оттенок — очень сильный пурпурный.

Хотя тот факт, что эталонные белые цвета необработанного пространства камеры не являются нейтральными с точки зрения колориметрии CIE, не имеет отношения к окончательному воспроизведенному изображению, он будет показан в разд. 5 видно, что эталонный белый цвет необработанного пространства камеры используется в качестве полезного промежуточного шага в стратегии преобразования цвета, используемой традиционными цифровыми камерами.

2.4.

Цветовая характеристика камеры

Вспомните линейное преобразование из необработанного пространства камеры в CIE XYZ, определенное уравнением.(1):

, где T_ — характеристическая матрица 3 × 3:

Eq. (9)

T _ = [T11T12T13T21T22T23T31T32T33]. Преобразование цветов является приблизительным, поскольку условие Лютера-Айвса не выполняется точно. Как упомянуто во введении, T_ может быть оптимизирован для характеристического источника света, то есть освещения сцены, используемого для выполнения характеризации. ¹ ^, ² Оптимальная матрица T_ зависит от самого SPD, но в значительной степени зависит от характеристического освещения WP при условии, что источник света является представителем реального SPD.

Матрицы характеристик, оптимизированные для известных источников света, могут быть определены с помощью процедур минимизации цветовых ошибок, основанных на фотографиях, сделанных на стандартной цветовой диаграмме. ² Хотя были разработаны различные методы минимизации, включая методы сохранения WP, ²⁶ описанная ниже процедура основана на стандартизированном методе B стандарта ISO 17321-1. ¹⁵

Обратите внимание, что ISO 17321-1 использует обработанные изображения, выводимые камерой, а не необработанные данные, и, следовательно, требует инверсии функции оптоэлектронного преобразования камеры (OECF).²⁷ OECF определяет нелинейную взаимосвязь между освещенностью на плоскости датчика и уровнями цифрового вывода видимого выходного изображения, такого как файл JPEG, созданный камерой. Чтобы обойти необходимость экспериментального определения OECF, ниже описывается вариант метода B из ISO 17321-1. В этом методе для декодирования необработанного файла используется конвертер исходных данных с открытым исходным кодом DCRaw, чтобы исходные данные можно было использовать напрямую. ²⁸ ^, ²⁹

1.Сделайте снимок таблицы цветов, освещенной указанным источником света. Поскольку исходные значения масштабируются линейно, важны только их относительные значения. Однако число f N и продолжительность экспозиции t следует выбирать так, чтобы избежать клиппирования.
2. Рассчитайте относительные значения тристимула XYZ для каждого участка цветовой диаграммы:
Eq. (10)
X = k∫λ1λ2x¯ (λ) Ee, λR (λ) dλY = k∫λ1λ2y¯ (λ) Ee, λR (λ) dλZ = k∫λ1λ2z¯ (λ) Ee, λR (λ) dλ , где Ee, λ — спектральная освещенность, падающая на цветовую диаграмму, измеренная с помощью спектрометра; x¯ (λ), y‾ (λ) и z¯ (λ) — функции согласования цветов цветового пространства CIE XYZ; и интегрирование дискретизируется в сумму с шагом 10 нм и ограничивает λ1 = 380 нм и λ2 = 780 нм.Если не используется трехцветный колориметр, расчет требует знания спектральной отражательной способности каждого участка. Спектральная отражательная способность в приведенных выше уравнениях обозначена R (λ), и ее не следует путать с функциями отклика камеры. Константу нормализации k можно выбрать так, чтобы Y находился в диапазоне [0,1] с использованием белого пятна в качестве белого эталона.
3. Получите линейное выходное изображение с демозаикой прямо в необработанном пространстве камеры без преобразования в любое другое цветовое пространство.Гамма-кодирование, кривые тона и баланс белого должны быть отключены. Поскольку настоящий метод позволяет обойтись без необходимости определять и инвертировать OECF, очень важно отключить WB; в противном случае к необработанным каналам могут применяться множители сырых каналов. При использовании конвертера RAW с открытым исходным кодом DCRaw подходящей командой является
dcraw -v -r 1 1 1 1-o 0 -4 -T filename. Это дает 16-битный линейный выходной файл TIFF с демозаикой в необработанном пространстве камеры. Если вы работаете с необработанными каналами, а не с необработанными пиксельными векторами с демозаикой, подходящей командой является dcraw -v -D -4 -T filename.Вышеупомянутые команды DCRaw объяснены в таблице 3.
4. Измерьте средние значения R, G и B по блоку пикселей 64 × 64 в центре каждого фрагмента. Затем каждый патч может быть связан с соответствующим средним необработанным вектором пикселей.
5. Постройте матрицу A_ 3 × n, содержащую векторы цветового пространства XYZ для каждого фрагмента 1,…, n в виде столбцов:
Eq. (11)
A _ = [X1X2 ⋯ XnY1Y2 ⋯ YnZ1Z2 ⋯ Zn]. Точно так же постройте матрицу B_ 3 × n, содержащую соответствующие необработанные векторы пикселей в виде столбцов:
Eq.(12)
B _ = [R1R2 ⋯ RnG1G2 ⋯ GnB1B2 Bn].
6. Оцените характеристическую матрицу 3 × 3 T_, которая преобразует B_ в A_:
Предварительное решение получается с использованием минимизации линейных наименьших квадратов: ² ^, ¹⁵
Ур. (14)
T_ = A_B_T (B_B_T) -1, где верхний индекс T обозначает оператор транспонирования.
7. Используйте предварительную оценку T_, чтобы вычислить новый набор оцененных значений тристимула CIE XYZ A_ ‘в соответствии с формулой. (13).Преобразуйте A_ и A′_ в перцептивно однородное эталонное цветовое пространство CIE LAB и вычислите цветовую разность ΔEi между оцененными значениями трехцветного стимула и реальными значениями трехцветного стимула для каждого фрагмента i. Набор {ΔEi} можно использовать для вычисления DSC / SMI. ⁸ ^, ¹⁵ Обратите внимание, что для точного удовлетворения условию Лютера-Айвса необходимо, чтобы A _ ′ = A_, и в этом случае будет получена оценка DSC / SMI, равная 100.
8. Оптимизируйте T_, минимизируя {ΔEi}, используя метод нелинейной оптимизации, рекомендованный ISO 17321-1.Окончательный DSC / SMI определяет окончательную потенциальную цветовую ошибку. В идеале, включите ограничение, которое сохраняет характеристический источник света WP.
9. Масштабируйте окончательный T_ в соответствии с нормализацией, необходимой для его практического применения. Это обсуждается ниже.

Если WB был отключен на шаге 3, матрица характеристик T_ может использоваться с произвольным освещением сцены. Тем не менее, оптимальные результаты будут получены для освещения сцены с помощью WP, который точно соответствует таковой характеристического источника света.

На рисунке 5 показано, как матричные элементы оптимизированной матрицы характеристик изменяются в зависимости от CCT характеристического источника света для камеры Olympus E-M1.

Рис. 5

Изменение элементов матрицы характеристической матрицы для камеры Olympus E-M1 в зависимости от характеристического источника света CCT.

Для той же камеры на рис. 6 (a) показана фотография цветовой диаграммы в необработанном пространстве камеры, сделанная при освещении D65. Когда значения RGB необработанного пространства камеры интерпретируются как значения RGB в цветовом пространстве sRGB для целей отображения без применения какой-либо матрицы цветовых характеристик, проявляется сильный оттенок зеленого цвета, который возникает из-за большей пропускания зеленого фильтра Байера.На рисунке 6 (b) показана та же фотография, преобразованная в цветовое пространство sRGB путем применения оптимизированной матрицы характеристик T_, за которой следует матрица, преобразующая цвета из цветового пространства CIE XYZ в sRGB. Видно, теперь цвета отображаются правильно.

Рис. 6

(a) Фотография цветовой диаграммы в необработанном пространстве камеры, сделанная при освещении D65. (b) Та же фотография, преобразованная в цветовое пространство sRGB.

2,5.

Нормализация матрицы характеристик

Нормализация матрицы характеристик относится к масштабированию всей матрицы таким образом, чтобы все элементы матрицы масштабировались одинаково.Типичная нормализация, применяемая на практике, состоит в том, чтобы гарантировать, что матричные карты между характеризующим источником света WP, выраженным с использованием цветового пространства CIE XYZ, и необработанным пространством камеры, так что необработанные данные просто насыщаются, когда 100% нейтральный диффузный отражатель фотографируется под характеризующим источником света. . Зеленый необработанный канал обычно насыщается первым.

Например, если характеристический источник света — D65, то T_ может быть нормализовано таким образом, чтобы его обратное значение обеспечивало следующее отображение:

Eq.(15)

[R (WP) G (WP) B (WP)] D65 = T_ − 1 [X (WP) = 0,9504Y (WP) = 1,0000Z (WP) = 1,0888] D65, где max {R ( WP), G (WP), B (WP)} = 1. Поскольку зеленый необработанный канал обычно насыщается первым при большинстве типов освещения, обычно G (WP) = 1, тогда как R (WP) <1 и B (WP) <1.

Например, матрицы характеристик Olympus E-M1, используемые на рис. 5 для калибровочных осветительных приборов 4200 и 6800 K, определяются формулой

Eq. (16)

T_4200 K = [0,86800,33950,21330,28830,8286-0,02160.0425−0.26471.7637], T_6800 K = [1.21050.25020.18820.45860.8772−0.13280.0936−0.27881.9121]. Эти матрицы нормализованы так, что WP характеристического источника света отображается в исходные значения, где зеленый необработанный канал только достигает насыщения. :

Ур. (17)

[R (WP) = 0,6337G (WP) = 1,0000B (WP) = 0,5267] 4200 K = T_4200 K − 1 [X (WP) = 1,0019Y (WP) = 1,0000Z (WP) = 0,6911 ] 4200 K, [R (WP) = 0,4793G (WP) = 1,0000B (WP) = 0,7312] 6800 K = T_6800 K − 1 [X (WP) = 0,9682Y (WP) = 1,0000Z (WP) = 1,1642 ] 6800 K.

3. Баланс белого

Замечательным свойством HVS является его способность естественным образом приспосабливаться к условиям окружающего освещения.Например, если на снимке, освещенном дневным светом, поместить 100% нейтральный диффузный отражатель, он будет иметь нейтральный белый цвет. Позже днем, когда происходит изменение цветности или CCT освещения сцены, можно ожидать, что цвет отражателя изменится соответствующим образом. Однако отражатель по-прежнему будет иметь нейтральный белый цвет. Другими словами, воспринимаемый цвет объектов остается относительно постоянным при различных типах освещения сцены, что известно как постоянство цвета.³ ^, ⁴

Механизм хроматической адаптации, с помощью которого HVS обеспечивает постоянство цвета, сложен и не до конца понятен, но упрощенное объяснение состоит в том, что HVS нацелен на снижение цветности источника света. ³⁰ Еще в 1902 году фон-Крис постулировал, что это достигается за счет независимого масштабирования каждой функции отклика конуса глаза. ³ ^, ⁴ Цветовой стимул, который наблюдатель, адаптированный к окружающим условиям, считает нейтральным белым (идеально ахроматическим со 100% относительной яркостью), определяется как адаптированный белый.³¹

Поскольку функции отклика камеры естественным образом не имитируют HVS за счет дисконтирования цветности освещения сцены, выходное изображение будет выглядеть слишком теплым или слишком холодным, если оно отображается с использованием освещения с WP, которое не соответствует адаптированному белому для фотографической сцены во время съемки. Это известно как неправильный баланс белого. Проблема может быть решена путем реализации следующей вычислительной стратегии.

1. Сообщите камере об адаптированном белом цвете, прежде чем делать снимок.Из-за сложной зависимости истинно адаптированного белого цвета от окружающих условий, эта задача на практике заменяется более простой, а именно — идентифицировать освещение сцены WP. Например, предустановка баланса белого, соответствующая освещению сцены, может быть выбрана вручную, оценка CCT освещенности сцены может быть введена вручную, или камера может вычислить свою собственную оценку путем анализа необработанных данных с использованием автоматической функции баланса белого. Во всех случаях оценка камеры для WP освещения сцены известна как нейтральный ³² камеры или принятый белый (AW).³¹ (Этот этап оценки освещенности не следует путать с WB. Оценка освещенности относится к вычислительным подходам, используемым автоматической функцией WB для оценки освещенности сцены WP. Очень простой подход к оценке освещенности — это метод «серого мира», ³³, который предполагает, что среднее значение всех цветов сцены окажется ахроматическим.Другой простой подход состоит в том, чтобы предположить, что самый яркий белый, вероятно, будет соответствовать освещению сцены WP.³⁴ Однако практические алгоритмы оценки освещенности намного сложнее. ³⁵ ^, ³⁶)
2. Выберите стандартный эталонный белый цвет, который будет использоваться при отображении выходного изображения. Если изображение будет отображаться с использованием стандартного цветового пространства, связанного с выводом, такого как sRGB, выбранный эталонный белый будет соответствовать цветовому пространству с указанием вывода, которым в случае sRGB является источник света CIE D65.
3.Хроматически адаптируйте цвета изображения, адаптируя оценку WP освещения сцены (AW) так, чтобы он стал опорным белым для выбранного цветового пространства, относящегося к выходу. Этот шаг балансировки белого достигается применением CAT.

CAT необходимо применять как часть общего преобразования цвета из необработанного пространства камеры в выбранное цветовое пространство, ориентированное на вывод. Существуют разные подходы к объединению этих компонентов. Типичный подход, используемый в науке о цвете, — это преобразование из необработанного пространства камеры в CIE XYZ, применение CAT, а затем преобразование в выбранное цветовое пространство, указанное на выходе.В случае sRGB,

Eq. (18)

[RLGLBL] D65 = M_sRGB − 1 CAT_AW → D65 T_ [RGB] сцена, где T_ — это матрица характеристик, которая преобразует необработанное пространство камеры в CIE XYZ и оптимизирована для сцены AW, матрица CAT_AW → D65 в цветовом пространстве CIE XYZ применяется CAT, который адаптирует AW к эталонному белому D65 цветового пространства sRGB, и, наконец, M_sRGB-1 — это матрица, которая преобразует из CIE XYZ в линейную форму цветового пространства sRGB:

Eq . (19)

M_sRGB − 1 = [3,24 · 10−1.5374-0.4986-0.96921.87600.04160.0556-0.20401.0570]. В частности, AW в необработанном пространстве камеры сопоставляется с эталонным белым цветовым пространством, указанным на выходе, определенным единичным вектором в цветовом пространстве, указанном на выходе. :

Ур. (20)

[RL = 1GL = 1BL = 1] D65 = M_sRGB − 1 CAT_AW → D65 T_ [R (AW) G (AW) B (AW)] сцена. Когда закодированное выходное изображение просматривается на откалиброванном мониторе. , объект сцены, который HVS считал белым на момент съемки фотографии, теперь будет отображаться с использованием эталонного белого цвета D65.В идеале окружающие условия просмотра должны соответствовать условиям, определенным как подходящие для просмотра цветового пространства sRGB.

Если оценка WP освещения сцены далека от истинного WP освещения сцены, то для HVS будет очевиден неверный WB. Если оценка CCT освещенности сцены выше, чем истинная CCT, фотография будет выглядеть слишком теплой. И наоборот, если оценка CCT освещенности сцены ниже, чем истинная CCT, тогда фотография будет выглядеть слишком холодной.

На рис. 7 (а) показана фотография цветовой диаграммы, сделанная при вольфрамовом освещении 2700 K CCT с помощью камеры Olympus E-M1.Матрица характеристик T_ была применена для преобразования цветов в CIE XYZ, а затем M_sRGB-1 для преобразования цветов в sRGB. Очевидно, истинный цвет освещения сцены раскрывается, поскольку хроматическая адаптация камерой не выполняется. Другими словами, фотография выглядит слишком теплой по сравнению с эталонным белым цветом D65 в цветовом пространстве sRGB. На рисунке 7 (b) показана та же фотография после балансировки белого путем включения CAT, который хроматически адаптирует освещение сцены WP к эталонному белому цветовому пространству sRGB D65, имеющему 6504 K CCT и Duv = 0.0032 цветовой оттенок.

Рис. 7

(a) Фотография цветовой диаграммы, сделанная при вольфрамовом освещении 2700 K CCT и преобразованная в цветовое пространство sRGB для отображения без какой-либо хроматической адаптации. (b) Фотография с балансировкой белого, полученная путем включения CAT для адаптации WP освещения сцены к эталонному белому D65 цветового пространства sRGB.

3.1.

Хроматические адаптационные преобразования

CAT — это вычислительная техника для настройки WP данного SPD. Он достигает этой цели, пытаясь имитировать механизм хроматической адаптации HVS.В контексте цифровых камер наиболее важными CAT являются CAT Брэдфорда и масштабирование необработанных каналов.

В 1902 году фон-Крис постулировал, что механизм хроматической адаптации можно моделировать как независимое масштабирование каждой функции отклика конуса глаза, ³ ^, ⁴, что эквивалентно масштабированию трехцветных значений L, M и S. в цветовом пространстве LMS. Чтобы проиллюстрировать CAT фон-Криса, рассмотрите возможность адаптации оценки WP освещения сцены (AW) к WP освещения D65:

Eq.(21)

[XYZ] D65 = CAT_AW → D65 [XYZ] сцена. В этом случае CAT фон Криса, который должен применяться ко всем необработанным векторам пикселей, может быть записан как

Eq. (22)

CAT_AW → D65 = M_vK − 1 [L (D65) L (AW) 000M (D65) M (AW) 000S (D65) S (AW)] M_vK. Матрица M_vK преобразует каждый необработанный вектор пикселей в диагональ матрица в цветовом пространстве LMS. Современные формы M_vK включают в себя матрицы, основанные на основных принципах конуса, определенных CIE в 2006 г. ³⁷, и матрицу преобразования Ханта – Пойнтера – Эстевеса ³⁸, определяемую формулой

Eq.(23)

M_vK = [0,389710.68898−0.07868−0.229811.183400.046410.000000.000001.00000]. После применения M_vK значения L, M и S независимо масштабируются в соответствии с гипотезой фон-Криса. В данном примере коэффициенты масштабирования возникают из соотношения между WP AW и D65. Их можно получить из следующих векторов WP:

Eq. (24)

[L (AW) M (AW) S (AW)] = M_vK [X (WP) Y (WP) Z (WP)] сцена [L (D65) M (D65) S (D65)] = M_vK [X (WP) = 0.9504Y (WP) = 1.0000Z (WP) = 1.0888] D65. Наконец, применяется обратная матрица преобразования M_vK для преобразования каждого необработанного вектора пикселей обратно в цветовое пространство CIE XYZ.

Bradford CAT ³⁹ можно рассматривать как улучшенную версию CAT von-Kries. ICC рекомендует упрощенную линеаризованную версию для использования в цифровых изображениях. ⁴⁰ Линейный КАТ Брэдфорда может быть реализован аналогично КАТ фон-Криса, с той разницей, что трехцветные значения L, M и S заменены на ρ, γ и β, которые соответствуют «резкости». ”Искусственный глазной конус. Матрица преобразования определяется формулой

Eq. (25)

M_BFD = [0.89510.2664-0.1614-0.75021.71350.03670.0389-0.06851.0296].

Аналогично независимому масштабированию функций отклика конуса глаза, предложенному фон-Крисом, тип CAT может быть применен в необработанном пространстве камеры путем прямого масштабирования необработанных каналов. Рассмотрим блок Байера для AW, полученный путем фотографирования 100% нейтрального диффузного отражателя при освещении сцены. Следующая операция адаптирует AW к эталонному белому в необработанном пространстве камеры:

Eq. (26)

[RGB] RW = CAT_AW → RW [RGB] сцена, где

Eq.(27)

CAT_AW → RW = D _ = [1R (AW) 0001G (AW) 0001B (AW)] сцена. Коэффициенты масштабирования по диагонали, известные как множители сырых каналов, могут быть получены непосредственно из необработанных данных с использованием AW, рассчитанного с помощью камера. Например, AW = D65 для освещения сцены D65, в этом случае

Eq. (28)

CAT_D65 → RW = D_D65 = [1R (D65) 0001G (D65) 0001B (D65)], где R (D65), G (D65) и B (D65) извлекаются из блока Байера для 100 % нейтральный диффузный отражатель, сфотографированный при освещении сцены D65.

Было обнаружено, что в контексте цифровых камер тип CAT, определяемый множителями необработанных каналов, лучше работает на практике, особенно в крайних случаях.²¹ ^, ³² Причина в том, что множители необработанных каналов применяются в необработанном пространстве камеры до применения матрицы преобразования цвета. Необработанное пространство камеры соответствует физическому устройству захвата, но CAT, такие как линейный CAT Брэдфорда, применяются в цветовом пространстве CIE XYZ после применения матрицы преобразования цвета, содержащей ошибку. В частности, цветовые ошибки, которые были минимизированы в нелинейном цветовом пространстве, таком как CIE LAB, будут неравномерно усилены, поэтому преобразование цвета больше не будет оптимальным.⁴¹

4. Камеры смартфонов

Производители смартфонов вместе с разработчиками коммерческого программного обеспечения для преобразования необработанных данных обычно реализуют традиционный тип вычислительной стратегии преобразования цвета, используемый в науке о цвете, который был представлен в разд. 3. Поскольку необработанное пространство камеры преобразуется в CIE XYZ на первом этапе, методы обработки изображений могут применяться в цветовом пространстве CIE XYZ (или после преобразования в какое-либо другое промежуточное цветовое пространство) перед окончательным преобразованием в цветовое пространство, указанное на выходе. Цветовое пространство RGB.

Рассмотрим преобразование с балансировкой белого из необработанного пространства камеры в цветовое пространство RGB, ориентированное на вывод. В отличие от традиционных цифровых камер, цветная демозаика обычно выполняется в первую очередь, поэтому векторная нотация, используемая для необработанного пространства камеры ниже, относится к необработанным векторам пикселей, а не к блокам Байера. В случае sRGB преобразование, которое должно применяться к каждому необработанному вектору пикселей, определяется формулой

Eq. (29)

[RLGLBL] D65 = M_sRGB − 1 CAT_AW → D65 T_ [RGB] сцена.Преобразование можно разделить на три этапа.

1. После того, как камера оценила освещенность сцены WP (AW), применяется матрица характеристик T_, оптимизированная для AW, которая преобразует необработанное пространство камеры в CIE XYZ:
Eq. (30)
[XYZ] scene = T_ [RGB] scene. Оптимизированная матрица T_ обычно нормализуется так, что AW в пространстве CIE XYZ получается, когда необработанный вектор пикселей, соответствующий нейтральному диффузному отражателю, освещенному AW, достигает насыщение:
Ур.(31)
[X (AW) Y (AW) Z (AW)] сцена = T_ [R (AW) G (AW) B (AW)] сцена, где Y (WP) = 1 и max {R (AW) ), G (AW), B (AW)} = 1. Как обсуждалось в разд. 2.5, зеленый компонент обычно насыщается первым, поэтому R (AW) <1 и B (AW) <1 в целом.
2. Поскольку T_ не изменяет AW, применяется CAT для достижения WB путем адаптации AW к опорному белому в выбранном цветовом пространстве, относящемся к выходу. Это D65 в случае sRGB:
Eq. (32)
[XYZ] D65 = CAT_AW → D65 [XYZ] сцена. ICC рекомендует реализовать CAT, используя линейную матрицу CAT Брэдфорда, определенную уравнением.(25).

3. Применяется матрица, которая преобразует из CIE XYZ в линейную форму выбранного цветового пространства, ориентированного на вывод. В случае sRGB,

Eq. (33)

[RLGLBL] D65 = M_sRGB-1 [XYZ] D65.

артефакты полос, когда битовая глубина уменьшается, а внесенная нелинейность позже отменяется гаммой дисплея.²⁸

Чтобы убедиться, что баланс белого достигается правильно, вышеприведенные шаги могут быть выполнены для конкретного случая необработанного вектора пикселей, который соответствует AW. Как требуется по формуле. (20) было обнаружено, что это отображается на эталонный белый цвет упомянутого на выходе цветового пространства, определенного единичным вектором в этом цветовом пространстве:

[RL = 1GL = 1BL = 1] D65 = M_sRGB − 1 CAT_AW → D65 T_ [R (AW) G (AW) B (AW)] сцена.

Хотя матричное преобразование, определенное формулой. (29) кажется простым, матрица характеристик T_ в принципе должна быть оптимизирована для AW.Однако непрактично определять матрицу характеристик, оптимизированную для каждой возможной WP освещения сцены, которая может возникнуть. Например, если CCT указаны с точностью до ближайшего градуса Кельвина и цветовым оттенком пренебрегают, тогда потребуется 12000 матриц для покрытия WP освещения сцены от 2000 до 14000 K.

Самое простое в вычислительном отношении решение, используемое на некоторых камерах мобильных телефонов, — это приблизить оптимизированная матрица характеристик T_ с использованием единственной фиксированной матрицы, оптимизированной для репрезентативного источника света.Например, это может быть освещение D65, и в этом случае T_, оптимизированное для AW, аппроксимируется как T_D65. Недостатком этого очень простого подхода является то, что преобразование цвета теряет некоторую точность, когда WP освещения сцены значительно отличается от WP репрезентативного источника света.

Как описано ниже, передовым решением проблемы является принятие типа подхода, используемого конвертером Adobe DNG. ³² Идея состоит в том, чтобы интерполировать между двумя предварительно установленными характеристическими матрицами, которые оптимизированы для использования с источником света с низкой или высокой CCT.Для заданного освещения сцены может быть определена интерполированная матрица, оптимизированная для CCT AW.

4.1.

Алгоритм интерполяции

Если используется продвинутый подход, упомянутый выше, оптимизированная матрица характеристик T_, требуемая уравнением. (29) можно вычислить путем интерполяции между двумя характеристическими матрицами T1_ и T2_ на основе оценки CCT освещения сцены, обозначенной CCT (AW), вместе с CCT двух характеризующих осветительных приборов, обозначенных CCT1 и CCT2, соответственно, с CCT1

Первый шаг — надлежащим образом нормализовать T1_ и T2_. Хотя характеристические матрицы обычно нормализуются в соответствии с их соответствующими характеристиками WP осветительных приборов, как показано в разд. 2.5, при реализации алгоритма интерполяции удобнее нормализовать T1_ и T2_ в соответствии с общим WP. К сожалению, на данном этапе невозможно выразить AW с использованием цветового пространства CIE XYZ, поскольку T_ еще предстоит определить.Вместо этого общий WP может быть выбран в качестве эталонного белого цветового пространства, связанного с выводом, что составляет D65 для sRGB. В этом случае T1_ и T2_ должны быть масштабированы согласно формуле. (15):

Ур. (34)

[R (WP) G (WP) B (WP)] D65 = T1_ − 1 [X (WP) = 0,9504Y (WP) = 1,0000Z (WP) = 1,0888] D65, [R (WP) G (WP) B (WP)] D65 = T2_ − 1 [X (WP) = 0,9504Y (WP) = 1,0000Z (WP) = 1,0888] D65, где Y (WP) = 1 и max {R (WP) , G (WP), B (WP)} = 1.

Если в смартфоне не используется датчик цвета, который может напрямую оценивать WP освещенности сцены с точки зрения координат цветности (x, y), AW рассчитывается камерой в терминах исходных значений R (AW), G (AW) и B (AW), поэтому AW не может быть выражено с использованием цветового пространства CIE XYZ до интерполяции.Однако соответствующий CCT (AW) требует знания координат цветности (x, y), что означает преобразование в CIE XYZ посредством матричного преобразования T_, которое само зависит от неизвестного CCT (AW). Эта проблема может быть решена с помощью самосогласованной итерационной процедуры. ³²

1. Сделайте предположение для координат цветности AW, (x (AW), y (AW)). Например, могут использоваться координаты цветности, соответствующие одному из характеризующих осветительных приборов.
2. Найдите значение CCT CCT (AW), которое соответствует координатам цветности (x (AW), y (AW)). Широко используемый подход заключается в преобразовании (x (AW), y (AW)) в соответствующие координаты цветности (u (AW), v (AW)) на диаграмме цветности UCS 1960 года, ²³ ^, ²⁴ где изотермы нормальны к планковскому локусу. Это позволяет определять CCT (AW) с использованием метода Робертсона. ⁴² В качестве альтернативы могут быть реализованы приближенные формулы ⁴³ ^— ⁴⁵ или более поздние алгоритмы ⁴⁶.
3. Выполните интерполяцию так, чтобы
Eq. (35)
T_ (AW) = f [T1_ (CCT1), T2_ (CCT2)], где f — функция интерполяции. Интерполяция действительна, если CCT (AW) CCT2, то T_ следует установить равным T2_.
4. Используйте T_ для преобразования AW из необработанного пространства камеры в цветовое пространство CIE XYZ:
Eq. (36)
[X (AW) Y (AW) Z (AW)] сцена = T_ [R (AW) G (AW) B (AW)] сцена. Это дает новое предположение для (x (AW), y (AW)).
5. Повторяйте процедуру, начиная с шага 2, пока (x (AW), y (AW)), CCT (AW) и T_ все не сойдутся к стабильному решению.

После того, как интерполяция была выполнена, T_ наследует нормализацию уравнения. (34). Однако теперь AW может быть выражено с использованием цветового пространства CIE XYZ, поэтому T_ можно перенормировать, чтобы удовлетворить уравнению. (31).

Если в смартфоне используется датчик цвета, который может напрямую оценивать WP освещенности сцены с точки зрения координат цветности (x, y), то требуются только шаги 2 и 3, указанные выше.

5. Традиционные цифровые камеры

Рассмотрим снова сбалансированное по белому преобразование из необработанного пространства камеры в цветовое пространство RGB, ориентированное на вывод. В случае sRGB преобразование определяется формулой. (29):

[RLGLBL] D65 = M_sRGB − 1 CAT_AW → D65 T_ [RGB] сцена, где CAT_AW → D65 адаптирует оценку WP освещения сцены (AW) к эталонному белому цветовому пространству sRGB D65. Традиционные производители камер обычно переформулируют приведенное выше уравнение следующим образом:

Eq.(37)

[RLGLBL] D65 = R_D_ [RGB] сцена. Это уравнение можно интерпретировать, разложив преобразование на два этапа.

1. Матрица D_ — это диагональная матрица WB, содержащая необработанные множители каналов, подходящие для AW:
Eq. (38)
D _ = [1R (AW) 0001G (AW) 0001B (AW)] сцена. Они применяются к необработанным каналам перед цветной демозаикой. Как показано формулой. (27), множители необработанных каналов, в частности, служат для хроматической адаптации AW к эталонному белому необработанному пространству камеры:
Eq.(39)
[R = 1G = 1B = 1] ссылка = сцена D_ [R (AW) G (AW) B (AW)].
2. Матрица R_ — это матрица поворота цвета, оптимизированная для освещения сцены. После выполнения цветовой демозаики R_ применяется для преобразования непосредственно из необработанного пространства камеры в линейную форму выбранного цветового пространства, ориентированного на вывод. По сравнению с уравнениями. (29) и (37), R_ алгебраически определяется как
Eq. (40)
R_ = M_sRGB − 1 CAT_AW → D65 T_ D_ − 1. Матрицы поворота цвета обладают тем важным свойством, что сумма каждой из их строк равна единице:
Eq.(41)
R (1,1) + R (1,2) + R (1,3) = 1, R (2,1) + R (2,2) + R (2,3) = 1, R (3,1) + R (3,2) + R (3,3) = 1. Следовательно, R_ сопоставляет эталонный белый цвет необработанного пространства камеры непосредственно с эталонным белым цветовым пространством, указанным на выходе. ²¹ В случае sRGB
Eq. (42)
[RL = 1GL = 1BL = 1] D65 = R_ [R = 1G = 1B = 1] эталон.

Объединение уравнений. (39) и (42) показывают, что общий WB достигается, поскольку необработанный вектор пикселя, соответствующий AW, отображается на опорный белый цвет упомянутого на выходе цветового пространства:

Eq.(43)

[RL = 1GL = 1BL = 1] D65 = R_D_ [R (AW) G (AW) B (AW)] сцена.

Как и характеристическая матрица T_, матрица поворота цвета R_ в принципе должна быть оптимизирована для освещения сцены. Вместо того, чтобы использовать подход, основанный на интерполяции, переформулировка в форме уравнения. (37) позволяет традиционным производителям камер принять альтернативный и простой в вычислительном отношении подход, который может быть напрямую реализован на архитектуре с фиксированной точкой.

5.1.

Умножитель и развязка матрицы

Хотя уравнение.(37) кажется простой переформулировкой уравнения. (29), он имеет несколько преимуществ, которые возникают из-за извлечения необработанных множителей каналов, содержащихся в матрице D_ ББ. Как показано на фиг. 8, изменение элементов матрицы поворота цвета относительно CCT очень мало. Как видно из сравнения фиг. 5 и 8.

Рис. 8

Изменение элементов матрицы матрицы вращения R_ сырого цвета в sRGB, используемой камерой Olympus E-M1, в зависимости от CCT.

Следовательно, достаточно определить небольшой набор из n предварительно установленных матриц поворота цветов, которые покрывают диапазон WP или CCT, причем каждая матрица оптимизирована для конкретной предварительно установленной WP или CCT:

Eq. (44)

R_i = M_sRGB − 1 CAT_AW → D65 T_i D_i − 1, где i = 1… n. Когда AW рассчитывается камерой, может быть выбрана матрица поворота цвета R_i, оптимизированная для наиболее подходящей предустановки WP или CCT. Однако матрица WB D_, соответствующая AW, всегда применяется до R_i, поэтому полное преобразование цвета может быть выражено как

Eq.(45)

[RLGLBL] D65 = (M_sRGB − 1 CAT_AW → D65 T_i D_i − 1) D_ [RGB] сцена. Поскольку D_ отделен от матриц вращения, этот подход позволит добиться правильного баланса белого без необходимости интерполировать матрицы вращения. .

Следует отметить, что необработанное пространство камеры правильно представляет сцену (хотя и с помощью нестандартной цветовой модели) и что множители необработанного канала, содержащиеся в D_, не применяются для «исправления» чего-либо, касающегося представления истинного белого цвета сцены с помощью необработанное пространство камеры, как это часто предполагается.Множители применяются для хроматической адаптации AW к эталонному белому в необработанном пространстве камеры как часть общей CAT, необходимой для достижения WB, путем имитации механизма хроматической адаптации HVS. Как показано на рис.4, эталонный белый цвет необработанного пространства камеры обычно является пурпурным цветом при использовании колориметрии CIE, но он служит полезным промежуточным этапом в требуемом преобразовании цвета, поскольку он облегчает выделение компонента масштабирования канала, который можно отделить от матричной операции.К другим преимуществам переформулировки можно отнести следующее.

• Множители сырых каналов, содержащиеся в D_, могут быть применены к необработанным каналам до выполнения цветной мозаики. В результате получается демозаика лучшего качества. ²¹
• Метод может быть эффективно реализован в архитектуре с фиксированной точкой. ⁴⁷
• При желании, часть масштабирования необработанного канала может быть выполнена в аналоговой области с использованием аналогового усиления.Это полезно для качества изображения, если аналого-цифровой преобразователь (АЦП) не имеет достаточно высокой битовой глубины. Обратите внимание, что этот тип аналогового усиления будет влиять на коэффициенты преобразования единицы, относящиеся к входу и выходу gi, определенные формулой. (80) в Приложении.
• Необработанные множители каналов, содержащиеся в D_, которые появляются в уравнении. (37) хранятся в метаданных проприетарных необработанных файлов и применяются внутренним механизмом обработки изображений JPEG камеры. Поскольку множители необработанных каналов не влияют на необработанные данные, они могут использоваться внешним программным обеспечением для преобразования необработанных данных, предоставляемым производителем камеры, и могут быть легко настроены пользователем.
• Предварительные настройки освещения сцены, которые включают в себя цветовой оттенок, могут быть напрямую реализованы путем сохранения соответствующих предварительно установленных матриц поворота цветов и множителей необработанных каналов, как показано в разд. 5.2.

5.2.

Пример: Olympus E-M1

Хотя цветовые матрицы, используемые производителями камер, как правило, неизвестны, некоторые производители, такие как Sony и Olympus, действительно раскрывают информацию о матрицах вращения цвета, используемых их камерами, которая может быть извлечена из необработанных метаданных. .

В таблице 1 перечислены данные, показанные на рис. 8, для предварительно установленных матриц поворота цвета, используемых цифровой камерой Olympus E-M1, а также диапазоны CCT освещения сцены, в которых применяется каждая матрица. На рисунке 9 показано, как множители необработанных каналов для одной и той же камеры меняются в зависимости от CCT. Данные были извлечены из необработанных метаданных с помощью бесплатного приложения ExifTool. ⁴⁸ Стратегию преобразования цвета камеры можно резюмировать следующим образом.

1.Камера определяет оценку WP освещения сцены (AW), используя алгоритм автоматического баланса белого, выбранную предустановку освещения сцены или настраиваемую CCT, предоставленную пользователем. AW используется для расчета соответствующих множителей необработанных каналов с помощью уравнения. (38) так, чтобы диагональная матрица WB D_ могла быть применена к необработанным каналам. В частности, D_ служит для адаптации AW к эталонному белому в необработанном пространстве камеры.
2. После выполнения цветовой демозаики камера выбирает предварительно заданную матрицу поворота цвета R_i, оптимизированную для освещения с помощью CCT, которая обеспечивает наиболее близкое соответствие CCT, связанного с AW, или наиболее близкую предустановку освещения сцены.
3. Камера применяет R_i для преобразования в цветовое пространство с привязкой к выходу, выбранное пользователем в камере, например sRGB. В частности, эталонный белый цвет необработанного пространства камеры отображается на эталонный белый цвет выбранного цветового пространства, ориентированного на вывод, которым является D65 в случае sRGB.

Камера Olympus E-M1 также включает несколько предустановок освещения сцены. Матрицы поворота цвета и соответствующие множители необработанных каналов для этих предустановок сцены перечислены в таблице 2.Обратите внимание на то, что для заданного CCT предварительно заданные матрицы и множители сцены не обязательно совпадают с теми, что перечислены в таблице 1. Это связано с тем, что визуализации предварительно заданных сцен включают цветовой оттенок вдали от планковского локуса, поэтому координаты цветности не обязательно являются такие же, как перечисленные в таблице 1 для данной CCT. По той же причине обратите внимание, что предустановки сюжетных режимов «хорошая погода», «под водой» и «вспышка» фактически используют одну и ту же матрицу поворота цветов, но используют очень разные множители необработанных каналов.

Таблица 1

Матрицы поворота цвета Raw-to-sRGB, соответствующие диапазонам настраиваемых CCT в камере для камеры Olympus E-M1 с объективом 12-100 / 4 и прошивкой v4.1. В среднем столбце перечислены матрицы, извлеченные из необработанных метаданных, которые представляют собой 8-битные числа с фиксированной запятой. При делении на 256 в правом столбце с четырьмя десятичными разрядами отображаются одни и те же матрицы, так что сумма каждой строки равна единице, а не 256.

911−9622 [374−9622 [374−96 −42348−508−124372]

Диапазон CCT (K)	Матрица вращения (фиксированная точка)	Матрица вращения
2000 → 3000	[320−36−28−683081614−248490]	[1.2500-0.1406-0.1094-0.26561.20310.06250.0547-0.96881.9141]
3100 → 3400	[332-52-24-58320-612-192436]	[1.2969-0.2031-0.0938-0.22661 −0.02340.0469−0.75001.7031]
3500 → 3700	[340−60−24−56324−1212−172416]	[1.3281−0.2344−0.0938−0.21881.2656−0.04690.0461−0.67 6250]
3800 → 4000	[346-68-22-52332-2410-160406]	[1,3516-0,2656-0,0859-0,20311,2969-0.09380.0391−0.62501.5859]
4200 → 4400	[346−68−22−48332−2812−160404]	[1.3516−0,2656−0,0859−0,18751.2969−0.10940.0461.51.5
4600 → 5000	[354−76−22−44336−3610−148394]	[1,3828−0,2969−0,0859−0,17191,3125−0,14060,0391-0,57811,5391]
00 5200	[366−88−22−42340−4210−136382]	[1.4297−0,3438−0,0859−0,16411,3281−0,16410,0391−0,53131,4922]
5800 → 6600	[1.4609-0,3750-0,0859-0,16411,3594-0,19530,0313-0,48441,4531]
6800 → 14000	[388-108-24-38360-668-112360]	[1,5156-0,4238 .4063−0.25780.0313−0.43751.4063]

Рис. 9

Множители необработанных каналов, используемые камерой Olympus E-M1, как функция CCT. Камера использует одинаковые множители для обоих зеленых каналов.

Таблица 2

Матрицы поворота цвета Raw-to-sRGB и соответствующие множители необработанных каналов, соответствующие режимам сцены в камере для камеры Olympus E-M1 с объективом 12-100 / 4 и v4.1 прошивка. Все значения представляют собой 8-битные числа с фиксированной запятой, которые можно разделить на 256. Поскольку предустановки режима сцены включают цветовой оттенок вдали от планковского локуса, множители и матрицы не обязательно имеют те же значения, что и пользовательские предустановки CCT с тот же CCT, указанный в таблице 1.

–

73 5500

Режим сцены	CCT (K)	Множители	Матрица вращения (фиксированная точка)
Хорошая погода	5300	474 256 414	[366 −22−42340−4210−136382]
Хорошая погода с тенью	7500	552 256 326	[388−108−24−38360−668−112360]
Облачно 6000 72	510 256 380	[374−96−22−42348−508−124372]
Вольфрам (накаливания)	3000	276 256 728	[320−36−28−683081614−24841170]
Холодный белый люминесцентный	4000	470 256 580	[430−168−6−50300612−132376]
Под водой		450 256 444	[366−88−22−42340−4210−136382] Flash
562 256 366	[366−88−22−42340−4210−136382]

Для любой данной модели камеры все предустановленные матрицы поворота цвета зависят от таких факторов, как цветовое пространство на выходе, выбранное пользователь в настройках камеры (например, sRGB или Adobe ^® RGB), модель объектива, с которой был сделан снимок, и версия прошивки.Из-за различий в калибровке датчиков между разными примерами одной и той же модели камеры также может быть зависимость от отдельной камеры, используемой для съемки.

Например, на рис. 10 (а) показана фотография цветовой диаграммы в необработанном пространстве камеры, сделанная при освещении D65. Как и на рис. 6 (a), оттенок зеленого цвета возникает из-за того, что значения RGB необработанного пространства камеры интерпретируются как значения RGB в цветовом пространстве sRGB для целей отображения без применения какой-либо матрицы цветовых характеристик для преобразования цветов.Рисунок 10 (b) показывает ту же фотографию после применения диагональной матрицы баланса белого D_ для хроматической адаптации AW к исходному белому пространству камеры. Множители необработанных каналов удаляют зеленый оттенок, но фотография остается в необработанном пространстве камеры. Примечательно, что цвета кажутся реалистичными, хотя и ненасыщенными. Чтобы проиллюстрировать, что эталонный белый цвет необработанного пространства камеры на самом деле является пурпурным цветом при использовании колориметрии CIE, рис.10 (c) преобразует (b) в цветовое пространство sRGB без какой-либо дальнейшей хроматической адаптации, применяя обычную матрицу характеристик T_, за которой следует M_sRGB. −1.Напротив, рис. 10 (d) был получен путем применения соответствующих умножителей необработанных каналов, за которыми следовала матрица поворота цвета sRGB R_ вместо T_ и M_sRGB-1. Матрица вращения цвета включает в себя CAT, который адаптирует эталонный белый цвет необработанного пространства камеры к эталонному белому цветовому пространству sRGB D65. В этом конкретном случае D_ = D_D65, поэтому матрица поворота цвета R_, определенная формулой. (40) становится

Ур. (46)

R_≡R_D65 = M_sRGB − 1 T_D65 D_D65−1. Подставляя в уравнение. (37) дает

Ур.(47)

[RLGLBL] D65 = M_sRGB-1 T_D65 D_D65-1 D_D65 [RGB] сцена. Следовательно, матрица вращения меняет эффект матрицы WB, поскольку освещение сцены и дисплея одинаковое.

Рис. 10

(a) Фотография цветовой диаграммы в необработанном пространстве камеры, сделанная при освещении D65. (b) После применения соответствующих коэффициентов необработанных каналов. Они удаляют зеленый оттенок, но фотография остается в необработанном пространстве камеры. (c) После применения соответствующих умножителей необработанных каналов и преобразования в sRGB без какой-либо дальнейшей хроматической адаптации.Белый участок показывает истинный цвет эталонного белого космического пространства камеры. (d) После применения соответствующих умножителей необработанных каналов и матрицы поворота цветов sRGB R_.

6. Конвертер исходного кода DCRaw с открытым исходным кодом

Широко используемый конвертер исходного кода DCRaw с открытым исходным кодом (произносится как «ди-см-необработанный»), написанный Д. Коффином, может обрабатывать большое количество форматов файлов необработанных изображений. Он особенно полезен для научного анализа, поскольку он может декодировать необработанные файлы без демозаики, он может применять линейные кривые тона и может напрямую выводить в необработанное пространство камеры и цветовое пространство CIE XYZ.Некоторые соответствующие команды перечислены в таблице 3. Однако DCRaw по умолчанию выводит непосредственно в цветовое пространство sRGB с WP подсветкой D65, используя вариант традиционной стратегии цифровой камеры, описанной в предыдущем разделе. ²⁸

Напомним, что матрица вращения цвета, оптимизированная для использования с освещением сцены, определяется формулой. (40):

R_ = M_sRGB − 1 CAT_AW → D65 T_ D_ − 1. Хотя цифровые камеры обычно используют небольшой набор предустановленных матриц поворота, оптимизированных для выбора предустановленных источников света, DCRaw вместо этого использует очень простой в вычислительном отношении подход, который использует только матрица одиночного вращения, оптимизированная для освещения сцены D65, R_≈R_D65.Это достигается с помощью характеристической матрицы T_D65, оптимизированной для освещения D65, что означает, что матрица D_-1, содержащаяся в R_, заменяется на D_D65-1, и матрица CAT_AW → D65 не требуется:

Eq. (48)

R_D65 = M_sRGB-1 T_D65 D_D65-1. Диагональная матрица баланса белого D_D65 содержит множители сырых каналов, подходящие для освещения D65:

Eq. (49)

D_D65 = [1R (WP) 0001G (WP) 0001B (WP)] D65 = [1R (D65) 0001G (D65) 0001B (D65)]. Общее преобразование из необработанного пространства камеры в линейную форму sRGB определяется формулой

Eq.(50)

[RLGLBL] D65≈R_D65 D_ [RGB] сцена, которую можно более явно записать как

Eq. (51)

[RLGLBL] D65≈M_sRGB − 1 T_D65 [R (D65) R (AW) 000G (D65) G (AW) 000B (D65) B (AW)] [RGB] сцена. Следовательно, вся хроматическая адаптация выполняется выполняется с использованием множителей сырых каналов. Обратите внимание, что матрица WB D_, соответствующая оценке освещенности сцены, всегда применяется к необработанным данным в формуле. (50), поэтому WB всегда в принципе достигается правильно.

Таблица 3

Выбор соответствующих команд DCraw, доступных в версии 9.28. Обратите внимание, что параметры цветового пространства вывода RGB используют матрицы поворота цветов и поэтому должны использоваться только с правильными множителями сырых каналов из-за встроенного CAT.

rg1172 -r >

-v	Распечатать подробные сообщения
-w	По возможности использовать WB камеры
-A	Среднее значение серого поля для WB
Установить индивидуальный WB
+ M / -M	Использовать / не использовать встроенную цветовую матрицу
-H [0-9]	Режим выделения (0 = клип, 1 = отсоединить, 2 = смешивание, 3+ = перестроение)
-o [0-6]	Выходное цветовое пространство (raw, sRGB, Adobe, Wide, ProPhoto, XYZ, ACES)
-d	Режим документа ( без цвета, без интерполяции)
-D	Режим документа без масштабирования (полностью необработанный)
-W	Не повышать яркость изображения автоматически
-b	Отрегулировать яркость ( по умолчанию = 1.0)
-g	Установить пользовательскую кривую гаммы (по умолчанию = 2,222 4,5)
-q [0-3]	Установить качество интерполяции
-h	Half -размер цветного изображения (в два раза быстрее, чем «-q 0»)
-f	Интерполировать RGGB как четыре цвета
-6	Записать 16-битное вместо 8-битного
— 4	Линейный 16-битный, то же, что «-6 -W -g 1 1»
-T	Записать TIFF вместо PPM

Хотя матрица преобразования цвета T_D65 оптимизирована для освещения сцены D65, Применение матрицы поворота цвета R_D65 для преобразования из необработанного пространства камеры в sRGB допустимо для любого CCT освещения сцены, поскольку матрицы поворота цвета изменяются очень медленно в зависимости от CCT, как видно из рис.8. Однако R_D65 является оптимальным выбором для освещения сцены D65, поэтому недостатком этого упрощенного подхода является то, что общее преобразование цвета теряет некоторую точность, когда освещение сцены значительно отличается от D65.

6.1.

Пример: Olympus E-M1

DCRaw использует матрицы поворота цвета, полученные с помощью уравнения. (48), поэтому для данной модели камеры требуется матрица характеристик T_D65. Для этой цели DCRaw использует матрицы Adobe «ColorMatrix2» из конвертера Adobe ^® DNG.³²

Из-за требований к логике восстановления, матрицы Adobe отображаются в противоположном направлении по отношению к традиционным матрицам характеристик, определенным в разд. 2.4, и, следовательно,

Ур. (52)

T_D65 = (1cColorMatrix2 _) — 1, где c — нормировочная константа. Для цифровой камеры Olympus E-M1 исходный код DCRaw хранит записи ColorMatrix2 следующим образом: 7687, −1984, −606, −4327, 11928, 2721, −1381, 2339, 6452. Деление на 10000 и преобразование в матричная форма дает

Eq.(53)

ColorMatrix2 _ = [0,7687-0,1984-0,0606-0,43271,19280.2721-0,13810,23390,6452]. Вызов из разд. 2.5 следует, что характеристические матрицы обычно нормализуются таким образом, что WP характеристического источника света отображается на необработанные значения, так что максимальное значение (обычно зеленый канал) просто достигает насыщения, когда 100% нейтральный диффузный отражатель фотографируется под характеристическим источником света. Хотя матрицы ColorMatrix2 оптимизированы для освещения CIE D65, они по умолчанию нормализованы в соответствии с WP осветителя CIE D50, а не D65:

Eq.(54)

[R (WP) G (WP) B (WP)] D50 = ColorMatrix2_ [X (WP) = 0,9642Y (WP) = 1,0000Z (WP) = 0,8249] D50, где max {R (WP) , G (WP), B (WP)} = 1. Соответственно, их необходимо масштабировать для использования с DCRaw:

Eq. (55)

[R (WP) G (WP) B (WP)] D65 = 1cColorMatrix2_ [X (WP) = 0.9504Y (WP) = 1.0000Z (WP) = 1.0888] D65, где max {R (WP) , G (WP), B (WP)} = 1. В данном примере найдено, что c = 1,0778, поэтому

Eq. (56)

T_D65-1 = [0,7133-0,1841-0,0562-0,40151,10680,2525-0,12810,21700,5987]. С учетом единичного вектора в цветовом пространстве sRGB указанная выше матрица может использоваться для получения необработанных значений трехцветного изображения для D65. освещение WP:

Ур.(57)

[R (WP) = 0,4325G (WP) = 1,0000B (WP) = 0,7471] D65 = T_D65−1 M_sRGB [RL = 1GL = 1BL = 1] D65, где M_sRGB преобразуется из линейной формы sRGB. в CIE XYZ. Теперь уравнение. (49) можно использовать для извлечения множителей сырых каналов для освещения сцены с D65 WP:

Eq. (58)

D_D65 = [2.311700010001.3385]. Наконец, матрица вращения цвета может быть рассчитана по формуле. (48):

Ур. (59)

R_D65 = [1,7901-0,6689-0,1212-0,21671,7521-0,53540,0543-0,55821,5039]. Сумма в каждой строке при необходимости сводится к единице. Форма матрицы аналогична встроенным в камеру матрицам Olympus, перечисленным в таблице 1.Для целей сравнения соответствующая приведенная матрица является той, которая действительна для CCT источников света сцены в диапазоне от 5800 до 6600 K. Ожидаются некоторые численные различия, поскольку освещение D65 имеет цветовой оттенок Duv = 0,0032. Другие численные различия, вероятно, связаны с разницей в методах характеризации Olympus и Adobe. Кроме того, Adobe использует таблицы HSV (оттенок, насыщенность и значение) для имитации окончательной цветопередачи встроенного в камеру механизма обработки JPEG.

6.2.

DCRaw и MATLAB

Как показано в таблице 3, DCRaw включает множество команд, которые полезны для научных исследований.Однако важно отметить, что параметры цветового пространства вывода RGB используют матрицы поворота цвета, а не конкатенацию необработанных матриц с CIE XYZ и CIE XYZ с матрицами RGB. Поскольку матрицы поворота цвета включают встроенный CAT, эти параметры позволят достичь ожидаемого результата только в сочетании с правильными множителями необработанных каналов. Например, установка множителя каждого необработанного канала на единицу не предотвратит выполнение некоторой частичной хроматической адаптации, если выбран выход sRGB, поскольку матрица вращения цвета DCRaw включает в себя матрицу D_D65-1, которая является типом CAT_RW → D65.

Надежным способом использования DCRaw для научных исследований является команда «dcraw -v -D -4 -T filename», которая обеспечивает линейный 16-битный вывод TIFF в необработанном цветовом пространстве без балансировки белого, демозаики или преобразования цвета. . Последующая обработка может быть выполнена после импорта файла TIFF в MATLAB ^® с использованием обычной команды «imread». Ссылка 49 предоставляет учебное пособие по обработке. Цветные диаграммы фотографий в данной статье были получены с использованием этой методики.

Например, после импорта файла в MATLAB с помощью приведенных выше команд видимое выходное изображение в цветовом пространстве sRGB без какой-либо балансировки белого может быть получено путем применения соответствующей матрицы характеристик T_ после цветовой демозаики с последующим прямым применением стандартная матрица CIE XYZ в sRGB, M_sRGB − 1.

7. Adobe DNG

Adobe ^® DNG — это формат необработанных файлов с открытым исходным кодом, разработанный Adobe. ³² ^, ⁵⁰ Бесплатная программа DNG Converter может использоваться для преобразования любого необработанного файла в формат DNG.

Хотя преобразователь DNG не нацелен на создание видимого выходного изображения, он выполняет преобразование цвета из необработанного пространства камеры в пространство соединения профиля (PCS) на основе цветового пространства CIE XYZ с освещением D50 WP. ⁴⁰ (Это не фактический эталонный белый цвет CIE XYZ, который является источником света CIE E.) Следовательно, модель обработки цвета, используемая конвертером DNG, должна обеспечивать соответствующие матрицы характеристик вместе со стратегией для достижения правильного баланса белого по отношению к Шт.При обработке файлов DNG необработанные преобразователи могут напрямую отображать из PCS в любое выбранное цветовое пространство, указанное на выходе, и связанный с ним эталонный белый цвет.

Спецификация DNG предоставляет две разные модели обработки цвета, называемые здесь методом 1 и методом 2. Метод 1 использует ту же стратегию, что и смартфоны и коммерческие преобразователи необработанных данных, с той разницей, что данные остаются в PCS. Метод 2, использующий умножители необработанных каналов, использует ту же стратегию, что и традиционные цифровые камеры.Однако множители применяются вместе с так называемой прямой матрицей вместо матрицы вращения, поскольку отображение выполняется на PCS, а не на цветовое пространство RGB, относящееся к выходу.

7.1.

Метод 1. Цветовые матрицы

Преобразование из необработанного пространства камеры в PCS определяется следующим образом:

Eq. (60)

[XYZ] D50 = CAT_AW → D50 C_ − 1 [RGB] сцена. Здесь C_ — это цветовая матрица Adobe, оптимизированная для сцены AW. Из-за требований логики восстановления выделения, цветовые матрицы Adobe отображаются в направлении от цветового пространства CIE XYZ до необработанного пространства камеры:

Eq.(61)

[RGB] scene = C_ [XYZ] scene. Это направление, противоположное традиционной матрице характеристик T_, поэтому после обратного преобразования C_ из необработанного пространства камеры в CIE XYZ для адаптации применяется линейная Брэдфордская CAT AW к WP PCS.

Аналогично проблеме, описанной в гл. 4 для смартфонов, реализация уравнения. (60) усложняется тем, что C_ следует оптимизировать для сцены AW. Оптимизированная матрица C_ определяется путем интерполяции между двумя цветными матрицами, обозначенными ColorMatrix1 и ColorMatrix2, где ColorMatrix1 должен быть получен из характеристики, выполненной с использованием источника света с низким CCT, такого как источник света CIE A, и ColorMatrix2 должен быть получен из характеристики, выполненной с использованием высокого разрешения. Источник света CCT, такой как осветительный прибор CIE D65.³²

Оптимизированная матрица C_ вычисляется путем интерполяции между ColorMatrix1 и ColorMatrix2 на основе оценки CCT освещения сцены, обозначенной CCT (AW), вместе с CCT, связанных с каждым из двух характеризующих источников света, обозначенных CCT1 и CCT2, соответственно. , с CCT1

7.2.

Нормализация цветовой матрицы

Вызов из разд. 2.5, что характеристические матрицы обычно нормализованы так, что характеризующий источник света WP в цветовом пространстве CIE XYZ просто насыщает необработанные данные в необработанном пространстве камеры и что зеленый необработанный канал обычно насыщается первым.Однако в данном контексте матрицы Adobe ColorMatrix1 и ColorMatrix2 требуют общей нормализации, которая удобна для выполнения интерполяции. Аналогично разд. 4.1 AW неизвестен в терминах цветового пространства CIE XYZ до интерполяции. Вместо этого ColorMatrix1 и ColorMatrix2 по умолчанию нормализованы, так что WP PCS просто насыщает необработанные данные:

Eq. (63)

[R (WP) G (WP) B (WP)] D50 = ColorMatrix1_ [X (WP) = 0,9642Y (WP) = 1,0000Z (WP) = 0,8249] D50, [R (WP) G ( WP) B (WP)] D50 = ColorMatrix2_ [X (WP) = 0.9642Y (WP) = 1,0000Z (WP) = 0,8249] D50, где max {R (WP), G (WP), B (WP)} = 1. Например, значения по умолчанию ColorMatrix1 и ColorMatrix2 для камеры Olympus E-M1, соответственно, нормализованы следующим образом:

Eq. (64)

[R (WP) = 0,5471G (WP) = 1,0000B (WP) = 0,6560] D50 = [1,1528-0,57420,0118-0,24531,02050,2619-0,07510,1890,6539] [X (WP) = 0,9642Y ( WP) = 1,0000Z (WP) = 0,8249] D50, [R (WP) = 0,4928G (WP) = 1,0000B (WP) = 0,6330] D50 = [0,7687-0,1984-0,0606-0,43271,19280,2721-0,13810,23390,6452] [X (WP) = 0,9642Y (WP) = 1,0000Z (WP) = 0,8249] D50.

Интерполированный C_ изначально наследует эту нормализацию.Однако после определения C_ значения CIE XYZ для AW будут известны. Следовательно, исходный код Adobe DNG SDK позже повторно нормализует Eq. (60), так что AW в необработанном пространстве камеры отображается на WP PCS, когда необработанные данные просто насыщаются:

Eq. (65)

[X (WP) = 0.9641Y (WP) = 1.0000Z (WP) = 0.8249] D50 = CAT_AW → D50 C_ − 1 [R (AW) G (AW) B (AW)] сцена, где макс. {R (WP), G (WP), B (WP)} = 1. Это эквивалентно перенормировке C_ следующим образом:

Eq. (66)

[R (AW) G (AW) B (AW)] сцена = C_ [X (AW) Y (AW) Z (AW)] сцена, где Y (AW) = 1 и max {R (WP ), G (WP), B (WP)} = 1.

7.3.

Линейная интерполяция на основе обратной CCT

Алгоритм интерполяции метода 1 такой же, как описанный в разд. 4.1, за исключением того, что ColorMatrix1, ColorMatrix2 и C_ заменяют T1_, T2_ и T_ соответственно. Кроме того, спецификация Adobe DNG требует, чтобы метод интерполяции был линейной интерполяцией на основе обратной CCT. ³²

Опять же, сама интерполяция усложняется тем фактом, что AW обычно рассчитывается камерой в терминах необработанных значений R (AW), G (AW) и B (AW), но соответствующие CCT ( AW) требует знания координат цветности (x, y).Это означает преобразование в CIE XYZ с помощью матричного преобразования C_, которое само зависит от неизвестного CCT (AW), которое может быть решено с использованием процедуры самосогласованного итерационного анализа.

1. Сделайте предположение для координат цветности AW, (x (AW), y (AW)). Например, могут использоваться координаты цветности, соответствующие одному из характеризующих осветительных приборов.
2. Найдите значение CCT CCT (AW), которое соответствует координатам цветности (x (AW), y (AW)), используя один из методов, перечисленных в шаге 2 разд.4.1.
3. Выполните линейную интерполяцию:
Eq. (67)
C_ = α ColorMatrix1 _ + (1 − α) ColorMatrix2_, где α — зависимый от CCT весовой коэффициент, который зависит от обратного CCT:
Eq. (68)
α = (CCT (AW)) — 1− (CCT2) −1 (CCT1) −1− (CCT2) −1. Эти веса (обозначены g и 1 − g в исходном коде Adobe DNG SDK) проиллюстрированы на рис. 11 для пары примерных значений CCT1 и CCT2. Интерполяция действительна для CCT (1) ≤CCT (AW) ≤CCT (2). Если CCT (AW) CCT2, то C_ должно быть установите равным ColorMatrix2.
4. Используйте C_ для преобразования AW из необработанного пространства камеры в CIE XYZ:
Eq. (69)
[X (AW) Y (AW) Z (AW)] сцена = C_ − 1 [R (AW) G (AW) B (AW)] сцена. Это дает новое предположение для (x (AW) , y (AW)).
5. Повторяйте процедуру, начиная с шага 2, пока (x (AW), y (AW)), CCT (AW) и C_ все не сойдутся к стабильному решению.
6. Нормализуйте преобразование цвета в соответствии с формулой. (65).

На рисунке 12 показаны результаты линейной интерполяции на основе обратной CCT с использованием цветовых матриц Adobe, определенных формулой.(64) для камеры Olympus E-M1. Обратите внимание, что ColorMatrix2 такая же, как определенная формулой. (53), который был извлечен из исходного кода DCRaw.

Рис. 11

Весовые коэффициенты линейной интерполяции α и 1 − α на основе обратной CCT с CCT1 = 2855 K и CCT2 = 6504 K.

Рис. 12

Оптимизированная цветовая матрица C_, построенная как функция CCT и полученные с помощью линейной интерполяции на основе обратной CCT матриц преобразования цвета Adobe ColorMatrix1 (источник света A, CCT2 = 2855 K) и ColorMatrix2 (источник света D65, CCT2 = 6504 K) для камеры Olympus E-M1.

Поскольку C_ отображается в направлении от цветового пространства CIE XYZ к необработанному пространству камеры, инверсию интерполированного C_ можно сравнить с традиционной характеристической матрицей T_ при заданном CCT источника света. На рисунке 13 показан график, обратный интерполированному C_, как функция CCT, и этот рисунок можно сравнить с рисунком 5, на котором показаны стандартные матрицы характеристик для той же камеры, оптимизированные для выбора CCT. Хотя на двух графиках используются разные нормализации, поскольку матрицы характеристик нормализованы в соответствии с их характеристическим источником света WP, а не WP PCS, вариации относительно CCT аналогичны.Однако очевидно, что интерполированный C_ теряет точность для CCT ниже CCT1.

Рис. 13

Инверсия интерполированной цветовой матрицы C_, представленной на рис. 12.

7.4.

Метод 2: Прямые матрицы

Рассмотрим преобразование из необработанного пространства камеры в PCS, определенное уравнением. (60):

[XYZ] D50 = CAT_AW → D50 C_ − 1 [RGB] сцена, где C_ — это цветовая матрица Adobe, оптимизированная для сцены AW. Метод 2 переформулирует вышеуказанное преобразование следующим образом:

Eq.(70)

[XYZ] D50 = F_D_ [RGB] сцена. Преобразование цвета можно разделить на два этапа.

1. Аналогично стратегии преобразования цвета традиционных цифровых фотоаппаратов, описанной в разд. 5 диагональная матрица D_, определенная формулой. (38) содержит множители необработанных каналов, подходящие для AW, т. Е. Оценочную оценку WP освещения сцены:
D _ = [1R (AW) 0001G (AW) 0001B (AW)] сцена. В частности, множители необработанных каналов служат для хроматической адаптировать AW к эталонному белому в необработанном пространстве камеры:
Eq.(71)
[R = 1G = 1B = 1] = D_ [R (AW) G (AW) B (AW)] сцена. Обратите внимание, что спецификация Adobe DNG также учитывает необработанные множители каналов, применяемые в аналоговой области. ³² Однако в последних цифровых камерах используются АЦП с относительно высокой битовой глубиной порядка 12 или 14, и, следовательно, в цифровой области используются умножители необработанных каналов.
2. Прямая матрица F_ — это тип характеристической матрицы, которая отображает необработанное пространство камеры в PCS и оптимизирована для освещения сцены.Поскольку PCS основана на цветовом пространстве CIE XYZ с WP освещенности D50, передняя матрица F_ включает в себя встроенную CAT, поскольку она также должна адаптировать эталонный белый необработанного пространства камеры к WP освещения D50:
Eq . (72)
[X (WP) = 0,9642Y (WP) = 1,0000Z (WP) = 0,8249] D50 = F_ [R = 1G = 1B = 1].

Поскольку прямая матрица F_ должна быть оптимизирована для сцены AW, на практике она определяется интерполяцией между двумя прямыми матрицами аналогично подходу интерполяции, используемому в методе 1.Спецификация Adobe DNG предоставляет теги для двух прямых матриц, обозначенных ForwardMatrix1 и ForwardMatrix2, которые должны снова быть получены из характеристик, выполненных с использованием источника света с низким CCT и источника света с высоким CCT, соответственно. Следует использовать тот же метод интерполяции, который описан в предыдущем разделе, с ForwardMatrix1, ForwardMatrix2 и F_ вместо ColorMatrix1, ColorMatrix2 и C_, соответственно,

Eq. (73)

F_ = α ForwardMatrix1 _ + (1 − α) ForwardMatrix2_. На рисунке 14 показана оптимизированная прямая матрица, интерполированная из ForwardMatrix1 и ForwardMatrix2 и выраженная как функция CCT для камеры Olympus E-M1.

Рис. 14

Оптимизированная прямая матрица F_, построенная как функция CCT и полученная с помощью линейной интерполяции на основе обратной CCT матрицы Adobe ForwardMatrix1 (источник света A, CCT2 = 2855 K) и прямой матрицы 2 (источник света D65, CCT2 = 6504 K ) матрицы для фотоаппарата Olympus E-M1. Очевидно, что элементы оптимизированной прямой матрицы F_ изменяются очень медленно и стабильно как функция CCT, аналогично элементам матрицы поворота цвета, показанным на рис. 8.

7.5.

Спецификация прямой матрицы

Путем сравнения формул.(60) и (70), F_ алгебраически связана с цветовой матрицей C_ следующим образом:

Eq. (74)

F_ = CAT_AW → D50 C_ − 1 D_ − 1. Поскольку на практике F_ интерполируется из ForwardMatrix1 и ForwardMatrix2, они определяются как

Eq. (75)

ForwardMatrix1_ = CAT_AW → D50 ColorMatrix1_ − 1 D_ − 1ForwardMatrix2_ = CAT_AW → D50 ColorMatrix2_ − 1 D_ − 1 Согласно уравнению. (72) оптимизированная прямая матрица F_ по определению нормализована так, что единичный вектор в необработанном пространстве камеры отображается на WP D50 PCS.³² Это означает, что ForwardMatrix1 и ForwardMatrix2 также должны быть нормализованы таким образом. Например, значения по умолчанию ForwardMatrix1 и ForwardMatrix2 для камеры Olympus E-M1, соответственно, нормализованы следующим образом:

Eq. (76)

[X (WP) = 0.9643Y (WP) = 0.9999Z (WP) = 0.8251] D50 = [0.47340.36180.12910.27650.68270.04070.21160.00060.6129] [R = 1G = 1B = 1], [X ( WP) = 0.9643Y (WP) = 1.0000Z (WP) = 0.8252] D50 = [0.46330.32440.17660.27790.66610.05600.17220.00330.6497] [R = 1G = 1B = 1]. Официальный WP D50 PCS на самом деле X = 0.9642, Y = 1,0000 и Z = 0,8249, ⁴⁰, что является 16-битным дробным приближением истинного D50 WP, определяемого как X = 0,9642, Y = 1,0000 и Z = 0,8251.

8. Выводы

В первом разделе этой статьи показано, как RAW-конвертер с открытым исходным кодом DCRaw можно использовать для непосредственного определения характеристик камеры без необходимости определять и инвертировать OECF, а также показано, как матрицы характеристик нормализуются на практике. Как следствие метамерной ошибки камеры, необработанное пространство камеры для типичной камеры оказалось деформированным от треугольной формы, доступной для аддитивных линейных комбинаций трех фиксированных основных цветов на диаграмме цветности xy, а доступная гамма оказалась зависимой. по характеристике осветительного прибора.Также было показано, что эталонный белый цвет типичного необработанного пространства камеры имеет сильный пурпурный оттенок.

Впоследствии в этой статье исследовались и сравнивались типы стратегий преобразования цвета, используемые камерами смартфонов и коммерческими преобразователями RAW, механизмами обработки изображений традиционных цифровых камер, DCRaw и преобразователем Adobe DNG.

Смартфоны и приложения для преобразования необработанных данных обычно используют стратегию преобразования цвета, известную в науке о цвете.Это включает в себя применение характеристической матрицы T_ для преобразования из необработанного пространства камеры в цветовое пространство CIE XYZ, CAT для хроматической адаптации оцененного WP освещения сцены к эталонному белому цветового пространства, упомянутого на выходе (например, D65 для sRGB), и, наконец, преобразование из CIE XYZ в линейную форму выбранного цветового пространства, ориентированного на вывод. Поскольку оптимизированная матрица характеристик зависит от CCT, если не выполняется условие Лютера-Айвза, оптимизированная матрица может быть определена путем интерполяции между двумя предварительно установленными характеристическими матрицами, одна оптимизирована для источника света с низкой CCT, а другая оптимизирована для источника света с высокой CCT. .Более простые решения включают использование фиксированной матрицы характеристик, оптимизированной для репрезентативного освещения сцены.

Для традиционных цифровых фотоаппаратов в этой статье показано, как общее преобразование цвета обычно переформулируется в терминах множителей необработанных каналов D_ вместе с набором матриц поворота цветов R_. Множители необработанных каналов действуют как тип CAT, хроматически адаптируя оценку WP освещения сцены к эталонному белому необработанного пространства камеры. Поскольку каждая строка матрицы поворота цвета равна единице, матрица поворота впоследствии преобразуется из необработанного пространства камеры непосредственно в выбранное цветовое пространство RGB, относящееся к выходу, и в то же время хроматически адаптирует исходный белый цвет исходного пространства камеры к эталонному белому пространству камеры. цветовое пространство, указанное на выходе.Было показано, что вариация элементов матрицы поворота цвета относительно CCT очень мала, поэтому требуется лишь небольшой выбор предварительно заданных матриц поворота, каждая из которых оптимизирована для заданного предварительно заданного источника света. Это позволяет применять необработанные множители каналов, подходящие для оценки WP освещения сцены, в комбинации с предварительно установленной матрицей поворота, связанной с наиболее подходящим WP. Основное преимущество переформулировки состоит в том, что интерполяция не требуется, и метод может быть эффективно реализован в архитектуре с фиксированной точкой.Кроме того, качество изображения может быть улучшено путем применения умножителей необработанных каналов до цветовой демозаики.

Было показано, что DCRaw использует модель, аналогичную традиционным цифровым камерам, за исключением того, что для каждой камеры используется только одна матрица поворота цветов, в частности матрица R_D65, оптимизированная для освещения D65. Хотя общее преобразование цвета теряет некоторую точность, когда освещение сцены значительно отличается от D65, преимущество разделения множителей необработанного канала от характеристической информации, представленной матрицей поворота цвета, заключается в том, что WB может быть правильно достигнут для любого типа освещения сцены при условии необработанного применяются канальные множители, подходящие для освещения сцены.Было показано, что матрицы вращения, используемые DCRaw, могут быть получены из инверсий матриц цветовых характеристик ColorMatrix2, используемых конвертером Adobe DNG.

Конвертер Adobe DNG отображает необработанное пространство камеры и оценку WP освещения сцены на промежуточный этап в общем преобразовании цвета, а именно на PCS на основе цветового пространства CIE XYZ с WP D50. Метод 1 определяет подход, который также используется в коммерческих конвертерах необработанных данных и современных смартфонах. Цветовая матрица C_, оптимизированная для освещения сцены, получается посредством интерполяции между предварительно заданными матрицами «ColorMatrix1» с низким CCT и «ColorMatrix2» с высоким CCT.Из-за требований логики восстановления выделения эти цветовые матрицы отображаются в противоположном направлении по сравнению с обычными характеристическими матрицами. Кроме того, матрицы ColorMatrix1 и ColorMatrix2 изначально нормализованы в соответствии с WP PCS, а не их соответствующими характеристическими осветительными приборами. Поскольку цветовые матрицы Adobe находятся в свободном доступе, их соответствующим образом нормализованные инверсии могут служить полезными высококачественными характеристическими матрицами, когда оборудование для определения характеристик камеры недоступно.

Метод 2, предлагаемый конвертером Adobe DNG, использует множители необработанных каналов аналогично традиционным цифровым камерам. Однако они применяются в сочетании с так называемой прямой матрицей, а не с матрицей вращения, поскольку преобразователь Adobe DNG напрямую не сопоставляется с цветовым пространством RGB, указанным на выходе, поэтому каждая строка прямой матрицы не суммируется до единицы. Хотя оптимизированная прямая матрица определяется путем интерполяции предварительно заданных матриц «ForwardMatrix1» и «ForwardMatrix2», вариация оптимизированной прямой матрицы по отношению к CCT очень мала, аналогично матрице вращения.

9. Приложение: Модель необработанных данных

Рассмотрим необработанные значения, выраженные как интегрирование по спектральной полосе пропускания камеры в соответствии с формулой. (5):

R = k∫λ1λ2R1 (λ) E˜e, λdλ, G = k∫λ1λ2R2 (λ) E˜e, λdλ, B = k∫λ1λ2R3 (λ) E˜e, λdλ. Хотя E˜ e, λ можно рассматривать как среднюю спектральную энергетическую освещенность на фотосъёмке, это более точно описывается как спектральная энергетическая освещённость, свёрнутая с функцией рассеяния точки (PSF) системы камеры (x, y, λ) и измеренная в позиционных координатах ( x, y) на плоскости датчика:

Eq.(77)

E˜e, λ (x, y) = [Ee, λ, ideal (x, y) * h (x, y, λ)] comb [xpx, ypy], где px и py — пиксель смолы в горизонтальном и вертикальном направлениях. Также может быть включена модель шума. ²⁸ ^, ⁵¹ Величина, обозначенная Ee, λ, ideal (x, y), представляет собой идеальную спектральную освещенность на плоскости датчика, которая теоретически может быть получена в отсутствие системы PSF:

Eq. (78)

Eλ, ideal (x, y) = π4Le, λ (xm, ym) 1Nw2T cos4 {φ (xm, ym)}, где Le, λ — соответствующая спектральная яркость сцены, m — увеличение системы, Nw — рабочее f-число объектива, T — коэффициент пропускания линзы, а φ — угол между оптической осью и указанными координатами сцены.Если известен профиль виньетирования объектива, четвертый член косинуса можно заменить коэффициентом относительной освещенности, который представляет собой функцию пространства изображения, описывающую реальный профиль виньетирования. ⁵²

Константа k, которая появляется в уравнении. (5) устанавливает верхнюю границу величины необработанных значений. Можно показать ²⁸, что k задается как

, где t — продолжительность воздействия, а gi — коэффициент преобразования между счетчиками электронов и исходными значениями для мозаики i, выраженный в единицах e- / DN.⁵³ ^, ⁵⁴ Коэффициент преобразования обратно пропорционален усилению ISO GISO, которое является аналоговой настройкой усиления усилителя с программируемым усилением, расположенного перед АЦП:

Eq. (80)

gi = UGISO, i, U = ne, i, FWCnDN, i, clip. Здесь U — единичный коэффициент усиления, который представляет собой настройку усиления, при которой gi = 1. Полнолуночная емкость обозначается символами ne, i, FWC и nDN, i, clip — это точка отсечения необработанного сигнала, которая является максимально доступным необработанным уровнем. Это значение не обязательно равно максимальному необработанному уровню, обеспечиваемому АЦП с учетом его битовой глубины M, которая составляет 2M-1 DN, особенно если камера включает смещение смещения, которое вычитается перед записью необработанных данных.²⁸ ^, ⁵³

Наименьшее аналоговое усиление определяется GISO = 1, что соответствует базовому усилению ISO. ²⁸ ^, ⁵¹ Числовые значения соответствующих настроек ISO камеры S определяются с использованием выходных данных JPEG, а не необработанных данных. ⁵⁵ ^, ⁵⁶ Эти пользовательские значения также учитывают цифровое усиление, применяемое через градационную кривую JPEG. При сравнении необработанного вывода с камер, основанных на различных форматах датчиков, по возможности следует использовать эквивалентные, а не одинаковые настройки экспозиции.⁵⁷

Как указано в п. 2.2, фактические необработанные значения, полученные на практике, представляют собой квантованные значения, смоделированные путем взятия целой части уравнения. (5), и полезно впоследствии нормализовать их до диапазона [0,1], разделив уравнение. (5) по необработанной точке отсечения.

Сравнение различных методов оценки фундаментальной матрицы

ru В этой статье описывается новая схема калибровки оптических инструментов, в частности камер смартфонов, с использованием круглых черно-белых полей мишени с высокой степенью избыточности.Были введены новые методы для (i) сопоставления целей между изображениями; (ii) корректировка систематической ошибки эксцентриситета целевых центров; и (iii) итеративное улучшение калибровочного решения посредством настройки самокалибрующегося пучка в свободной сети. Предложенный метод эффективно соответствовал круговым целям на 270 изображениях смартфонов, сделанных в калибровочной лаборатории, с устойчивостью к ошибкам II типа (ложноотрицательные результаты). Предлагаемая регулировка эксцентриситета, которая требует только проективных матриц камеры с двух точек зрения, ведет себя сравнимо с доступными решениями в замкнутой форме, которые требуют дополнительной априорной информации о цели в пространстве объектов.Наконец, в частности, для мобильных устройств, параметры калибровки, полученные с использованием этой структуры, оказались лучше, чем калибровка на месте для оценки реконструированного в 3D радиуса механической трубы (в среднем улучшение примерно на 45%). Продолжить fr Cet article présente une nouvelle procédure pour l’étalonnage d’instruments optiques, en special les caméras de smartphones, utilisant des champs hautement redondants de cibles circaires en noir et blanc. Новые методы не вводят для (i) более очевидных файлов с изображениями; (ii) corriger l’erreur d’excentricité systématique sur les center de cibles; et (iii) améliorer de manière itérative la solution d’étalonnage grâce à un ajustement de faisceaux d’auto-étalonnage en réseau libre.Эта процедура обеспечивает эффективное использование циркуляров в 270 изображениях с использованием смартфонов в лаборатории по всему миру, а также с помощью робастных устройств типа II (поддельные изображения). Предлагаемый метод для исправления ошибок эксцентриситета, необязательный набор матриц, проективных изображений камеры для двух видов, сопоставимых с другими решениями, необходимыми для получения дополнительной информации, необходимой априорной информации. la cible dans l’espace objet.Enfin, dans le cas speulier des appareils mobiles, les paramètres d’étalonnage obtenus à l’aide de cette procédure se sont avérés de meilleure qualité que par l’etalonnage in situ pour estimer le rayon d’un tuyau mécanique reconstruit en 3D (am d’environ 45% en moyenne). Zusammenfassung de Dieses Manuskript bietet einen neuen Rahmen für die Kalibrierung optischer Instrumente, insbesondere von Smartphone-Kameras, unter Verwendung hochredundanter kreisförmiger Schwarz-Weiß-Zielfelder.Es wurden neue Methoden eingeführt für (i) den Abgleich von Zielen zwischen Bildern, (ii) die Anpassung des systematischen Exzentrizitätsfehlers der Zielzentren und (iii) dierative iterative Verbesserung der Kalibrierungslösungslösung durchündelndeerendek. Es wurde beobachtet, dass die vorgeschlagene Zielanpassungffektiv kreisförmige Ziele в 270 Smartphone-Bildern aus einem Kalibrierungslabor mit Robustheit gegenüber Typ-II-Fehlern abgleicht. Die vorgeschlagene Exzentrizitätsanpassung, die nur projektive Kameramatrizen aus zwei Ansichten benötigt, verhielt sich синоним zu verfügbaren Lösungen в geschlossener Form, die mehrere zusätzliche Objektraum-Zielinformationen a prior.Schließlich, speziell für den Fall von Smartphone-Geräten, die Kalibrierungsparameter mit unserem Rahmen erhalten wurde gefunden überlegen im Vergleich zu in-situ-Kalibrierung für die Schätzung der 3D-rekonstruierten Radius eineseines. Резюме es Este manuscrito proporciona un marco conceptual nuevo para la calibración de instrumentos ópticos, в частности, cámaras de teléfonos inteligentes, utilizando dianas circares en blanco y negro altamente redundantes.Se Introductionjeron nuevos métodos para (i) la corredencia de dianas entre imágenes; (ii) el ajuste del error de excentricidad sistemático de los centros de las dianas; y (iii) la mejora iterativa de la solución de calibración mediante un ajuste libre con autocalibración. El método propuesto realizó la corredencia efectiva de dianas circares en 270 imágenes de teléfono inteligente, tomadas en un labratorio de calibración, y con robustez a los errores de tipo II (falsos negativos). El ajuste de excentricidad propuesto, que solo Requiere de las matrices proyectivas de cámara des orientaciones, se comportó de manera, сопоставимый с las soluciones de forma cerrada disponibles, que Requieren información a priori adicional de las dianas en el espacio.Finalmente, y específicamente para el caso de los dispositivos móviles, los parámetros de calibración obtenidos utilizando este marco conceptual, en correción con la calibración in situ, proporcionaron mejor Estimación del Radio de unacción mecstrunica mecstrunica, промедио). 摘要 zh 本文为光学仪器（尤其是智能手机相机）的检校提供了一种新方法该方法使用高度冗余的圆形黑白检校目标引入了用于（i）在图像之间匹配目标的新方法；（ii）调整目标中心的系统性偏心误差；（iii）通过自由网光束法的地检校中拍摄的 270 个智能手机图像中的圆形目标，并具有对 II 型误差（假阴性）的鲁棒性。所提出的目标两幅的性能有的封闭式解决方案相类似，后者需要附加的目标在物方空间的信息。最后，移动 (相机) 来计算的的半径校准的结果 (平均提高约 45 ％)。

% PDF-1.4 % 400 0 объект > эндобдж xref 400 109 0000000016 00000 н. 0000003483 00000 н. 0000003712 00000 н. 0000003748 00000 н. 0000004227 00000 п. 0000004392 00000 п. 0000004535 00000 н. 0000004695 00000 н. 0000004839 00000 н. 0000004968 00000 н. 0000005111 00000 п. 0000005240 00000 н. 0000005383 00000 п. 0000005512 00000 н. 0000005655 00000 н. 0000005784 00000 н. 0000005927 00000 н. 0000006056 00000 н. 0000006199 00000 н. 0000006328 00000 н. 0000006471 00000 н. 0000006601 00000 п. 0000006744 00000 н. 0000006874 00000 н. 0000007017 00000 н. 0000007145 00000 н. 0000007288 00000 н. 0000007416 00000 н. 0000007560 00000 н. 0000007688 00000 н. 0000007832 00000 н. 0000007869 00000 н. 0000008225 00000 н. 0000008617 00000 н. 0000009177 00000 н. 0000009264 00000 н. 0000009367 00000 н. 0000009992 00000 н. 0000010142 00000 п. 0000010556 00000 п. 0000011223 00000 п. 0000012683 00000 п. 0000013991 00000 п. 0000014174 00000 п. 0000014232 00000 п. 0000014655 00000 п. 0000014877 00000 п. 0000015541 00000 п. 0000016841 00000 п. 0000017175 00000 п. 0000017458 00000 п. 0000018776 00000 п. 0000024044 00000 п. 0000024387 00000 п. 0000024994 00000 п. 0000026034 00000 п. 0000026702 00000 п. 0000027149 00000 н. 0000027246 00000 п. 0000027739 00000 п. 0000027993 00000 н. 0000028206 00000 п. 0000029544 00000 п. 0000030846 00000 п. 0000031983 00000 п. 0000032805 00000 п. 0000040421 00000 п. 0000426541 00000 н. 0000429274 00000 н. 0000436155 00000 н. 0000440319 00000 п. 0000440383 00000 п. 0000440769 00000 н. 0000440992 00000 н. 0000441064 00000 н. 0000441174 00000 н. 0000441279 00000 н. 0000441328 00000 н. 0000441450 00000 н. 0000441499 00000 н. 0000441630 00000 н. 0000441678 00000 н. 0000441841 00000 н. 0000441889 00000 н. 0000442010 00000 н. 0000442120 00000 н. 0000442301 00000 н. 0000442349 00000 п. 0000442486 00000 н. 0000442624 00000 н. 0000442772 00000 н. 0000442820 00000 н. 0000442942 00000 н. 0000443060 00000 н. 0000443108 00000 н. 0000443241 00000 н. 0000443289 00000 н. 0000443429 00000 н. 0000443477 00000 н. 0000443525 00000 н. 0000443573 00000 н. 0000443621 00000 н. 0000443669 00000 н. 0000443807 00000 н. 0000443855 00000 н. 0000443992 00000 н. 0000444040 00000 н. 0000444088 00000 н. 0000002476 00000 н. трейлер ] / Назад 795936 >> startxref 0 %% EOF 508 0 объект > поток h ޔ Smlu ~ X [lf \ h5۵] hFM (/ j * (_ P | a: S8 $ & | 2f_> а $!% ~ W! =? TjPXP T6b * 9) mѹzc99f} K?) 7 @ jG: ZZp {ܽ Y7u5n [z | # ʸ 鶨 / o 46zw {| `g, UL? 56Ch ‘؛ ku y ҳ) = L!> j; H./{‘-RF5LTZr.25XTi%Ci ו * MUɓx% gg) ~; Żaxbx6BzD`

Оценка матрицы гомографии — Ялда Заде, Сукрит Шаши Шанкар

[Давайте знать серии] — # 1

9000 для оценки матрицы гомографии 3 × 3. Сначала мы обсудим вычисление по внутренним и внешним параметрам камеры; и, где необходимо, свяжите формулировку с реальными техническими характеристиками камеры. Затем мы представляем методологию вычислений с использованием двух кортежей соответствующих точек , которые копланарны в своих соответствующих плоскостях и избегают коллинеарных вырождений.

1 ⌉ ГОМОГРАФИЯ ПО ПАРАМЕТРАМ КАМЕРЫ

a. Базовая установка

Давайте рассмотрим точку в пространстве мировоззрения 3D как 3-кортеж.

Трехмерное изображение мира захватывается на 2D-изображение через камеру, помещенную в координаты мировоззрения.

Затем мы можем сопоставить эту точку 3D с точкой в произвольном пространстве следующим образом:

Ур. (1)

, где C _int — это внутренняя и C _ext — внешняя матрица камеры соответственно.Точка ( x _a , y _a , z _a ) в произвольном пространстве, может быть сопоставлена с пространством изображения 2D a масштабный коэффициент следующим образом:

Ур. (2)

Таким образом, как только у нас есть точка в произвольном пространстве, мы можем просто масштабировать ее координаты, чтобы получить координаты 2D в (захваченном) пространстве изображения.

б. Внутренняя матрица

Давайте теперь посмотрим на форму C _int .Рассмотрим камеру с фокусным расстоянием f (в мм), с фактическим размером сенсора ( x _S , y _S ) (в мм), а также шириной и шириной высота захваченного изображения (эффективный размер сенсора) как ( w, h ) (в пикселях).
Оптический центр ( o _ x , o _ y ) камеры тогда ( w / 2 , h / h / 2).Теперь мы можем указать C _int следующим образом:

Eq. (3)
Таким образом, можно заметить, что все записи в C _int находятся в единицах пикселей . Следующее можно рассматривать как эффективные фокусные расстояния в пикселях в направлениях x и y соответственно
На практике они берутся одинаковыми, поскольку при расчете из технических характеристик камеры они имеют очень небольшую разницу ( ≈ 0.От 2 до 0,5%)
c. Внешняя матрица
C _ext состоит из матрицы вращения R и матрицы трансляции T следующим образом:
Eq. (4)
Кортеж ( T _x , T _y , T _z ) указывает на перевод пространства-пространства координаты.Обычно можно считать, что камера не имеет трансляции x и y ( T _x = T _y = 0) и высоты положения камеры от земли ( в мм) равно T _z .
Если θ , φ , ψ — ориентация камеры относительно осей x , y и z соответственно (как углы в радианах), мы можно получить r _ ij ; i , j ∈ {1,2,3} следующим образом:
Ур.(5)
г. Гомография
Матрица гомографии H , которую необходимо оценить, является матрицей 3 × 3 и охватывает части матриц внутренней камеры и внешней камеры следующим образом:
Eq. (6)
Сказанное выше может быть непосредственно установлено из того факта, что, когда мы ищем плоскую поверхность в мировоззрении для вычисления гомографии, Z _w = 0, и, таким образом,
Уравнение(7)
Следовательно, гомография H отобразит мировоззренческую точку в произвольном пространстве. Этого пространства вполне достаточно, если нам просто нужно вычислить расстояния между любыми двумя заданными точками. Однако в действительности координаты в пиксельном пространстве будут вычисляться с учетом масштабного коэффициента, указанного в формуле. (2).
2⌉ ГОМОГРАФИЯ ПО ТОЧКАМ CO-PLANAR
a. Базовая настройка
Гомография позволяет связать две камеры, наблюдающие одну и ту же плоскую поверхность; И камеры, и поверхность, которую они просматривают (создают изображения), расположены в координатах мировоззрения.Другими словами, два изображения 2D связаны гомографией H , если оба смотрят на одну и ту же плоскость под другим углом . Отношения омографии не зависят от просматриваемой сцены.
Рассмотрим два таких изображения, просматривающих одну и ту же плоскость в мировоззрении.
Пусть ( x _ 1, y _ 1) будет точкой на первом изображении, а ( x ˆ_1, y ˆ_1) будет соответствующим точка на втором изображении.Затем эти точки связаны оценкой гомографии H следующим образом:
Ур. (8) Ур. (9)
Таким образом, любая точка в первом изображении может быть сопоставлена с соответствующей точкой во втором изображении посредством гомографии, и операция может рассматриваться как операция деформации изображения.
б. Гомография
Давайте параметризуем матрицу гомографии 3 × 3 H следующим образом:
Ур.(10)
Таким образом, оценка H требует оценки 9 параметров. Другими словами, H имеет 9 степеней свободы. Если мы выберем два набора соответствующих точек, ☟ [ копланарных ] в их соответствующих плоскостях, как показано ниже:
Ур. (11)
[ копланарно ] Отношение гомографии доказуемо только при копланарности точек, поскольку везде мы предполагаем, что координата z любой точки на любом изображении равна 1.На практике, например, можно выбрать четыре точки на полу или дороге, которые указывают на плоскую поверхность почти в сцене.
Тогда из уравнения. (8, 9, 10), мы можем решить следующее, чтобы оценить H :
Ур. (12)
Где ( x ˆ _ i , y ˆ _ i ) ∈ T ˆ _ и ( _i , y _i ) ∈ T _1 для i , j ∈ {1,2,3,4}.Затем это будет преобразовано в следующую систему уравнений, которую необходимо решить:
Eq. (13)
Теперь у нас есть 8 уравнений, которые можно использовать для оценки 8 степеней свободы H (кроме h _ 33). Для этого нам потребуется, чтобы указанная выше матрица 8 × 8 имела полный ранг (без избыточной информации) в том смысле, что ни одна из строк не является линейно зависимой. Это означает, что никакие три точки в любом из T _1 или T ˆ _1 не должны быть коллинеарны.
Затем нам нужно заняться h _33. Обратите внимание, что в формуле. (13), если h _33 предварительно приравнено к 1, мы просто переместим весь набор гиперплоскостей h _ij в другую систему отсчета, но их направления не изменится. На практике мы, таким образом, просто увидели бы другое значение z _a , при отображении координаты изображения 2D в соответствии с уравнением.(8), которые впоследствии будут разделены в формуле. (9). Следовательно, мы сохраняем h _33 = 1 из H , и уравнение. Затем уравнение (13) может быть решено с использованием оценки наименьших квадратов.
В OpenCV можно использовать функцию findHomography , которая делает то же самое, что описано выше. Он принимает два кортежа из четырех соответствующих точек и вычисляет гомографию H с h _33 всегда и строго 1.Любая точка изображения 2D будет затем сопоставлена с z _a усиленной версией соответствующей точки в другой плоскости.
г. Гомография с помощью гипотетической камеры
В различных приложениях, таких как виртуальная реклама, измерение абсолютного расстояния для умного городского планирования, необходимо предположить наличие гипотетической камеры C и вычислить матрицу гомографии, которая может проецировать любую точку наблюдаемой сцены к плоскости изображения, захваченного C .
Представление C с высоты птичьего полета (вид сверху) — это ☟ [ популярный выбор ] В таком случае можно выбрать T _1 с четырьмя копланарными точками в наблюдаемом сцены, в то время как соответствующий кортеж T ˆ _1 может просто иметь четыре точки в качестве углов гипотетического прямоугольника с евклидовой системой координат с центром вокруг (0, 0). Затем любую точку сцены можно сопоставить с ее видом с высоты птичьего полета, т.е.е. как это может выглядеть сверху.
[ популярный выбор ] В последнее время появилось множество исследовательских работ, в которых используется вид с высоты птичьего полета (BEV) для прогнозирования поведения и планирования при автономном вождении.
Обратите внимание, что отображение на основе гомографии — это только деформированная версия наблюдаемого изображения, и что никакая новая информация в сцене не синтезируется. Например, если мы наблюдаем только фронтальный вид человека в сцене, его вид с высоты птичьего полета, на самом деле не начнем говорить о том, как у человека волосы сверху; но он будет деформировать только видимую часть его головы, видимую спереди, так, что это будет примерно похоже на вид сверху.
г. Отрицательные значения в проекциях с Homography
Обратите внимание, что при решении для H нет ограничения, что точки проекции в произвольном пространстве должны быть положительными, то есть x _ a , y _ a и z _ a может быть отрицательным.