现代工业相机呈现高动态范围图像
供稿:德商映美精有限公司
图一: 细节、对比,及杰出的自然颜色: 透过IC Measure 多重曝光及图像处理过后所呈现之高动态范围图像。
分辨率及速度(帧速率)作为挑选一台合适工业相机之典型标准,其感亮度及动态范围也日趋重要,尤其是运用于汽车工业中。特别是,在真实场景中有大量亮度变化的情況(如,开车) 受益于由宽动态感光组件所提供的优点。举例来说,当一台车驶离隧道进入明亮日光中 ─ 低动态范围的感光组件一般只能表现过度曝光或曝光不足的图像,代表某些区域细节(或讯息)的损失。假使辅助驾驶系统依赖这个讯息做判断,就可能造成致命后果。因此,在特别亮或特别暗的区域实现最佳宽动态范围来获取重要细节实则十分必要。
增加动态范围:两种方法
为了增加最终图像的动态范围,基本上有两种方法 ─ 改进硬件来增加感光组件的动态范围及透过软件算法改进。CMOS 感光组件的动态范围取决于像素颜色饱和前(饱和能力),感光组件之像素可保持之最大电子数,以及像素中的暗噪点 (在输出电荷时所产生的噪声。)
因此,为了增加动态范围,可尝试进一步减少暗噪点或增加饱和容量。
尽管暗噪点取决于感光组件的电子特性,如要增加像素饱和能力,仍可藉由较大的像素(因为更多像素表面区域代表暴露于更多光子,产生更大的电荷)或从本质提升像素结构来达成。最近,Sony Pregius 感光组件展出特别令人瞩目 ─ 在没有改变像素大小情况下,改善像素设计加上同时减少更多暗噪点,可获得卓越的动态范围增加。具体而言,Sony IMX 265 Pregius感光组件在3.45微米的像素尺寸下可达70.5 dB的动态范围。更高饱和能力的结果是可以被一个像素覆盖的测量范围扩大了。为了适度地量化此扩大之测量范围,现代CMOS感光组件至少须具备8个位,例如,Sony IMX 264感光组件就提供了12位量化信号。
藉由算法提升动态范围
除了改良感光组件,动态范围也可以算法方式向上增加。这些算法改进的根基为使用不同曝光时间来获取图像数据。其中最令人熟知的方法便是 “时变曝光”(例如,以不同曝光时间获取的几幅完整图像)作为数据基础。此方法现用于许多智慧手机、常见的图像处理程序,及一般摄影中;因此在机器视觉以外的市场也广泛受众所知。
基本假设为一感光组件的最终像素值近似线性地取决于入射光量和曝光时间,如此一来,即使像素不饱和,也可根据已知的曝光时间来决定潜在的入射光量(或与其成正比的数量)。
在饱和像素的情况下,对应的像素值用于几个较短的曝光时间。藉由这个方式,与一次曝光相比,可确定更大面积的入射光量。
曝光序列的优点在于,可在扩大范围内决定亮度而不损失任何局部分辨率。
尽管如此,记住多重曝光次数很必要这件事是重要的,因为可能产生不必要的伪影 ─ 特别是移动中的物体 (如: 重影现象 ghosting)。
现代CMOS感光组件如Sony Pregius通常具多重曝光功能,可于不同曝光时间下拍摄原始图像,而无需手动更改两次拍摄之间的曝光时间。
空间变化曝光
为了避免多重曝光造成的伪影,现代感光组件提供 “空间变化曝光”技术。此技术在不同曝光时间下曝光感光组件上的某些特定像素组。例如,常见的变体使用不同的曝光时间交替曝光两条图像线。 由于曝光同时开始,也得以最小化因画面移动所引起的伪影。
然而,在此情形下,不同曝光像素之间不存在1:1的对应关系,高动态范围的最终图像的像素须透过内插计算。无可避免地,这个过程会使分辨率损失,并产生伪影现象 ─ 特别是边缘结构的部分。此外,透过必要的内插计算最终图像比曝光系列的数据计算更需密集的计算机运算。
表一: 以不同的方式来计算高动态范围图像。(a) 时变曝光: 不同曝光时间的两张图 (b) 空间变化曝光: 两张图像线,不同曝光时间 (c) 空间变化曝光: 另一种变体,历经四个不同曝光时间
高动态范围图像及色调映像展示
展示高动态范围图像时,人们通常直接看见的是显示器中展现的动态范围,(与人类视觉感知相比较小)。虽然目前已有提供更高动态范围的图像显示器,但仍尚未普及。假如要在动态范围较低的设备上显示高动态范围图像,则必须透过色调映像来降低其动态范围。
目前并没有明确定义要如何降低(动态范围),皆取决于预期的目标。例如,最接近真实场景或达到某主观及艺术质量之圖像。基本上,在全局(global)及局部 (local)色调映像算法上做区别。全局算法的例子为不管在哪个位置,相同转换所有像素;极为高效且可进行实时数据处理。局部算法则是在局部像素区域中,尽可能维持最佳的对比度。局部算法需要更密集的CPU运算,但通常也提供更高对比度度的图像。
图2: 同一曝光系列的两张快门: (a) 较短曝光 (时间) (b) 较长曝光(时间) (c) 透过包围曝光计算及色调映像可视化之高动态范围图像
The Imaging Source映美精相機 很久前便体认到最大动态范围对于机器视觉产业应用的重要性,所以透过其终端用户软件产品和程序接口中的色调映像来提供高动态范围影像数据撷取、可视化,亦或资料保存。映美精相機 亦投注许多程序开发时间来研发容易使用的算法,最终创建算法的自动调整模式,使所有参数自动适应场景而不需任何使用者介入,便可表现出高对比度、出色的自然色彩之图像。特别是,当搭配相机支持,终端客户端软件IC Measure以高动态范围功能为标准来展现高动态范围图像。
表3: The Imaging Source 映美精相機 终端用户软件IC Measure 支持原始 (依据感光组件) 曝光系列及透过色调映像后可视化高动态范围图像。
以上文章由Oliver Fleischmann 博士提供,并于2018年四月发表于德语版本之产业学术期刊中,其标题为High-Dynamic-Range Imaging in modernen Industriekameras