摄像头图像质量基准测试-清晰度和分辨率
6 客观图像质量评估——理论与实践
6.7 清晰度和分辨率
摄像头的像素分辨率，更准确地说是图像传感器上的有效像素数（ANSI，2015），通常与该特定摄像头产生的清晰图像的清晰度有关。图像捕捉设备的像素分辨率在第 3 章已经指出了与感知清晰度不一定相关。为了理解清晰度、像素分辨率和极限分辨率之间的区别背后的原因，必须牢牢掌握调制传递函数 (MTF) 的概念。
6.7.1 调制传递函数MTF
本质上，MTF 描述了光学系统的空间频率响应 spatial frequency response (SFR)。 空间频率可以认为是场景中的细节层次：细节越小，空间频率越高；结构越大，空间频率越低。 在时域中，使用时间频率 f （以 Hz 为单位）与周期时间 T （以秒为单位）之间的关系表示相同的概念：
f=\frac{1}{T}
在空间域中，一维空间频率 \nu 与该维中距离 x 之间的关系因此变为
\nu=\frac{1}{x}
空间频率的单位必须与其相应的空间单位对应，因此如果以毫米为单位测量距离，则空间频率以每毫米的周期数或每毫米的线对数（lpm 或 lp/mm）表示。 后者通常用于光学测量。
在图形上，可以使用如图 6.15 所示的条形图案来说明空间频率的概念。 为了找到特定摄像头的极限分辨率，现在可以简单地捕获该图中目标的图像，并确定其几乎无法分辨的最窄图案。该点的空间频率可以用作测量的清晰度，通常被称为被测摄像头的极限分辨率。 正如已经指出的，这样的度量与感知清晰度的相关性不是很好。
在图 6.16 中，右侧图像明显具有更高的分辨率，而左侧图像呈现出整体更清晰的印象。 显然，摄像头再现低频和中频空间频率的能力对于清晰度表现非常重要。 为了正确解释这一点，我们将使用线性系统理论。
通常，镜头和图像传感器都可以被视为线性系统，因此当从镜头捕获图像时从相机传感器发出的信号 g(x,y) 可以通过输入信号的卷积 f(x,y) 和点扩散函数 h(x,y) 来描述：
g(x,y)=f(x,y)\ast h(x,y)=\int_{-\infty}^{\infty}f(x^{'},y^{'})h(x-x^{'},y-y^{'})dx^{'}dy{'} (6.21)
由卷积定理可知，两个函数在空间域的卷积等价于它们的傅里叶变换在空间频域的乘积。 点扩散函数（PSF，在第 4 章中定义）的傅里叶变换称为光学传递函数（optical transfer function, OTF）。 由于点扩散函数提供了有关输入信号空间修改的信息，因此 OTF 将描述系统将如何修改不同的空间频率。 在数学上，OTF、 H(\nu,\mu) 和点扩散函数之间的关系写为
这表明 OTF 是复数，即：
其中 M(\nu,\mu) 描述了输入信号的幅度将如何被系统修改，而 \Theta(\nu,\mu) 描述了信号的相位将如何变化。 对于不会发生输入平移的对称 PSF（即 PSF 是偶函数），OTF 将是实数，相位函数 \Theta(\nu,\mu) 的唯一可能值是零或 的倍数 . 对于奇数倍数，OTF 将为负值，在这种情况下会发生信号的相位反转。 例如，散焦就是这种情况，它的 PSF 可以用柱面函数来描述
该点扩散函数对应的OTF为
其中 J_{1}(r) 是一阶 Bessel 函数 (Arfken, 1985)。该函数与西门子星形目标的图像一起显示在图 6.17 中，当视线从边缘移动到中心时可以清楚地看到相位反转，从而观察到越来越高的空间频率。
OTF 是一个二维量，因此并不完全易于可视化。因此，通常会在一些适当选择的方向上呈现一个或多个一维切片。OTF的一维表示通常被称为 调制传递函数 。 从以下示例中将清楚其命名的原因。 想象一个由函数给出的输入信号
光学系统的输出由式 (6.21) 描述:
这可以简化为
其中，
被称为线扩散函数（LSF）。 指定
并且利用卷积的交换性，我们可以得
LSF 的傅里叶变换等于
作为一个复数，我们可以写成
替换 k=\nu ，并注意到式(6.28)中的积分可以识别为式(6.29)的实部和虚部，因此
因此，与式(6.25)中的输入信号相比，输出的幅度将被函数 \left| L(\nu) \right| 修改，相位被函数 P(\nu) 修改， P(\nu) 称为相位传递函数 (phase transfer function, PTF)。 如图 6.18 所示。
将调制( Modulation) 定义为幅度与平均值的比例，即
从图 6.18可以看出，
特定空间频率 的调制传输现在定义为
因此，线扩展函数的傅立叶变换的幅度是调制传递函数， MTF，m( )：
MTF 有两个属性值得一提。 一是MTF 在零空间频率下的值：
二是将 MTF 与 OTF 的联系：
因此，MTF 是OTF沿一个轴的切片的大小，在零空间频率下等于 1。 对于光学系统，MTF 将是一个单调递减函数，在某个截止频率处达到零。 当在相机或胶卷的输出图像中测量时，人们可能会发现 MTF 曲线在降低并在某个更高的空间频率值处达到零之前表现出局部最大值。这种行为可能是由于数字情况下的锐化过滤器（Sonka 等人，1999）和胶片情况下的邻接效应（Saxby，2002）等。 图 6.19 显示了 MTF 曲线的一些示例。
MTF 提供了一个强大的工具来分析图像的清晰度。 如果我们回到本节开头的示例，图 6.16，并研究生成图像的两个系统的 MTF，就会立即清楚它们导致差异的原因（见图 6.20）。 在低空间频率下，左侧图像的 MTF 比右侧图像低，而在较高空间频率下，情况正好相反。
6.7.2 对比度传递函数CTF
获得 MTF 的一种方法是测量频率变化的正弦条形目标的调制。 由于相对而言，制作这样的正弦图表更具挑战性，因此可以尝试一种更简单的变体，在暗区和亮区之间有明显的过渡。 图 6.21 显示了此类图表的一个示例。
可以通过傅里叶级数以谐波函数的形式表示具有锐利边缘的条形图案
如果我们对这种扩展应用与上述正弦模式采用相同的数学处理，我们会发现传递函数将由一个新量给出，即对比度传递函数 ( contrast transfer function， CTF)。 CTF、c( ) 和 MTF 之间的关系是 (Coltman, 1954)
需要注意的是，级数项中的符号无规律。 然而，转换后可以发现，符号交替正负：
在 CTF 和 MTF 之间转换显然有些麻烦，因为原则上计算中必须包括无限项的谐波。 然而，如上所述，光学系统有一个截止频率，高于该频率，MTF 为零。 因此，在实践中，计算中使用有限项。 此外，空间频率越高，需要的项就越少。
6.7.3 光学系统和 MTF的几何学
图像是二维的，为了充分捕捉光学系统的空间频率响应，需要测量二维 OTF。 由于MTF只是OTF在某个方向上的一个切片，所以在点扩散函数不对称的情况下，不同方向会得到不同的MTF曲线。 特别是，光学系统通常表现出径向对称性，导致 PSF 的径向-切向对称性。如 图 6.22示例。
为了获得最高和最低的 MTF 响应，必须沿着最佳和最差方向进行测量。 如上所述，在镜头 MTF 测量中，应于切向和矢向（径向）方向的测量。 在数字图像中，由于像素阵列的布局可能会表现出一些垂直-水平对称性，习惯上在垂直和水平方向上测量 MTF，例如使用倾斜边缘法，这将在很多部分进一步描述 更多细节。当然，这会产生不同于切向和矢状曲线的 MTF 曲线，如图 6.23 所示。 通常，清晰度的最大变化是由镜头引起的。 因此，在大多数情况下，建议在切向和矢向方向测量图像中的 MTF。
如图 6.22 所示，镜头的 PSF 可能会在整个视场中发生显着变化，因此违反了测量 MTF 所需的位移不变性要求。但是，如果测量选择的区域足够小，则 PSF 的变化在该区域内将非常小，以至于实际上可以认为它是恒定的。 尽管如此，在确定哪种方法最适合在特定应用中测量 MTF 时，测量区域仍然是一个重要因素。
6.7.4 采样和混叠
测量数字图像中的 MTF 需要在间距为 Δx 的规则网格上对数据进行采样。 在数学上，我们可以将其表示为
其中 f_{s}(x) 是采样信号， f(x) 是原始信号， \delta(x) 是狄拉克δ函数。
图 6.24 显示了一个谐波信号的采样示例。
在这种情况下，我们看到，如果我们尝试通过插值重建采样信号，结果将是另一个频率较低的谐波信号。 这被称为混叠，因为高频输入信号在重构时呈现出低频信号的表现（即混叠）。式 (6.37)中采样信号的傅里叶变换， F_{s}(\nu) ，为
其中 F(\nu) 是原始信号的傅里叶变换。 因此，采样信号的频谱是以规则间隔 n/\Delta x 重复无限次的原始信号的频谱。图 6.25 显示了两种情况下的采样频谱，一种是原始系统的带宽大于 采样频率 \nu_{s}=1/\Delta x ，另一种是小于。在带宽过大或采样频率过低的情况下，较高的频率将被“折叠”回较低的频率，这将导致混叠伪影。
为避免这种情况，要么采样频率需要更高，要么必须对原始信号进行滤波，以去除采样频率一半以上的频率成分。 后一种频率称为奈奎斯特频率（ Nyquist frequency） 。后一种情况当然意味着信息将在采样过程中丢失。形式上，这由采样定理（Vollmerhausen 和 Driggers，2000）表示，该定理指出频带限制信号 f(x) 没有高于奈奎斯特频率 \nu_{s}/2 的频率成分，可以从样本中完美重建 函数以间隔 \Delta x=1/\nu_{s} 取值，
混叠产生的伪影通常表现为莫尔条纹，在第 3 章中进行了讨论。
在测量 MTF 时，混叠会导致对 MTF 的高估，尤其是在较高空间频率区域。 如前所述，这可以通过对信号进行过采样来克服，本章稍后将讨论实现这一点的技术。
6.7.5 系统MTF
在相机中，镜头并不是唯一影响清晰度的组件。 如第 4 章所述，像素本身的大小限制了解析无限小物体的能力，从而导致类似于像素形状的点扩散函数。 如果像素的光电探测器是一个边长为 a 的正方形，则 PSF 为
该函数的傅里叶变换即OTF为
因此，像素的 MTF（假设没有串扰）为
然而，在实践中，光电探测器的 PSF，即使是方形的，也可以通过放置在光电探测器顶部的微透镜的 PSF 来修改，以提高图像传感器的灵敏度（Parulski 等人，1992 年）。
为了减少由于采样和颜色插值不足导致的颜色摩尔效应，某些相机可能包含 光学低通滤波器 (OLPF)。 这种滤光片通常由具有几片双折射材料的堆叠组成（Hecht，1987），它将通过的光分成几束偏振光束，这些偏振光将从 垂直和水平方向上的原始位置分开一定距离 d，与材料厚度成正比。 这种滤波器的 MTF 由下式给出
图像信号处理还可以通过颜色插值、降噪、锐化等降低清晰度MTF。 如式（4.15）中的简单双线性颜色插值。绿色插值像素的MTF可以表示为
可以对红色和蓝色通道执行类似的计算。 由于该计算仅适用于非绿色位置的绿色像素，因此拜耳模式会导致像素与像素之间的响应不同，因此上述表达式并不完全正确（Yotam et al., 2007）。为了考虑相位依赖性，需要进行更精细的计算。 然而，对于拜耳模式 MTF 的定性理解，上述派生表达式仍然很有趣。
生成的图像是一系列卷积，其中包含各种组件的 PSF 和输入信号。 在频域中，这对应于我们所知道的乘法。因此，相机的总 MTF 可以通过简单地将来自镜头、传感器等的所有单独的 MTF 相乘来获得。 图 6.26 显示了将不同的 MTF 组合成完整的系统 MTF 的结果。
6.7.6 测量 MTF
从上面的讨论可以清楚地看出，MTF 可以通过多种方式测量，至少在原则上是这样。调制可以直接在不同空间频率的条形图案上测量，无论是正弦的还是离散的。 点扩散函数可以通过对小点成像并通过傅里叶变换来找到 MTF 来直接测量。 还可以设想其他技术，例如使用具有已知光谱内容（如白噪声或其他特征）的随机目标（Brauers 等人，2010）。 在讨论纹理模糊的测量时，将重新审视这些技术的变体。
ISO12233 标准 (ISO, 2014) 描述了两种通过测量空间频率响应 (SFR) 来估计 MTF 的方法。MTF 和 SFR 之间的区别是为了强调这样一个事实，即摄像头的测量频率响应可能会根据测量条件而改变，例如 反映在用于执行测量的测试图表中。 因此，在实践中，不能使用单个 MTF 曲线准确地表征数码相机。 标准中描述了两种 SFR 方法：基于斜边的 SFR (E-SFR) 和基于正弦西门子星形测试图的 SFR (S-SFR)。 这两种方法都将在以下部分中进行描述和讨论。
6.7.7 边缘 SFR
如上所述，测量 MTF 的一种方法是直接测量摄像头捕获的 PSF。 在实践中，这种方法相当困难，因为为了使成像的点光源尽可能小，其强度也会下降。这会使测量的信噪比非常低，从而引入大 的误差。 此外，PSF 由摄像头阵列进行采样，可能会在测量中引入混叠，并且还会大大限制分辨率。
第一个问题可以通过使用锐边目标来解决，例如刀口，而不是点光源。理想锐边与摄像头的 PSF 的卷积是
这里， \Theta(x) 是 Heaviside 阶跃函数，定义为
和 (x) 等式(6.27)中定义的 LSF。上面的结果意味着 LSF 是 e(x) 的导数，即边缘扩展函数 (ESF)：
因此，捕获锐利边缘的图像，对边缘的横截面求导数，然后进行傅里叶变换可以获得 SFR。通过相对于像素阵列倾斜边缘来进一步改善（Reichenbach 等人，1991；Fischer 和 Holm，1994）。即在几乎垂直于边缘的方向上的稍微偏移扫描，见图 6.27。通过扫描图像中每一行的边缘剖面，然后根据相对于其他边缘剖面的位置偏移对剖面进行位移，然后将所得剖面相互叠加，获得过采样边缘剖面。通过这种方式，可以对 SFR 进行更准确的评估。 在 ISO12233 标准（ISO，2014）中，由此获得的边缘轮廓样本在 1/4 像素宽的 bin 内进行平均。 因此，完成了四倍过采样（Williams，1998；Burns，2000；Williams 和 Burns，2001；Burns 和 Williams，2002；Williams，2003）。
综上所述，ISO 12233中计算边缘SFR的算法如下：
- 对于边缘图像中的每一行，估计边缘的位置。
- 对于边缘位置，使用线性回归估计边缘方向和位置。
- 根据通过计算其在上一步获得的直线上的位置找到的位置对每条直线进行置换。
- 将每条位移线放在一起，形成一个过采样的边缘轮廓。
- 大小为 1/4 像素的 bin 内的平均边缘值，并在生成的网格上重新采样边缘轮廓。
- 计算超采样边缘的导数，通过边缘函数与有限差分滤波器的卷积得到线扩散函数。
- 计算LSF的离散傅里叶变换。SFR是傅里叶变换的绝对值。
有多种方法可以改进此算法。 一种是扩展它以允许沿垂直和水平方向以外的其他角度进行测量（Reichenbach et al., 1991; Kohm, 2004; Ojanen and Tervonen, 2009; Masaoka et al., 2014），从而适应真正的切向和径向测量。为此，一种方法是用像素坐标空间的旋转替换第 3 和 4步（Ojanen 和 Tervonen，2009）。假设边缘的位置，由边缘处的任意点 (x_{e},y_{e}) 表示 ，其方向（由角度 \theta_{e} 表示）是已知的，沿扫描方向 \theta_{s} 在裁剪图像内部从每个像素坐标 (x,y) 到边缘的距离 r 变为
这些距离现在可以与它们各自的图像值配对，然后排序，使位置按升序排列，形成对应于图 6.27c 的原始 ESF。 然后，可以对 1/4 像素箱内的 ESF 值进行平均，以形成最终的超采样 ESF 轮廓。
关于分箱（binning）和微分程序还应注意两点。首先，分箱等效于使用宽度为 1∕L 像素的平均滤波器执行低通滤波操作，在这种情况下 L = 4。 这种滤波器的频率响应是
空间频率 以每像素周期为单位。 因此，可以通过将 SFR 值除以该函数来补偿分箱。然而，在实践中，这种校正非常小，通常只会放大高空间频率的噪声，这意味着在大多数情况下可以将其忽略。
其次，用于近似导数的有限差分滤波器 (0.5 0 -0.5) 也将引入频率响应 (Burns, 2000)，应该进行补偿。
该滤波器的离散傅里叶变换变为
函数 f(x) 的导数具有傅里叶变换
这可以通过部分集成，从而产生
其中 F(\nu) 是 f(x) 的傅立叶变换。因此，导数在傅立叶域中的作用类似于“滤波器”。为了补偿逼近导数的有限差分滤波器，我们应该将计算出的SFR除以该滤波器的空间频率响应的绝对值，然后乘以导数的频率响应的绝对值，即2 。换句话说，由于有限差分滤波器的补偿是通过将计算的 SFR 除以以下函数来进行的
其中我们还考虑了因子 L 的过采样，以便以每个像素的周期表示空间频率。
ISO 12233 方法描述中的第 2步规定边缘应拟合为直线。在某些情况下，例如，如果镜头存在严重光学失真，直线拟合可能无法产生足够准确的结果。 为了改进测量，可以改为使用更高阶的多项式来获得更好的拟合。 然而，这应该小心完成，因为它可能使算法对图像中的噪声更敏感。如果使用带有旋转边缘以实现切向和径向测量的测试图，则该问题变得不那么成问题。当在图像的偏离中心位置使用近水平和近垂直边缘时，过度失真可能会显着影响这些边缘的形状。 但是，如果通过边缘中心和图像中心的线将边缘被定向为接近平行或垂直，则光学失真将对边缘几何形状的影响较小。这样做的原因是，在一个良好居中的系统中，失真的效果是使点在径向方向上发生位移。因此，垂直于半径方向的边缘只会发生位移而不是变形。 然而，在实际情况中，边缘肯定仍然会有一些失真，但可能仍然小于垂直或水平边缘。
6.7.8 正弦调制西门子星SFR
作为测量边缘 SFR 的一种替代方法，可以直接测量测试图表中的调制，该测试图表具有具有不同空间频率的正弦调制星爆图案。 进行这种测量的一种优雅方法是使用正弦调制的西门子星形图案（Loebich 等人，2007 年），如图 6.28 所示。这种方法 (S-SFR) 在 ISO 12233 中也被描述为测量 SFR 的替代方法。 与倾斜边缘 SFR (E-SFR) 相比，在某些情况下，使用正弦变化特征而不是锐利边缘可以获得不同的结果。这可能是由于用于颜色插值、降噪和 锐化等可能会以不同的方式处理这些特征而不同。
与采用正弦或条形图案特征的其他图表相比，使用这种特殊的星爆图案测试图表，可以在图像的较小部分内适应广泛的空间频率。 此外，还可以测量不同方向的SFR，从而自然地能够评估例如切向和径向方向的SFR。
ISO 12233 和其他地方 (Loebich et al., 2007) 中描述的测量算法概述如下。 西门子星分为多个片段。 在每个片段内，确定从星中心到外围的距离。 为了校正几何失真，这一步是必要的。
在每一段内，从中心到圆周的半径被分成几个子半径。 从中心到每个单独的子半径的每个距离代表一个空间频率。 子半径 r_{n} 的空间频率 v_{n} 由下式给出
其中 N_{p} 是围绕中心外围的正弦周期数。 对于每个片段和半径，选择最接近圆形段的像素，并将它们的强度值确定为角度的函数。出现的正弦图案适合该函数
确定系数 a 和 b 后，使用式(6.30)计算调制。通过对我们之前决定使用的每个半径重复此计算，我们可以将获得的调制值绘制为空间频率的函数，从而形成对 MTF 的估计。观察到这个估计并没有被归一化，因为根据(6.30)真正的 MTF 是通过将测量的调制除以输入调制得到的。由于输入调制不应随空间频率而变化，原则上可以从两个大块的调制中计算该值，一个与西门子星的最暗部分具有相同的灰度值，另一个与西门子星中最亮的部分具有相同的灰度值。 Artmann (2016) 描述了与正弦西门子星测量的线性化和归一化相关的问题。还应该提到的是，西门子星中心的确定非常重要——如果出现配准错误，则可能会使测试SFR值偏低（Birch 和 Griffin，2015 年）。
6.7.9 对比边缘 SFR 和正弦调制西门子 SFR
将西门子星测量与倾斜边缘技术一起引入背后的动机至少可以追溯到对胶片上捕获的测试图案进行的测量（Cadou，1985）。 在这种情况下，非线性的邻接效应导致对正弦调制目标的 MTF 测量与对边缘目标执行的MTF测量不同。 在数码相机中，自适应颜色插值、噪声过滤和锐化算法将引入类似的行为，图像中由于局部对比度不同而产生不同的响应。 因此，在数字图像中，锐利的边缘可能会引起不同的响应，这不同于变化较慢的正弦模式。 因此，在某些情况下，同时测量和报告 E-SFR 和 S-SFR 可能会有所帮助。
从技术测量的角度来看，在决定应针对特定情况使用哪种方法时，需要牢记一些重要的事实。 首先，构成西门子星的正弦模式占据了相机视野的很大一部分。 如果正在测试的相机镜头在整个视野范围内的锐度变化很大，这将意味着西门子星法将不会针对低空间频率和高空间频率测量相同的 PSF。因此，结果与使用更小的空间范围的倾斜边缘方法相比更不准确。
其次，在最低空间频率和零频率之间存在差距的事实使得难以确定曲线的正确缩放比例，因此在尝试估计 MTF 时引入了不准确性。 在这里，倾斜边缘方法具有优势，因为它可以获得一直到零的空间频率。
此外，至少一项研究表明，倾斜边缘和西门子星方法应用于原始图像之间存在差异，其中没有可能影响结果的图像处理（Williams 等人，2008 年）。 对这种行为的一种可能解释可能是西门子星法接近奈奎斯特频率的不太准确的结果以及在零空间频率处归一化曲线的困难。 然而，迄今为止，据作者所知，没有任何已发表的研究对引用的工作进行跟进以进一步解释这种行为。
观察到倾斜边缘方法与西门子星方法相比表现出不同的行为，尤其是对于高度锐化的图像（Artmann，2015），这可能更反映了相机中的图像处理算法对两种测试图类型的处理方式不同的事实。 没有确凿的证据指出斜边法会为这些情况提供更不准确的数据，测量结果可能会反映更实际反应。 此外，图像中清晰度的印象与锐利边缘的渲染密切相关，这进一步推动了倾斜边缘算法在旨在提供与人类视觉良好相关性的方法中的使用。
6.7.10 实际考虑
如前所述，E-SFR 和 S-SFR 测量需要线性数据。 在第 4 章中，我们描述了相机的输出通常是非线性的，因为伽马曲线通常应用于图像数据。 此外，可能还应用了更复杂的操作，例如局部色调映射运算符。 因此，不应直接在图像上执行本节中描述的 SFR 测量，除非已知相机确实产生线性数据。 ISO 12233 标准规定了通过测量 OECF 的线性化步骤。ISO 12233 标准通过测量相机的 OECF 规定了线性化步骤，并使用它来进行线性化。 在将局部色调映射应用于图像数据的情况下，这种类型的表征可能会很棘手。 在这种情况下，不能确定边缘或西门子星的图像信号是否与用于确定 OECF 的测试图表中的数据相同。另一种可能采用的方法是通过简单地反转伽马曲线来执行线性化（IEEE，2017）。 大多数相机应用 sRGB 伽马曲线，由式(4.16) 描述. 该函数的逆变换由下式给出
此外，如果边缘或西门子星的对比度较低，则执行 SFR 计算的信号区域可能小到非常接近线性（Burns，2005）。通过降低对比度，也可以避免图像的低信号或高信号部分出现削波问题。但是，如果对比度降低太多，测量的信噪比可能太低而无法生成准确的结果。因此，在一系列不同对比度得图表上执行测量可能很有用。
