Super-resolution reconstruction of remote sensing images based on the improved point spread function

如今在许多应用场合，人们对数字图像的空间分辨率要求越来越高^[1]。提高图像分辨率最直接的方法是提高采集图像时所使用图像传感器的排列密度。但是受物理条件的限制，各类图像传感器的排列密度不可能无限制的提高，且传感器排列密度的提高也会导致噪声的增加。在不改变成像硬件装置的前提下，通过软件方法，由多幅序列低分辨率图像重建出一幅高分辨率图像的超分辨方法，不仅可以节约硬件成本，且软件方法更为灵活，应用领域更广^[2-3]。

对同一场景进行多次采样，可以得到该场景的多幅序列图像。受到图像分辨率的限制，序列图像中的单一一帧难以完全表述该场景中的细节信息，而多幅序列图像中含有更多丰富的互补信息^[4]。序列图像的超分辨率重建技术是指，利用多幅序列图像之间的互补信息，通过相关的算法对序列低分辨率图像进行处理，重建出一幅包含更多丰富细节信息的高分辨率图像^[5-11]。

在空间域重建方法中，凸集投影(projection onto convex set, POCS)算法由于具有能够方便地引入大量先验知识的优点，受到越来越广泛的应用，国内学者也在POCS超分辨重建研究中取得了诸多成果：LI等人对图像点扩散函数(point spread function, PSF)做出调整，对水平和垂直方向的边缘像素点应用不同的PSF，改善了重建图像的边缘振荡效应^[12]；YU等人提出把PSF与一个指数型权值函数相乘，使得修改的PSF系数沿着边缘正交的方向减小，从而有效地保持边缘细节信息^[13]；GUO等人针对POCS算法运行时间长的特点，提出一种能够有效缩短运行时间的快速超分辨算法^[14]；WANG等人提出一种基于8个方向修正点扩散函数的算法，对参考文献[12]中的算法作出改进，提升了重建质量^[15]。

本文中针对传统POCS算法对图像边缘细节保持能力不足的问题，提出一种基于改进点扩散函数的超分辨率重建算法，分析了传统POCS算法的不足，并提出如何对传统POCS算法做出改进。实验结果表明，该改进的POCS算法有效地提高了图像重建的效果，达到了提高图像重建质量的目的，具有较好的实际应用价值。

POCS算法可灵活运用各类先验知识，相关先验知识可以作为图像重建的约束条件。每个约束条件都可视为图像空间中的一个含有目标高分辨图像的凸集合。多个约束条件所对应凸集合的交集，即可视为高分辨重建结果。

使用POCS算法进行超分辨重建的基本思想为：(1)从低分辨率图像序列中，选取任意一帧进行插值操作，使其达到所期望的空间分辨率，作为初始估计；(2)对每一帧低分辨率图像进行运动估计，找到低分辨率图像每个像素所对应的高分辨初始帧PSF作用范围内的像素；(3)模拟低分辨率图像获取过程，由高分辨初始帧计算出低分辨率图像；(4)将计算出的低分辨率图像与原始低分辨率序列图像进行对比，计算残差；(5)若残差超过一定范围，则对当前高分辨初始帧进行修正；(6)重复整个迭代过程，直到得到可以接受的高分辨率重建图像。

点扩散函数PSF是由具体成像系统决定的，通常采用最常见的高斯模型：

式中，h(x, y)即为PSF模板，X₀和Y₀为点扩散函数的中心点坐标，S_h表示支撑域，支撑域大小为5×5。把上式进行归一化操作，即：

式中，h′(x, y)即为归一化后的PSF模板，支撑域的大小为5×5。

当前估计的高分辨率参考帧设为f_ref(s, t)，当前低分辨率观测帧设为g_l(i, j)。逐一对当前低分辨率观测帧的像素点进行处理。若观测帧中某像素(i₀, j₀)映射到高分辨率参考帧的位置为(s₀, t₀)，则该像素的估计值由下式决定：

计算可得f(s₀, t₀)即为该像素的估计值。于是，灰度估计值f(s₀, t₀)与观察图像像素点g_l(i₀, j₀)的残差为：

对序列低分辨率图像每一个像素点进行处理时，计算获得的残差r_l(i₀, j₀)的绝对值必须限制在预先设置的边界内。若残差r_l(i₀, j₀)的绝对值大于指定阈值σ₀，则对当前高分辨率图像PSF作用窗口中的像素值进行修正，具体修正方法如下式所示：

(5) 式所表示的即为数据一致性约束，图像中的每一个像素点都可定义一个凸集约束。除此之外，还可以根据实际情况灵活选择其它约束，如幅值约束、能量约束等^{[13, 16]}。

图像边缘是图像包含信息最丰富的地方，图像边缘像素点是指图像中周围像素灰度值有巨大变化的像素点，即灰度值导数较大的地方。POCS算法的核心是基于PSF的图像灰度值修正，但这也是图像边缘保持不良的原因。在用POCS算法重建的高分辨图像的边缘处，深色一侧的像素会变得越深，浅色一侧的像素会变得越浅。这是因为观测帧中位于深色一侧的像素，其对应的高分辨率图像中的像素也在图像边缘的深色一侧，但是其PSF作用范围内会有浅色像素的干扰。因此，在进行POCS重建时，这类像素的计算值将会大于实际值，再根据残差对高分辨初始帧进行修正时，会导致边缘深色一侧的像素变得更深^{[13, 16]}。

以上分析了POCS算法边缘保持不良的原因。基于此，本文中对传统POCS算法做出改进：在进行低分辨率序列图像迭代优化前，先对高分辨率初始帧进行边缘检测，对检测到的边缘像素，采用不同的PSF：

式中，β₁和β₂分别是PSF模板水平方向与垂直方向的权重系数。

边缘检测的方法有多种，高斯-拉普拉斯算子(Laplace of a Gaussian，LoG)相较于普通Laplace算子具有抗噪声能力强的显著特点，因此本文中采用LoG算子进行边缘检测。

对于检测到的边缘，本文中使用Sobel模板计算其与水平方向的夹角。用G_x和G_y分别表示水平方向与垂直方向梯度，则检测到的边缘与水平方向的夹角θ为：

根据第2.1节中的分析，当检测到的边缘趋近于水平方向时，希望PSF模板水平方向所占权重更大；当检测到的边缘趋近于垂直方向时，则希望PSF模板垂直方向所占权重更大。本文中所设计的改进PSF，其参量β₁和β₂可随着夹角的变化而变化，即当θ=0时，β₁=1且β₂=0；随着θ的增大，β₁随之减小而β₂随之增大；当θ=90°时，β₁=0且β₂=1。因此，可定义θ与β₁, β₂之间的关系如下：

代入(6)式可得：

(9) 式即为改进的PSF。本文中的创新性在于通过(9)式，可以使边缘处像素的PSF模板水平方向权重系数β₁和垂直方向权重系数β₂随着边缘与水平方向的夹角θ的不同而自适应调整，从而增强重建高分辨率图像的边缘保持能力。

以上分别介绍了POCS算法的基本原理以及如何对传统POCS算法进行改进，改进POCS算法的具体实现步骤见下：(1)对任意一帧低分辨率图像进行双线性插值操作，得到目标高分辨率图像的初始参考帧；对该初始帧进行边缘提取，得到其边缘图像; (2)选取一帧低分辨率图像，逐一对该低分辨率图像中每个像素点进行处理，即找到相应像素点在高分辨率初始帧中PSF作用窗口的中心坐标，判断中心坐标处的像素是否为边缘像素; (3)根据步骤(2)的判断结果，如果是边缘像素，则计算该像素点处的边缘与水平方向的夹角，并根据夹角的大小推导出新的PSF；如果不是边缘像素，则不改变原有的PSF; (4)根据步骤(3)的结果，选取相应的PSF，模拟低分辨率图像的生成过程，由高分辨初始帧估计计算出低分辨率图像的像素值，并计算该像素值与相应原有序列低分辨率图像像素值之间的残差，根据残差对高分辨初始帧做出修正。

在步骤(4)完成后，判断是否已经完成了每一帧序列低分辨率图像的每个像素点的处理，若已完成，则重建过程结束。根据具体问题的实际需求，可设置合适的总迭代循环次数，在每一次迭代中依次对每一帧序列低分辨率图像应用步骤(2)至步骤(4)，最终可得到目标高分辨率图像。改进的POCS算法流程图如图 1所示。

Figure 1.  Flow chart of the improved POCS algorithm

图像质量评价按评价方式可分为主观评价和客观评价。主观评价主要指人自身通过肉眼观察对图像清晰度的评价。本文中采用平均绝对误差、灰度平均梯度、信息熵3种客观评价指标定量地评价图像的重建质量^[17-18]。

(1) 平均绝对误差(mean absolute error，MAE)。把待评价图像与标准图像中各像素点的灰度差的绝对值之和除以图像大小，即得到平均绝对误差E_MAE。平均绝对误差越小表示与标准图像的偏差越小，则图像质量越好。

式中，g(i, j)表示待评价图像相应灰度值，${\hat g}$(i, j)表示标准图像的相应灰度值，M和N分别为图像的行、列数。

(2) 灰度平均梯度(average gradient，AG)。AG是图像的灰度变化率，反映了图像微小细节的反差变化和纹理变化，表示图像的清晰程度，其值越大说明图像越清晰。灰度平均梯度定义如下：

式中，f(i, j)，${\nabla _i}f\left({i, j} \right)$，${\nabla _j}f\left({i, j} \right)$分别为像素点以及其在行、列方向上的梯度，M和N分别为图像的行、列数。

(3) 信息熵(information entropy，IE)。信息熵是从信息论角度反映图像中信息丰富程度的统计量，定义为：

式中，L表示图像的最大灰度级，P_i表示图像X上的像素灰度值为i的概率。一般情况下，熵值越大，则图像重建质量越好^[19]。

实验中的计算机配置为: Intel(R) Core(TM) i5-3470 CPU，主频3.20GHz，3.89GB内存，Windows 10操作系统。编程环境和运行平台为MATLAB R2015b。分别进行以下两组实验，验证本文中所提出的改进POCS算法的有效性。

序列图像为4帧尺寸为128×128的汽车车牌图像，重建出一帧256×256的高分辨率图像。PSF是支撑域为3×3，标准差为1的高斯型模糊函数，迭代3次。

首先利用图像配准进行运动参量估计，得到几何变形参量，然后利用双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进的POCS算法进行重建，并比较重建结果图像质量。重建结果如图 2所示。

Figure 2.  The first set of super-resolution reconstruction results

表 1是实验结果的评价参量。

就视觉效果而言，改进的POCS算法重建结果与双线性插值相比有明显的提升，图像明显更为清晰，图像细节的表达能力更强。改进的POCS算法与传统POCS算法等相比，就视觉效果而言没有肉眼可见的明显提升。通过放大局部细节，如图 3所示。

Figure 3.  Image details

由图 3观察可知, 本文中提出的改进POCS算法相较于其它算法重建质量有了明显的提高，图像细节更为清晰。

由表 1可知，就平均绝对误差而言，双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进POCS算法其计算结果分别为32.21，30.36，30.30，30.18，30.12。平均绝对误差能直接体现重建图像与原始高分辨图像的差异程度，其值越小，则表示重建结果与原始高分辨图像越接近。本实验中，改进POCS算法与传统POCS算法相比有了0.79%的提升。

就平均梯度而言，双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进POCS算法其计算结果分别为1.78，3.97，4.03，4.12，4.22。平均梯度体现了图像的清晰程度，其值越大，表示图像越清晰。本实验中，改进POCS算法与传统POCS算法相比有了6.30%的提升，是3组评价指标中提升最显著的。这说明传统POCS算法经过改进后，重建结果的清晰程度明显提高，图像细节更为丰富。

就信息熵而言，双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进POCS算法的计算结果分别为5.48，5.50，5.50，5.50，5.50。由计算结果可以得出图像的信息熵指标并没有明显的提升，这是因为信息熵是对全图信息量的体现，而重建结果的差异主要体现在图像细节上，而非图像的整体特性上。因此，改进POCS算法相较于传统POCS算法的优势无法在信息熵这一指标上有明显体现。

遥感图像广泛的应用于矿物勘探、海洋资源探测、植被生长监测等领域。遥感图像的空间分辨率直接决定对图像相关目标的探测能力和识别能力，因此提高遥感图像的空间分辨率具有重要的研究价值和意义^[20-21]。

序列图像为4帧尺寸为256×256的低空航拍遥感图像，重建出1帧512×512的高分辨率图像。PSF是支撑域为5×5、标准差为1的高斯型模糊函数，迭代次数为3次。

首先利用图像配准进行运动参量估计，得到几何变形参量，然后利用双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进的POCS算法进行重建，并比较重建结果图像质量。重建结果如图 4所示。表 2是实验结果的评价参量。

Figure 4.  The second set of super-resolution reconstruction results

由图 4以及表 2可知，重建的评价指标提升效果与实验一基本一致。改进POCS算法相较于传统POCS算法，平均绝对误差有了0.26%的提升，平均梯度有了5.26%的提升。图像信息熵则依然没有明显变化。

从以上分析结果可得出，本文中所提出的改进POCS算法，相较于传统POCS算法，重建质量有了明显的提升。其中，平均绝对误差和平均梯度提升效果最为明显，图像边缘的细节表达能力有了明显提升。

本文中提出一种改进的POCS算法，应用该方法重建的高分辨率图像清晰度相较于原有低分辨率图像有了明显的提升。所提供的方法考虑到图像边缘部位重建的特殊性，对图像边缘依据本发明提供的方法进行了特殊处理，使重建获得的高分辨率图像边缘保持效果良好，重建结果的清晰程度明显提高，图像细节更为丰富。应用该算法处理遥感图像，可明显提高其对相关目标的探测和识别能力。