Guided filtering based on infrared visual simulation

图像成像噪声和扰动模糊一直是困扰视觉研究难点之一，尤其在红外成像领域——红外末制导成像精确制导过程，该过程伴随着噪声、冲击扰动模糊等^[1]，低成像质量严重影响了目标探测搜索和跟踪，因此红外图像的预处理是首要考虑的问题。红外视景仿真建模技术基于计算机图形图像技术，利用3维几何建模技术和光线追踪成像技术，根据目标/场景经验参量，利用传热学第一原理^[2]，近似计算目标/场景红外辐射特性。视景仿真建模在工业上的应用为虚拟现实和增强现实，在武器研发领域主要是模拟外场试验环境，为武器提供逼真的试验条件^[3-5]。

导向滤波(guided image filtering, GIF)算法^[6]是一种保持图像边缘细节的滤波算法，在辅助去雾、去噪声等方面应用广泛^[7-10]，在保证实时性的同时具有非常理想的处理结果。导向滤波不仅广泛应用于工业视觉，近年来成功应用到红外图像的相关问题^[11-13]，取得了不错的成绩，但是研究人员一直忽略了一个较重要问题，即导向图像的来源问题。在暗通道去雾算法^[7](dark channel prior, DCP)中，采用导向滤波来代替soft matting^[14]过程，计算大气透射率图像，辅助完成暗通道算法，在不影响算法效率的条件下成功实现了实时运算，极大推动了暗通道去雾算法的应用。在暗通道去雾算法中，导向图像源于有雾输入图像的二值化，成功地解决了导向图像的来源，但是用于去噪声等其它问题，将原始图像添加未知噪声，以原始无噪声图像为导向图，能够有效地去除添加的噪声，这显现了导向滤波算法在去噪声问题的有效性，但是对于实际问题，在未知无噪声的原始图像状态下，导向滤波的应用十分受限。

盲卷积去模糊算法在处理图像未知模糊程度的条件下非常实用，在估计输入图像的点扩展函数^[15](point spread function，PSF)的同时迭代计算得到结果图像，用来解决少量先验成像信息的图像去模糊。但是盲卷积去模糊算法因采用逐次迭代算法同时估计PSF和结果图像，在求解时计算量大，需折中考虑迭代次数和计算效果^[16-17]。

针对红外图像的实时去噪声问题和导向滤波算法的核心导向图像来源问题，本文中利用导向滤波算法来实时处理红外图像，具有保边缘、快速实时性；在面临导向图像的来源问题上，采用视景仿真建模技术生成所需的导向图像，从而有效地将导向滤波算法引入红外图像处理领域。虽然导向滤波算法在红外图像方面应用颇多，但均未正面说明导向图像的问题，在处理实际红外图像缺乏一定的说服力。为了保持算法的完整性，在强调红外图像去噪声的问题之后，本文中研究了盲卷积去模糊算法，在分析和试验设计时对导向滤波算法、盲卷积滤波算法和导向滤波算法+盲卷积去模糊算法，设计分析对比了此类算法在红外图像处理中的优缺点。试验结果表明，基于视景仿真建模的导向滤波算法能实时有效的处理红外噪声；导向滤波算法+盲卷积去模糊算法虽然处理结果有效，但是不具备实时性；盲卷积去模糊算法单独作用于红外图像会引入大量噪声。同时针对噪声和模糊的问题，作者发现, 先处理成像噪声再处理模糊是最佳的处理流程。

红外视景仿真包括几何建模和红外辐射特性建模，3维几何建模由目标结构表观、多边形几何面片、可见光纹路等固有属性决定；红外特性建模包括零视距红外辐射特性建模和大气程辐射与大气透过率的近似计算^[18]。目标场景的零视距红外特性由其物理材质属性、热源、热交换、热平衡等关键因素确定。故红外视景仿真建模的前提是完成目标/场景模型的物理属性、运动属性、材质属性及内部/局部热源、组成的进行调研，获取目标/场景环境温度、湿度、经纬度及高度等环境参量。根据目标/场景的红外物理材质属性、局部热源分布、太阳/云层等辐射热、环境之间的热交换以及3维几何面片之间的热传递，建立传热学第一原理，计算目标/场景模型的温度分布，根据斯蒂芬-玻尔兹曼定理^[3]，计算物体自身辐射信息，叠加太阳直接辐射和散射辐射、大气和环境热辐射信息，近似计算目标/场景的零视距红外辐射特性。在场景环境参量和目标/场景零视距红外辐射的前提下，估计目标/场景与成像视点之间的距离，计算红外成像的大气透过率和红外程辐射，大气透过率的作用是减少成像点获取目标/场景零视距红外辐射特性信息，大气红外程辐射的作用是叠加到目标/场景零视距红外辐射特性，形成在特定的距离、视角及姿态下所显现的红外仿真图像。

目标/场景环境的物理属性、材质信息根据经验获取并形成相应的文件，场景环境条件参量根据实际试验获取并记录，根据所得参量进行红外视景仿真建模，近似得到符合要求的红外目标/场景图像，并作用于实际试验视频图像数据，完成试验视频图像的去噪、去模糊运算，为后续的搜索跟踪提供最优视频图像。

目标/场景零视距红外辐射信息主要由材质属性^[19]和物体表面温度^[20]分布决定，红外辐射量理论近似计算模型做如下描述。

(1) 太阳短波辐照度：由太阳直射和太阳散射组成，与日期、经纬度、太阳高度、太阳方位角、太阳入射角、云层分布、物体面及其倾角密切相关。

(2) 大气长波辐射：

式中，σ=5.67×10^－8(W·m^－2·K^－4)为斯蒂芬-玻尔兹曼常数，参量e_a的表达式为：

式中，T_a为空气温度，T₀为绝对零度，H_r表示相对湿度。

(3) 物体自发辐射(斯蒂芬-玻尔兹曼定理)：

式中，T_o为物体表面温度，ε为物体表面辐射发射率，通常情况下T_o≠T_a。

(4) 显热交换通量：由物体与周围空气间的对流热交换产生，与大气温度、物体表面温度、风速、海拔高度等相关。

(5) 潜热交换通量(主要用于计算场景红外辐射，目标模型不需计算)：物体表面与其内部的水分以蒸发的形式回到大气的现象，与大气温度、物体表面温度、相对湿度、风速、海拔高度相关。

(6) 热传导通量：物体表面与内部之间的温差决定，主要计算包含内部热源的物体。

综上所述, 物体表面辐射信息的影响因素，近似计算物体表面的热辐射量。

红外大气程辐射和大气透过率的理论近似计算归纳为：红外大气程辐射L_p和透过率τ在λ₁~λ₂波段内的理论计算采取对目标到成像视点之间的距离进行分层处理，表示成：

式中，τ(λ)是单一波长的大气透过率，L_p(λ)为单一波长大气程辐射，由大气对太阳辐射的单次散射L_SS(λ)、多次散射L_MS(λ)、大气对地表热辐射的多次散射L_MSS(λ)以及大气自身热辐射L_a(λ)的数值组成。L_SS(λ), L_MS(λ), L_MSS(λ)采用大气学中的K分布算法进行近似计算，L_a(λ)表示为：

式中，R是总的大气路径; B(T, λ)为普朗克公式计算的大气路径中各层大气自身热辐射值；τ(λ)与大气路径对应的光学厚度k(λ)成负指数关系，可表示为：

式中，k(λ)由每一层的大气光学厚度k_i(λ)累加而来，每一层的大气光学厚度由大气分子吸收光学厚度σ_MA(λ)、大气分子散射光学厚度k_MS(λ)、气溶胶吸收光学厚度σ_AA(λ)和气溶胶散射光学厚度k_AS(λ)组成。σ_MA(λ), k_MS(λ), σ_AA(λ)和k_AS(λ)按照分层距离对相应的吸收系数、散射系数进行积分得到。大气分子和气溶胶的吸收系数、散射系数与大气模式、战场经纬度、时间等信息密切相关。通过理论的近似计算，可以较精确地得到目标成像过程的红外大气程辐射和相应的大气透过率，从而计算目标模型的红外特征信息。

导向滤波算法^[6]的核心思想是对输入图像按照给定的导向图像信息进行滤波处理，即导向滤波器将导向图像和输出图像之间在一个窗口区域内建立一种局部线性映射。因此，导引图像的细节和平滑信息有助于约束输入图像，使输出图像保持导向图像的边缘细节和平滑区域，故导向滤波算法具有保持边缘的作用，故导向图像的非常重要。导向滤波算法提出的主要目的是为了代替软抠图(soft matting, SM)，实现暗通道去雾算法的实时运算。此时的导向图像由输入图像二值化，替换soft matting，计算输入图像(含雾)的透射率图像，从而实时有效的完成去雾操作。算法要求导向图像和输入图像大小一致，导向滤波算法可描述为：

式中, (α_k, β_k)为图像区域内满足线性关系的参量组，需要根据最优近似进行求解，I_i表示导向图像的某一区域, q_i表示输出图像的某一区域，ω_k为导向图像I的某一区域。参量组(α_k, β_k)利用最小二乘法估计得到，此处不考虑惩罚项带来的影响。采用下面的最小二乘估计来估计上述参量对。

式中，η是最小二乘拟合的参量，p表示输入图像。其解表示为：

式中，μ_k和σ_k²分别为导向图像区域块ω_k的像素均值和方差; |ω|为导向图像区域块ω_k的总像素数; ${{\bar p}_k} = \frac{1}{{\left| \mathit{\boldsymbol{\omega }} \right|}}\sum\limits_{i \in \omega k} {{p_i}} $表示输入图像对应区域块的像素值。根据上述公式，计算输出图像q：

算法实现过程时，采用boxfilter算法来计算给定区域的均值和方差，boxfilter算法的复杂度是o(1)，整个滤波算法复杂度也为o(1)。在一般计算机上，导向滤波算法的实现低于1ms。本文中主要是将红外仿真建模图像作为导向图像，对试验图像进行去噪声处理，既满足试验需求的实时性，又充分的发挥了导向滤波算法在去噪声领域的优点，得到比较满意的输出图像。

盲卷积去模糊算法^[16]根据贝叶斯定理建立最大后验模型(maximum a posteriori, MAP)，采用交替迭代算法求解模型，依次获得预估PSF和相应PSF条件下的最优图像。由于求解过程稍微复杂，需要在计算速度和图像质量之间进行权衡，同时需给定PSF区域大小和最大迭代次数。盲卷积去模糊算法根据贝叶斯定理，描述为：

式中, q表示需求计算的结果图像，p表示输入图像，f表示未知的PSF函数。根据成像映射关系建立起的似然函数:

式中，γ是超参量，P(q)和P(f)分别为结果图像函数和PSF函数的先验信息。

利用上述信息，建立MAP泛函模型：

且Q(q)=－lnP(q), R(f)=－lnP(f)，采用交替迭代数值求解上述泛函模型，依次得到估计的PSF函数f和最优的结果图像q。

通过观测分析大量外场试验视频图像，试验红外成像包含大量成像噪声和以及少量扰动模糊，这增加了红外目标检测和跟踪的难度。通过对相关内容的深入分析，本文中采用导向滤波算法处理红外成像噪声，对于导向滤波算法的导向图像来源问题，利用视景仿真建模技术生成合适红外图像，作为导向滤波算法的导向图像，联合处理试验红外图像的成像噪声。导向滤波算法充分利用导向图像，在去除成像噪声的同时充分保持图像边缘的完整性，计算过程采用boxfilter算法来计算区域块的均值和方差，该算法的计算时间低于1ms。基于视景仿真建模技术的导向滤波算法如图 1所示。

Figure 1.  Guided filter algorithm based on visual modeling technology

在实时处理过程中，可忽略图像少量的成像扰动模糊，因为处理模糊过程中要么锐化图像高频信息，要么非常耗时。为了使本文中的图像处理完整，在非实时条件下，采用导向滤波算法+盲卷积去模糊的综合算法处理红外图像，虽然耗时，但计算结果非常满意，充分地发挥了导向滤波去噪声的同时保护图像边缘完整性的性质，同时恢复了图像中的少量被模糊的信息。在设计实验时，设计了单独使用导向滤波算法、导向滤波+盲卷积去模糊的综合算法和单独使用盲卷积去模糊算法，试验结果如分析那样，盲卷积去模糊算法锐化了图像中的噪声，单独使用盲卷积去模糊算法大量增加了图像中未显现的噪声，而通过导向滤波去噪声后采用盲卷积算法则不会凸显过多的噪声，侧面说明了导向滤波算法去噪声的有效性。为了平衡试验效果和盲卷积算法的迭代过程，本文中取PSF大小为33pixel×33pixel，迭代次数为4，有效地缩短盲卷积的计算时间。

本文中提出的算法综合了红外视景仿真技术、导向滤波去噪声和盲卷积去模糊算法，如图 2所示。

Figure 2.  Guided filter and blind convolution comprehensive preprocessing

本文中针对目标为十字靶标，材质为混泥土(反射率0.25，容积热容量1.466×10⁶J/(m³·K), 导热系数0.906W/(m·K)，发射率0.92)，场景环境为平地，主要材质为土壤(反射率0.2，容积热容量2.302×10⁶J/(m³·K), 导热系数0.213W/(m·K)，发射率0.93)，郊区，夏季，时间16:30，经度110°，纬度34°，阴天，大气温度34℃，湿度68%，无风，靶标表面近似计算的温度为38.6℃，靶标附近场景温度为35.9℃，靶标平放，成像距离300m，成像俯视角为60°。气溶胶类型为乡村型，在上述环境条件下，查询气溶胶粒子密度和粒子尺寸，以及大气分子，完成红外仿真视景图像建模，将此图像作为导向图像，进行导向滤波算法。导向滤波算法实现过程中，图像区域块ω取11×11，导向滤波算法计算过程小于1ms。盲卷积去模糊算法实现过程，选择点扩展函数f大小为33pixel×33pixel，用脉冲函数对其进行初始化，迭代次数设定为4，盲卷积去模糊算法耗时20ms左右。最终结果与中值滤波、双边滤波、维纳滤波等典型算法进行比较，采用计算输出图像的峰值信噪比和视觉图的方法进行比较。

本文中所设计的对比试验包括：维纳滤波算法、中值滤波算法、双边滤波算法、盲卷积滤波算法、导向滤波算法、导向滤波+盲卷积算法，结果如图 3~图 10所示，其中图 3为输入图像，图 8为导向图像。

Figure 3.  Original image

Figure 4.  Winer filter result

Figure 5.  Median filter result

Figure 6.  Bilateral filter result

Figure 7.  Blind convolution result

Figure 8.  Guided image

Figure 9.  Guided filter result

Figure 10.  Guided filter and blind convolution filter result

通过计算图像的峰值信噪比(peak signal-to-noiseratio, PSNR)来评价算法的性能。PSNR定义为：

式中，M表示图像的最大数值，本文中取为255;m和n分别为图像的行数和列数。q表示输出图像(算法处理之后的图像)，p表示输入图像(未处理的原始图像)。

相关算法的PSNR值的比较见表 1。其中，输入图像的信噪比未知，本文中算法能有效解决未知输入图像的噪声和模糊。

本文中提出的综合红外仿真技术、导向滤波和盲卷积去模糊的算法，有效地解决了导向滤波算法的导向图像来源问题，可进一步推广使用导向滤波算法。从上述图像和表 1可知，导向滤波算法运算非常快，比中值滤波运算快，同时保持图像边缘细节，单独采用导向滤波算法亦有很好的处理结果，对高实时性问题，建议单独使用导向滤波算法；盲卷积去模糊算法比较耗时，但是在不知道扰动模糊类型的情况下非常有效，但是单独采用盲卷积去模糊算法会对图像引入大量噪声，是不值得推荐的；对实时性要求不是很高的问题，建议综合导向滤波和盲卷积去模糊的算法，该算法能有效的处理成像噪声和扰动模糊。同时，针对成像噪声和模糊问题，原则上先处理噪声(保持细节不变的条件下)，再处理模糊，这样不会去除图像本身的细节，同时很好的抑制噪声。导向滤波算法或导向滤波和盲卷积去模糊算法输出图像质量均优于经典滤波算法，同时导向滤波算法的运行时间亦优于典型滤波算法。

由此可见，依据红外仿真技术综合导向滤波算法和盲卷积去模糊算法可有效处理红外试验图像的噪声和扰动模糊。

针对红外成像噪声和扰动模糊问题，综合红外视景仿真建模技术、导向滤波和盲卷积去模糊算法，处理试验过程的成像噪声和扰动模糊。充分地解决了导向滤波算法中导向图像的来源问题，最大限度地利用导向滤波算法在图像预处理方面的优势，处理结果从处理时间和处理结果方面均优于传统滤波方法(导向滤波算法运行时间降低了25%，PSNR提高了4.5%)，从而说明利用计算机图形图像技术辅助计算机视觉算法具有一定的可行性。但是，由于红外视景仿真建模技术的内在难点，在推广到试验视频的处理时，还需要深入地研究，如在一定条件下生成导向图像，利用处理输出图像作为下一帧的导向图像，从而连续地进行视频的滤波处理，该方法的可行性还有待考证，但是将处理公开图像的算法引入红外图像的方法是正确的，利用计算机图形图像技术辅助视觉处理的方向也是正确的，同时也具有推广意义。红外仿真图像作为导向图像解决了导向图像的来源问题，对实时红外视频的处理则是后续主要研究问题之一。