高级检索

ISSN1001-3806CN51-1125/TN 网站地图

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于改进点扩散函数的遥感图像超分辨率重建

房垚鑫 郭宝峰 马超

引用本文:
Citation:

基于改进点扩散函数的遥感图像超分辨率重建

    作者简介: 房垚鑫(1991-), 男, 硕士研究生, 主要研究领域为遥感图像超分辨率重建.
    通讯作者: 郭宝峰, gbf@hdu.edu.cn
  • 中图分类号: TN911.73

Super-resolution reconstruction of remote sensing images based on the improved point spread function

    Corresponding author: GUO Baofeng, gbf@hdu.edu.cn ;
  • CLC number: TN911.73

  • 摘要: 为了提高遥感图像空间域重建质量, 采用改进凸集投影(POCS)算法的点扩散函数, 提出了一种改进的POCS超分辨率重建算法。首先给出POCS算法基本原理以及具体实现步骤, 在此基础上对算法做出改进, 即对待重建的高分辨初始帧进行边缘检测, 对检测到的边缘像素点应用改进的点扩散函数(PSF), 使边缘处像素点对应的PSF水平方向与垂直方向系数依据边缘斜率变化而设置不同的权重; 最后分别采用两组数据集对改进POCS算法的有效性进行验证。结果表明, 该改进的POCS算法有效地提高了图像重建的效果, 两组实验平均绝对误差效果分别提升了0.79%和0.26%, 达到了提高图像重建质量的目的。该算法具有较好的实际应用价值。
  • Figure 1.  Flow chart of the improved POCS algorithm

    Figure 2.  The first set of super-resolution reconstruction results

    a—original low resolution image b—bilinear interpolated image c—traditional POCS d—reference[12] e—reference[15] f—our method

    Figure 3.  Image details

    a—traditional POCS b—reference[12] c—reference[15] d—our method

    Figure 4.  The second set of super-resolution reconstruction results

    a—original low resolution image b—bilinear interpolated image c—traditional POCS d—reference[12] e—reference[15] f—our method

    Table 1.  Comparison between our method and other methods

    bilinear traditional POCS reference[12] reference[15] our method
    MAE 32.21 30.36 30.30 30.18 30.12
    AG 1.78 3.97 4.03 4.12 4.22
    IE 5.48 5.50 5.50 5.50 5.50
    下载: 导出CSV

    Table 2.  Comparison between our method and other methods

    bilinear traditional POCS reference[12] reference[15] our method
    MAE 44.74 43.05 43.02 42.96 42.94
    AG 2.34 4.75 4.87 4.91 5.00
    IE 7.24 7.29 7.28 7.28 7.28
    下载: 导出CSV
  • [1]

    LU J. Studies on several problems in image super-resolution reconstruction[D]. Dalian: Dalian University of Technology, 2014: 1-16(in Chinese).
    [2]

    LEDIG C, WANG Z, SHI W, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Computer Vision and Pattern Recognition. New York, USA: IEEE, 2017: 105-114.
    [3]

    CUI G M. Research on image quality improvement and assessment for optical remote sensing image [D].Hangzhou: Zhejiang University, 2016: 1-14(in Chinese).
    [4]

    DONG C, LOY C C, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2):295-307. doi: 10.1109/TPAMI.2015.2439281
    [5]

    TIMOFTE R, ROTHE R, GOOL L V. Seven ways to improve example-based single image super resolution[C]// IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2016: 1865-1873.
    [6]

    LI Q, LIU Zh, NAN B B, et al. Improved image super-resolution reconstruction based neighbor embedding [J]. Laser Technology, 2015, 39(1):13-18(in Chinese). 
    [7]

    GUO X F, QI B, SHI J L. Research on the sequence image super-resolution reconstruction [J]. Foreign Electronic Measurement Technology, 2018, 37(8):16-19(in Chinese). 
    [8]

    MORGANELLA S, OEDEGAARD O, ALEXANDER S, et al. ChromoTrace: Reconstruction of 3-D chromosome configurations by super-resolution microscopy[J]. Food Chemistry, 2017, 131(2):387-396.
    [9]

    VON D A, SHECHTMAN Y, MOERNER W E. Three-dimensional localization of single molecules for super-resolution imaging and single-particle tracking[J]. Chemical Reviews, 2017, 117(11): 7244-7275. doi: 10.1021/acs.chemrev.6b00629
    [10]

    WILLETS K A, WILSON A J, SUNDARESAN V, et al. Super-re-solution imaging and plasmonics[J]. Chemical Reviews, 2017, 117(11):7538-7582. doi: 10.1021/acs.chemrev.6b00547
    [11]

    CULLEY S, ALBRECHT D, JACOBS C, et al. Quantitative mapping and minimization of super-resolution optical imaging artifacts[J]. Nature Methods, 2018, 15:263-266. doi: 10.1038/nmeth.4605
    [12]

    LI H F, DU M H. Super-resolution image restoration based on improved POCS algorithm [J]. Journal of South China University of Technology (Natural Science Edition), 2003, 31(10):24-27(in Chinese). 
    [13]

    YU J, SU K N, XIAO Ch B. Edge artifact reduction for super-resolution image reconstruction [J]. Acta Automatica Sinica, 2007, 33(6):577-582(in Chinese). 
    [14]

    GUO M, ZHAO Y, WANG Sh G, et al. Infrared dirrrsmall target super-resolution restoration algorithm based on region selection [J]. Chinese Journal of Liquid Crystals and Displays, 2016, 31(4): 415-420(in Chinese). doi: 10.3788/YJYXS20163104.0415
    [15]

    WANG L L, ZHAO Y, WANG Sh G. Super resolution restoration based on modified point spread function [J]. Journal of Jilin University (Information Science Edition), 2017, 35(1):1-7(in Chin-ese).
    [16]

    XIAO Ch B, DUAN J, YU J. POCS super-resolution reconstruction from image sequences [J]. Journal of Beijing University of Techno-logy, 2009, 35(1):108-113(in Chinese). 
    [17]

    XU L N, HE L X. GF-4 images super resolution reconstruction based on POCS [J]. Acta Geodaeticaet Cartographica Sinica, 2017, 46(8):1026-1033(in Chinese). 
    [18]

    WANG X H, OUYANG J H, ZHANG G, et al. Super-resolution reconstruction of infrared images based on micro-scanner [J]. Journal of Jilin University (Engineering and Technology Edition), 2017, 47(1):235-241(in Chinese). 
    [19]

    XU M F. Research for super-resolution reconstruction technologies of image based on POCS algorithm[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, 2010: 47-56(in Chinese).
    [20]

    SUN Y J, LEI W H, HU Y H, et al. Rapid ship detection in remote sensing images based on visual saliency model [J]. Laser Technology, 2018, 42(3):379-384(in Chinese). 
    [21]

    XIONG Y, ZUO X Q, HUANG L, et al. Classification of color remote sensing images based on multi-feature combination [J]. Laser Technology, 2014, 38(2):165-171(in Chinese).
  • [1] 高颖王阿敏王凤华郭淑霞 . 改进的小波变换算法在图像融合中的应用. 激光技术, 2013, 37(5): 690-695. doi: 10.7510/jgjs.issn.1001-3806.2013.05.028
    [2] 林巧文杨春花刘红梅康占成 . 基于微球透镜远场超分辨率成像方法研究. 激光技术, 2021, 45(6): 686-690. doi: 10.7510/jgjs.issn.1001-3806.2021.06.002
    [3] 鹿伟民杨西斌文刚郑贤良李辉熊大曦 . 基于荧光微球的显微镜点扩散函数修正模型. 激光技术, 2016, 40(5): 638-642. doi: 10.7510/jgjs.issn.1001-3806.2016.05.005
    [4] 张南洋生杨坤涛 . 激光扫描相位边缘检测方法的研究. 激光技术, 2001, 25(6): 421-425.
    [5] 李文龙戈海龙任远成巍 . 图像处理技术在激光熔池温度检测的应用. 激光技术, 2018, 42(5): 599-604. doi: 10.7510/jgjs.issn.1001-3806.2018.05.004
    [6] 李强刘哲南炳炳顾淑音 . 改进的基于邻域嵌入的图像超分辨率重构. 激光技术, 2015, 39(1): 13-18. doi: 10.7510/jgjs.issn.1001-3806.2015.01.003
    [7] 郭佑东凌福日姚建铨 . 基于梯度变换的太赫兹图像超分辨率重建. 激光技术, 2020, 44(3): 271-277. doi: 10.7510/jgjs.issn.1001-3806.2020.03.001
    [8] 刘逸飞苏亚姚晓天崔省伟杨丽君周聪聪何松 . OCT无创血糖检测图像处理最优化方法研究. 激光技术, 2023, 47(2): 178-184. doi: 10.7510/jgjs.issn.1001-3806.2023.02.004
    [9] 向志聪张程潇白玉磊赖文敬王钦若周延周 . 一种高分辨率3维图像的自适应降噪算法. 激光技术, 2015, 39(5): 697-701. doi: 10.7510/jgjs.issn.1001-3806.2015.05.024
    [10] 陈树越朱双双蒋星徐扬 . 基于高斯型点扩展函数的红外图像热源复原. 激光技术, 2016, 40(2): 270-273. doi: 10.7510/jgjs.issn.1001-3806.2016.02.025
    [11] 张健李白燕 . 基于图论最小割集算法的图像分割研究. 激光技术, 2014, 38(6): 863-866. doi: 10.7510/jgjs.issn.1001-3806.2014.06.030
    [12] 孙越娇雷武虎胡以华赵楠翔任晓东 . 基于视觉显著模型的遥感图像舰船快速检测. 激光技术, 2018, 42(3): 379-384. doi: 10.7510/jgjs.issn.1001-3806.2018.03.017
    [13] 李昌海叶玉堂沈淦松徐伟叶涵姚景昭 . 基于图像轮廓分析的LCD线路缺陷检测. 激光技术, 2013, 37(2): 207-210. doi: 10.7510/jgjs.issn.1001-3806.2013.02.017
    [14] 郑伟张晶杨虎 . 改进边界指示函数的水平集活动轮廓模型. 激光技术, 2016, 40(1): 126-130. doi: 10.7510/jgjs.issn.1001-3806.2016.01.028
    [15] 未永飞杜正春姚振强 . 中值滤波在激光雷达点云数据预处理中的应用. 激光技术, 2009, 33(2): 213-216.
    [16] 冯军波周昕 . 点光源照射下彩色图像随机相位编码的实现. 激光技术, 2008, 32(6): 621-623.
    [17] 江天沈会良杨冬晓刘建军邹哲 . 基于模糊局部信息C均值的太赫兹图像目标检测. 激光技术, 2015, 39(3): 289-294. doi: 10.7510/jgjs.issn.1001-3806.2015.03.001
    [18] 李泽峰欧阳八生 . 基于MFC+HALCON图像识别Mark圆的检测方法. 激光技术, 2020, 44(3): 358-363. doi: 10.7510/jgjs.issn.1001-3806.2020.03.016
    [19] 刘煊渠慎明 . 低秩稀疏和改进SAM的高光谱图像误标签检测. 激光技术, 2022, 46(6): 808-816. doi: 10.7510/jgjs.issn.1001-3806.2022.06.016
    [20] 邓文波陈华聂雄 . 数字共焦显微镜实验3维点扩散函数的构建. 激光技术, 2018, 42(6): 769-774. doi: 10.7510/jgjs.issn.1001-3806.2018.06.008
  • 加载中
图(4) / 表(2)
计量
  • 文章访问数:  6785
  • HTML全文浏览量:  5186
  • PDF下载量:  20
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-10-16
  • 录用日期:  2018-11-22
  • 刊出日期:  2019-09-25

基于改进点扩散函数的遥感图像超分辨率重建

    通讯作者: 郭宝峰, gbf@hdu.edu.cn
    作者简介: 房垚鑫(1991-), 男, 硕士研究生, 主要研究领域为遥感图像超分辨率重建
  • 杭州电子科技大学 自动化学院, 杭州 310018

摘要: 为了提高遥感图像空间域重建质量, 采用改进凸集投影(POCS)算法的点扩散函数, 提出了一种改进的POCS超分辨率重建算法。首先给出POCS算法基本原理以及具体实现步骤, 在此基础上对算法做出改进, 即对待重建的高分辨初始帧进行边缘检测, 对检测到的边缘像素点应用改进的点扩散函数(PSF), 使边缘处像素点对应的PSF水平方向与垂直方向系数依据边缘斜率变化而设置不同的权重; 最后分别采用两组数据集对改进POCS算法的有效性进行验证。结果表明, 该改进的POCS算法有效地提高了图像重建的效果, 两组实验平均绝对误差效果分别提升了0.79%和0.26%, 达到了提高图像重建质量的目的。该算法具有较好的实际应用价值。

English Abstract

    • 如今在许多应用场合,人们对数字图像的空间分辨率要求越来越高[1]。提高图像分辨率最直接的方法是提高采集图像时所使用图像传感器的排列密度。但是受物理条件的限制,各类图像传感器的排列密度不可能无限制的提高,且传感器排列密度的提高也会导致噪声的增加。在不改变成像硬件装置的前提下,通过软件方法,由多幅序列低分辨率图像重建出一幅高分辨率图像的超分辨方法,不仅可以节约硬件成本,且软件方法更为灵活,应用领域更广[2-3]

      对同一场景进行多次采样,可以得到该场景的多幅序列图像。受到图像分辨率的限制,序列图像中的单一一帧难以完全表述该场景中的细节信息,而多幅序列图像中含有更多丰富的互补信息[4]。序列图像的超分辨率重建技术是指,利用多幅序列图像之间的互补信息,通过相关的算法对序列低分辨率图像进行处理,重建出一幅包含更多丰富细节信息的高分辨率图像[5-11]

      在空间域重建方法中,凸集投影(projection onto convex set, POCS)算法由于具有能够方便地引入大量先验知识的优点,受到越来越广泛的应用,国内学者也在POCS超分辨重建研究中取得了诸多成果:LI等人对图像点扩散函数(point spread function, PSF)做出调整,对水平和垂直方向的边缘像素点应用不同的PSF,改善了重建图像的边缘振荡效应[12];YU等人提出把PSF与一个指数型权值函数相乘,使得修改的PSF系数沿着边缘正交的方向减小,从而有效地保持边缘细节信息[13];GUO等人针对POCS算法运行时间长的特点,提出一种能够有效缩短运行时间的快速超分辨算法[14];WANG等人提出一种基于8个方向修正点扩散函数的算法,对参考文献[12]中的算法作出改进,提升了重建质量[15]

      本文中针对传统POCS算法对图像边缘细节保持能力不足的问题,提出一种基于改进点扩散函数的超分辨率重建算法,分析了传统POCS算法的不足,并提出如何对传统POCS算法做出改进。实验结果表明,该改进的POCS算法有效地提高了图像重建的效果,达到了提高图像重建质量的目的,具有较好的实际应用价值。

    • POCS算法可灵活运用各类先验知识,相关先验知识可以作为图像重建的约束条件。每个约束条件都可视为图像空间中的一个含有目标高分辨图像的凸集合。多个约束条件所对应凸集合的交集,即可视为高分辨重建结果。

      使用POCS算法进行超分辨重建的基本思想为:(1)从低分辨率图像序列中,选取任意一帧进行插值操作,使其达到所期望的空间分辨率,作为初始估计;(2)对每一帧低分辨率图像进行运动估计,找到低分辨率图像每个像素所对应的高分辨初始帧PSF作用范围内的像素;(3)模拟低分辨率图像获取过程,由高分辨初始帧计算出低分辨率图像;(4)将计算出的低分辨率图像与原始低分辨率序列图像进行对比,计算残差;(5)若残差超过一定范围,则对当前高分辨初始帧进行修正;(6)重复整个迭代过程,直到得到可以接受的高分辨率重建图像。

      点扩散函数PSF是由具体成像系统决定的,通常采用最常见的高斯模型:

      $ \begin{array}{l} \mathit{\boldsymbol{h}}\left( {x, y} \right) = {\rm{exp}}\left[ {\frac{{{{(x - {X_0})}^2} + {{(y - {Y_0})}^2}}}{2}} \right], \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;(\left( {x, y} \right) \in {\mathit{\boldsymbol{S}}_\mathit{\boldsymbol{h}}}) \end{array} $

      (1)

      式中,h(x, y)即为PSF模板,X0Y0为点扩散函数的中心点坐标,Sh表示支撑域,支撑域大小为5×5。把上式进行归一化操作,即:

      $ \begin{array}{l} \mathit{\boldsymbol{h}}\prime \left( {x, y} \right) = \frac{{\mathit{\boldsymbol{h}}\left( {x, y} \right)}}{{\sum\limits_{m = {X_0} - 2}^{{X_0} + 2} {\sum\limits_{n = {Y_0} - 2}^{{Y_0} + 2} {\mathit{\boldsymbol{h}}\left( {x, y} \right)} } }}, \\ \;\;\;\;\;\;\;\;\;\;\;\;(\left( {x, y} \right) \in {\mathit{\boldsymbol{S}}_\mathit{\boldsymbol{h}}}) \end{array} $

      (2)

      式中,h′(x, y)即为归一化后的PSF模板,支撑域的大小为5×5。

      当前估计的高分辨率参考帧设为fref(s, t),当前低分辨率观测帧设为gl(i, j)。逐一对当前低分辨率观测帧的像素点进行处理。若观测帧中某像素(i0, j0)映射到高分辨率参考帧的位置为(s0, t0),则该像素的估计值由下式决定:

      $ f({s_0}, {t_0}) = \sum\limits_{s = {X_0} - 2}^{{X_0} + 2} {\sum\limits_{t = {Y_0} - 2}^{{Y_0} + 2} {{f_{{\rm{ref}}}}} } \left( {s, t} \right)\mathit{\boldsymbol{h}}\prime ({s_0}, {t_0}) $

      (3)

      计算可得f(s0, t0)即为该像素的估计值。于是,灰度估计值f(s0, t0)与观察图像像素点gl(i0, j0)的残差为:

      $ {r_{\rm{l}}}\left( {{i_0}, {j_0}} \right) = {g_{\rm{l}}}({i_0}, {j_0}) - f({s_0}, {t_0}) $

      (4)

      对序列低分辨率图像每一个像素点进行处理时,计算获得的残差rl(i0, j0)的绝对值必须限制在预先设置的边界内。若残差rl(i0, j0)的绝对值大于指定阈值σ0,则对当前高分辨率图像PSF作用窗口中的像素值进行修正,具体修正方法如下式所示:

      $ \begin{array}{l} \;\;\;\;\;\;\;\;{f_{{\rm{ref}}}}(s, t) = {f_{{\rm{ref}}}}(s, t) + \\ \left\{ \begin{array}{l} \left[ {{r_{\rm{l}}}({i_0}, {j_0}) + {\sigma _0}} \right]\mathit{\boldsymbol{h}}\prime ({s_0}, {t_0}), ({r_{\rm{l}}}({i_0}, {j_0}) < - {\sigma _0})\\ 0, ( - {\sigma _0} \le {r_{\rm{l}}}({i_0}, {j_0}) \le {\sigma _0})\\ \left[ {{r_{\rm{l}}}({i_0}, {j_0}) - {\sigma _0}} \right]\mathit{\boldsymbol{h}}\prime ({s_0}, {t_0}), ({r_{\rm{l}}}({i_0}, {j_0}) > {\sigma _0}) \end{array} \right. \end{array} $

      (5)

      (5) 式所表示的即为数据一致性约束,图像中的每一个像素点都可定义一个凸集约束。除此之外,还可以根据实际情况灵活选择其它约束,如幅值约束、能量约束等[13, 16]

    • 图像边缘是图像包含信息最丰富的地方,图像边缘像素点是指图像中周围像素灰度值有巨大变化的像素点,即灰度值导数较大的地方。POCS算法的核心是基于PSF的图像灰度值修正,但这也是图像边缘保持不良的原因。在用POCS算法重建的高分辨图像的边缘处,深色一侧的像素会变得越深,浅色一侧的像素会变得越浅。这是因为观测帧中位于深色一侧的像素,其对应的高分辨率图像中的像素也在图像边缘的深色一侧,但是其PSF作用范围内会有浅色像素的干扰。因此,在进行POCS重建时,这类像素的计算值将会大于实际值,再根据残差对高分辨初始帧进行修正时,会导致边缘深色一侧的像素变得更深[13, 16]

    • 以上分析了POCS算法边缘保持不良的原因。基于此,本文中对传统POCS算法做出改进:在进行低分辨率序列图像迭代优化前,先对高分辨率初始帧进行边缘检测,对检测到的边缘像素,采用不同的PSF:

      $ \begin{array}{l} \mathit{\boldsymbol{h}}(x, y) = {\rm{exp}}\left[ {\frac{{{\beta _1}{{(x - {X_0})}^2} + {\beta _2}{{(y - {Y_0})}^2}}}{2}} \right], \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;(\left( {x, y} \right) \in {\mathit{\boldsymbol{S}}_\mathit{\boldsymbol{h}}}) \end{array} $

      (6)

      式中,β1β2分别是PSF模板水平方向与垂直方向的权重系数。

      边缘检测的方法有多种,高斯-拉普拉斯算子(Laplace of a Gaussian,LoG)相较于普通Laplace算子具有抗噪声能力强的显著特点,因此本文中采用LoG算子进行边缘检测。

      对于检测到的边缘,本文中使用Sobel模板计算其与水平方向的夹角。用GxGy分别表示水平方向与垂直方向梯度,则检测到的边缘与水平方向的夹角θ为:

      $ \theta = {\rm{arctan}}\left( {\frac{{{G_y}}}{{{G_x}}}} \right) $

      (7)

      根据第2.1节中的分析,当检测到的边缘趋近于水平方向时,希望PSF模板水平方向所占权重更大;当检测到的边缘趋近于垂直方向时,则希望PSF模板垂直方向所占权重更大。本文中所设计的改进PSF,其参量β1β2可随着夹角的变化而变化,即当θ=0时,β1=1且β2=0;随着θ的增大,β1随之减小而β2随之增大;当θ=90°时,β1=0且β2=1。因此,可定义θβ1, β2之间的关系如下:

      $ {\beta _1} = \frac{{\pi - 2\theta }}{\pi }, {\beta _2} = \frac{{2\theta }}{\pi } $

      (8)

      代入(6)式可得:

      $ \begin{array}{l} \mathit{\boldsymbol{h}}(x, y) = {\rm{exp}}\left[ { - \frac{{\frac{{\pi - 2\theta }}{\pi }{{(x - {X_0})}^2} + \frac{{2\theta }}{\pi }{{(y - {Y_0})}^2}}}{2}} \right], \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;(\left( {x, y} \right) \in {\mathit{\boldsymbol{S}}_\mathit{\boldsymbol{h}}}) \end{array} $

      (9)

      (9) 式即为改进的PSF。本文中的创新性在于通过(9)式,可以使边缘处像素的PSF模板水平方向权重系数β1和垂直方向权重系数β2随着边缘与水平方向的夹角θ的不同而自适应调整,从而增强重建高分辨率图像的边缘保持能力。

    • 以上分别介绍了POCS算法的基本原理以及如何对传统POCS算法进行改进,改进POCS算法的具体实现步骤见下:(1)对任意一帧低分辨率图像进行双线性插值操作,得到目标高分辨率图像的初始参考帧;对该初始帧进行边缘提取,得到其边缘图像; (2)选取一帧低分辨率图像,逐一对该低分辨率图像中每个像素点进行处理,即找到相应像素点在高分辨率初始帧中PSF作用窗口的中心坐标,判断中心坐标处的像素是否为边缘像素; (3)根据步骤(2)的判断结果,如果是边缘像素,则计算该像素点处的边缘与水平方向的夹角,并根据夹角的大小推导出新的PSF;如果不是边缘像素,则不改变原有的PSF; (4)根据步骤(3)的结果,选取相应的PSF,模拟低分辨率图像的生成过程,由高分辨初始帧估计计算出低分辨率图像的像素值,并计算该像素值与相应原有序列低分辨率图像像素值之间的残差,根据残差对高分辨初始帧做出修正。

      在步骤(4)完成后,判断是否已经完成了每一帧序列低分辨率图像的每个像素点的处理,若已完成,则重建过程结束。根据具体问题的实际需求,可设置合适的总迭代循环次数,在每一次迭代中依次对每一帧序列低分辨率图像应用步骤(2)至步骤(4),最终可得到目标高分辨率图像。改进的POCS算法流程图如图 1所示。

      Figure 1.  Flow chart of the improved POCS algorithm

    • 图像质量评价按评价方式可分为主观评价和客观评价。主观评价主要指人自身通过肉眼观察对图像清晰度的评价。本文中采用平均绝对误差、灰度平均梯度、信息熵3种客观评价指标定量地评价图像的重建质量[17-18]

      (1) 平均绝对误差(mean absolute error,MAE)。把待评价图像与标准图像中各像素点的灰度差的绝对值之和除以图像大小,即得到平均绝对误差EMAE。平均绝对误差越小表示与标准图像的偏差越小,则图像质量越好。

      $ {E_{{\rm{MAE}}}} = \frac{{\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {\left| {g\left( {i, j} \right) - \hat g\left( {i, j} \right)} \right|} } }}{{M \times N}} $

      (10)

      式中,g(i, j)表示待评价图像相应灰度值,${\hat g}$(i, j)表示标准图像的相应灰度值,MN分别为图像的行、列数。

      (2) 灰度平均梯度(average gradient,AG)。AG是图像的灰度变化率,反映了图像微小细节的反差变化和纹理变化,表示图像的清晰程度,其值越大说明图像越清晰。灰度平均梯度定义如下:

      $ \begin{array}{l} \nabla g = \frac{1}{{\left( {M - 1} \right)\left( {N - 1} \right)}} \times \\ \sum\limits_{i = 1}^{M - 1} {\sum\limits_{j = 1}^{N - 1} {\sqrt {\frac{{{\nabla _i}^2f\left( {i, j} \right) + {\nabla _j}^2f\left( {i, j} \right)}}{2}} } } \end{array} $

      (11)

      式中,f(i, j),${\nabla _i}f\left({i, j} \right)$,${\nabla _j}f\left({i, j} \right)$分别为像素点以及其在行、列方向上的梯度,MN分别为图像的行、列数。

      (3) 信息熵(information entropy,IE)。信息熵是从信息论角度反映图像中信息丰富程度的统计量,定义为:

      $ H\left( \mathit{\boldsymbol{X}} \right) = - \sum\limits_{i = 0}^{L - 1} {{P_i}} {\rm{lg}}({P_i}) $

      (12)

      式中,L表示图像的最大灰度级,Pi表示图像X上的像素灰度值为i的概率。一般情况下,熵值越大,则图像重建质量越好[19]

    • 实验中的计算机配置为: Intel(R) Core(TM) i5-3470 CPU,主频3.20GHz,3.89GB内存,Windows 10操作系统。编程环境和运行平台为MATLAB R2015b。分别进行以下两组实验,验证本文中所提出的改进POCS算法的有效性。

    • 序列图像为4帧尺寸为128×128的汽车车牌图像,重建出一帧256×256的高分辨率图像。PSF是支撑域为3×3,标准差为1的高斯型模糊函数,迭代3次。

      首先利用图像配准进行运动参量估计,得到几何变形参量,然后利用双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进的POCS算法进行重建,并比较重建结果图像质量。重建结果如图 2所示。

      Figure 2.  The first set of super-resolution reconstruction results

      表 1是实验结果的评价参量。

      Table 1.  Comparison between our method and other methods

      bilinear traditional POCS reference[12] reference[15] our method
      MAE 32.21 30.36 30.30 30.18 30.12
      AG 1.78 3.97 4.03 4.12 4.22
      IE 5.48 5.50 5.50 5.50 5.50

      就视觉效果而言,改进的POCS算法重建结果与双线性插值相比有明显的提升,图像明显更为清晰,图像细节的表达能力更强。改进的POCS算法与传统POCS算法等相比,就视觉效果而言没有肉眼可见的明显提升。通过放大局部细节,如图 3所示。

      Figure 3.  Image details

      图 3观察可知, 本文中提出的改进POCS算法相较于其它算法重建质量有了明显的提高,图像细节更为清晰。

      表 1可知,就平均绝对误差而言,双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进POCS算法其计算结果分别为32.21,30.36,30.30,30.18,30.12。平均绝对误差能直接体现重建图像与原始高分辨图像的差异程度,其值越小,则表示重建结果与原始高分辨图像越接近。本实验中,改进POCS算法与传统POCS算法相比有了0.79%的提升。

      就平均梯度而言,双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进POCS算法其计算结果分别为1.78,3.97,4.03,4.12,4.22。平均梯度体现了图像的清晰程度,其值越大,表示图像越清晰。本实验中,改进POCS算法与传统POCS算法相比有了6.30%的提升,是3组评价指标中提升最显著的。这说明传统POCS算法经过改进后,重建结果的清晰程度明显提高,图像细节更为丰富。

      就信息熵而言,双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进POCS算法的计算结果分别为5.48,5.50,5.50,5.50,5.50。由计算结果可以得出图像的信息熵指标并没有明显的提升,这是因为信息熵是对全图信息量的体现,而重建结果的差异主要体现在图像细节上,而非图像的整体特性上。因此,改进POCS算法相较于传统POCS算法的优势无法在信息熵这一指标上有明显体现。

    • 遥感图像广泛的应用于矿物勘探、海洋资源探测、植被生长监测等领域。遥感图像的空间分辨率直接决定对图像相关目标的探测能力和识别能力,因此提高遥感图像的空间分辨率具有重要的研究价值和意义[20-21]

      序列图像为4帧尺寸为256×256的低空航拍遥感图像,重建出1帧512×512的高分辨率图像。PSF是支撑域为5×5、标准差为1的高斯型模糊函数,迭代次数为3次。

      首先利用图像配准进行运动参量估计,得到几何变形参量,然后利用双线性插值、传统POCS算法、参考文献[12]中的算法、参考文献[15]中的算法、改进的POCS算法进行重建,并比较重建结果图像质量。重建结果如图 4所示。表 2是实验结果的评价参量。

      Figure 4.  The second set of super-resolution reconstruction results

      Table 2.  Comparison between our method and other methods

      bilinear traditional POCS reference[12] reference[15] our method
      MAE 44.74 43.05 43.02 42.96 42.94
      AG 2.34 4.75 4.87 4.91 5.00
      IE 7.24 7.29 7.28 7.28 7.28

      图 4以及表 2可知,重建的评价指标提升效果与实验一基本一致。改进POCS算法相较于传统POCS算法,平均绝对误差有了0.26%的提升,平均梯度有了5.26%的提升。图像信息熵则依然没有明显变化。

      从以上分析结果可得出,本文中所提出的改进POCS算法,相较于传统POCS算法,重建质量有了明显的提升。其中,平均绝对误差和平均梯度提升效果最为明显,图像边缘的细节表达能力有了明显提升。

    • 本文中提出一种改进的POCS算法,应用该方法重建的高分辨率图像清晰度相较于原有低分辨率图像有了明显的提升。所提供的方法考虑到图像边缘部位重建的特殊性,对图像边缘依据本发明提供的方法进行了特殊处理,使重建获得的高分辨率图像边缘保持效果良好,重建结果的清晰程度明显提高,图像细节更为丰富。应用该算法处理遥感图像,可明显提高其对相关目标的探测和识别能力。

参考文献 (21)

目录

    /

    返回文章
    返回