-
本文中的核心是通过分析现有目标模型逼真度评价方法和目标模拟器在目标模型中的评估作用,深入剖析跟踪对真实目标红外辐射特性和目标红外模型的关键特征提取算法,提出在等效逼真和过程逼真的前提下目标辐射特性建模的侧重点应该符合实际跟踪算法处理的核心内容:关键特征,而不是目标/场景模型图像与实际红外成像逐像素一致。同时关键特征应从常用典型跟踪算法入手,不仅仅是传统的模板匹配跟踪算法。故目标模型逼真度的评估验证应以常用典型跟踪算法为基准,利用各跟踪算法提取目标模型图像关键特征描述来评估目标模型的逼真度;同时通过分析大量跟踪视频及跟踪过程,跟踪所关注的重点区域为包含目标模型的中心区域,而不是整幅图像(因为现阶段有效的跟踪算法仅仅能处理目标在成像视场内,对于目标长期在视场外的情况基本无法再次捕获并跟踪目标;稳定跟踪过程中,目标位于视场边缘或突变到视场外的时间非常短暂)。
在下一节中, 详细设计所提出的目标模型逼真度评价方法时,遵循上述初始等效逼真和过程逼真的原则,详细分析常用典型跟踪的特征提取算法,选择目标红外辐射特性建模图像与实际目标辐射图像来提取关键特征进行描述评估,分析常用跟踪算法的特征提取,将特征量化并根据量化结果给出模型的逼真度值。
(1) 模板匹配的跟踪算法过程重点关注目标面积和目标量化辐照对比度两个特征。在等效逼真前提下,计算仿真目标模型与拍摄目标图像的面积和辐射对比度特征均方差的加权和为:
$ \sqrt {{\alpha _1}{{\left( {\frac{{{A_{实际拍摄目标面积}}}}{{{A_{实际拍摄图像大小}}}} - \frac{{{A_{目标模型面积}}}}{{{A_{模型图像大小}}}}} \right)}^2} + {\alpha _2}{{\left( {\frac{{{A_{实际拍摄目标平均像素值}}}}{{{A_{实际拍摄背景平均像素值}}}} - \frac{{{A_{目标模型平均像素值}}}}{{{A_{模型图像背景平均像素值}}}}} \right)}^2}} $
(1) 式中,α1和α2为加权系数。
(2) 基于关键特征点的跟踪算法,本文中采用尺度不变特征变换[7-8](scale invariant feature transform,SIFT)特征点提取算法,SIFT算法提取目标模型和拍摄目标图像的关键点特征,包括位置、尺度及方向等信息的点特征,利用此不变特征,利用SIFT特征描述子的信息组成(每一特征由128维向量组成)的加权均方差:
$ \sqrt {\sum\limits_{k = 1}^n {{\alpha _k}{{[{V_{{\rm s},k}}({x_1},{x_2}, \cdots ,{x_{128}}) - {V_k}({x_1},{x_2}, \cdots ,{x_{128}})]}^2}} } $
(2) 式中,αk为加权系数,n为相对应的特征点总数,Vs, k(x1, x2, …, x128)为仿真目标模型对应的第k个特征点,每一特征点的描述由128维向量表征,Vk(x1, x2, …, x128)为实际拍摄目标图像对应的第k个特征点。
(3) 基于相关滤波的跟踪算法,相关算法分别计算仿真目标模型和拍摄目标图像的最优滤波器[9],将计算得到的两个最优滤波器(即相关跟踪算法的特征)进行均方差:
$ \sqrt {\sum\limits_i {\sum\limits_j {{{({X_{{\rm s},i,j}} - {X_{i,j}})}^2}} } } $
(3) 式中, i, j为滤波器大小,Xs, i, j表示目标模型图像最优滤波器,Xi, j表示实际拍摄图像最优滤波器。
(4) 基于深度学习的跟踪算法,分别计算将仿真目标模型和拍摄目标图像输入训练卷积神经网络[10-13]得到的全连接层中的主要权系数(即为此跟踪算法所关注的特征)的加权均方差为:
$ \sqrt {\sum\limits_{k = 1}^n {{\alpha _k}\sum\limits_i {\sum\limits_j {{{({X_{{\rm s},k,i,j}} - {X_{k,i,j}})}^2}} } } } $
(4) 式中, n表示神经网络全连接层的主要特征数,αk为相应的加权系数,i, j为相应特征的大小,Xs, k, i, j表示目标模型图像的第k个特征,Xk, i, j表示实际拍摄图像的第k个特征。
-
本文中详细分析了常用典型目标模型逼真度评估试验设计中涉及的目标跟踪特征提取算法,为接下来的试验结果分析提供基础。试验设计遵循等效逼真和过程逼真的原则,即试验中所采用的仿真目标模型图像与外拍目标图像具有相同的成像距离、成像角度、3维几何参量信息以及环境条件,对某些无法获取的实际图像,本文中尽量保证仿真目标模型图像和实际外拍图像的一致性。
-
模板匹配跟踪算法利用的目标特征包括目标形状、面积、辐射对比度、辐射照度等,该算法具有简单、实时、高效、灵活的优势,是最常用的跟踪算法。大多的红外目标模型逼真度评估方法均以该算法为依据,结合行业专家主观判断或行业专家加权综合判断。此方法优于逐像素的统计分析方法,也是现阶段该领域大多数研究人员所采用的评估验证方法。通过计算目标模型图像和实际目标图像的等效面积和等效灰度对比度两类关键特征,在给定加权系数的条件下,计算该特征的加权均方差,该值说明目标模型的逼真度。
-
图像最重要的信息是其包含的关键特征点,可通过特征点来描述整幅图像。基于关键特征点的提取方法,如SIFT算法,具有尺度和旋转不变性、抗遮挡等优点,已经大量应用于目标的跟踪和检测匹配。基于关键特征不变点的提取过程来指导目标模型的红外特性建模具有实际意义,根据关键特征点的描述可逆推得到目标模型的重点建模部分。通过计算目标模型图像和实际目标图像相匹配的关键特征点描述子的均方差加权求和来阐述目标模拟的逼真度。
SIFT算法提取图像关键特征点的主要流程包括:(1)图像金字塔尺度空间的构建和极值检测;(2)关键特征点的定位与非极值点的抑制;(3)特征点方向的确定;(4)关键特征点的描述。
-
相关滤波跟踪算法于2010年首次在学术界提出,该算法利用最小化平方和误差来迭代计算最优滤波器,使滤波器与输入图像的卷积响应达到最优峰值,在跟踪过程中,根据当前帧的滤波器和计算得到的位置模型更新下一帧的滤波器和位置模型,完成对目标的跟踪。该算法具有计算速率快、稳定等优点,研究人员在相关滤波算法的基础上提出了核相关滤波算法(kernel correlation filter, KCF)等[14]实时高效的跟踪算法。相关滤波算法通过输入多帧图像和初始的滤波器,迭代计算所需的最优滤波器模型,可简单表述为:
$ {\rm \min} ({H^*}) = \sum\limits_{l = 1}^m {{{\left| {{H^*}{F_l} - {G_l}} \right|}^2}} $
(5) 式中,H*为所需求解的最优滤波器,Fl为输入图像的局部区域,Gl=Fl·H*。上述最优问题表示为:H*=$\frac{{\sum\limits_l {{G_l} \cdot {F_l}} }}{{\sum\limits_l {{F_l} \cdot {F_l}} }}$,跟踪过程中采用在线更新策略,即逐次迭代后Hl*=Al/Bl,其中, Al=ηGl·Fl+(1-η)Al-1,Bl=ηFl·Fl+(1-η)Bl-1,η为学习率。
通过计算跟踪过程的最优滤波器的均方差来说明目标模型图像和实际目标图像的逼真度。
-
深度学习的实质是表示学习算法,通过建立深层次的网络连接,利用大量训练样本来提取图像的隐式特征,对特征进行有效的表示,从而解决所面临的计算机视觉问题。本试验的设计目的是利用网络学习来提取目标模型图像与实际目标图像的卷积特征,采用迁移学习的主框架[15],提取全连接层中主要的目标卷积表示特征,采用加权求均方差的方法评价目标模型图像的逼真度。
基于深度学习特征可靠性[16-21]迁移框架的目标关键特征流程可描述为:(1)选用成熟的深度学习框架,利用开源数据库对框架进行参量学习;(2)挑选开源数据库中的车辆图像对框架参量进行重点学习;(3)冻结框架中的大部分参量,输入给定的试验图像(图像经过旋转可得到多个样本),训练框架最后的全连接层,该层重点提取小样本中的关键特征; (4)输出全连接层的参量特征,进行统计比对试验。
基于跟踪特征的目标模型逼真度评估方法
Simulation model fidelity evaluation method based on key features
-
摘要: 为了实现红外仿真目标模型逼真度评估的目的,采用了基于跟踪算法提取目标模型关键特征的方法,通过分析跟踪过程的重点,确定以目标为中心的局部视场区域图像来评估目标模型。在现有红外仿真目标模型评估现状的基础上,采用典型的跟踪算法来设计完成试验,并进行了理论分析和试验验证,取得了较好的试验结果。结果表明,基于关键特征提取的方法中相似目标模型是不相似目标模型的2倍以上,有些高达10倍差距,可以基于目标图像关键特征来验证目标模型的有效性。此研究算法为后续红外仿真目标模型逼真度的评估具有实际指导和扩展的意义。Abstract: The method of extracting features of model, which was the core of tracking, was employed to evaluate the fidelity of infrared simulation model. By analyzing the kernel of tracking process, the image of a partial field around the center of target was chosen to evaluate the target model. Based on the existing evaluating methods of the infrared simulation model, a typical object-tracking algorithm was adopted to design the experiment. Following theoretical analysis, the corresponding experiment was then carried out. Result shows that the similar target model is more than 2 times as much as the dissimilar model based on the key features extracting method, and the difference between them can even get to 10 times. Therefore, the key feature extraction algorithm is a practical and feasible method to verify the validity of the target model. This evaluation method can provide theoretical guidance for the evaluation of model fidelity in the field of infrared target detection.
-
Key words:
- image processing /
- fidelity assessment /
- feature extraction /
- correlation filtering /
- transfer learning
-
Figure 3. Optimal filtering features of truck and tank
a—the optimal filter feature of the picture of truck simulation model b—the optimal filter feature of infrared images of truck outside c—the optimal filter feature of the picture of tank simulation model d—the optimal filter feature of infrared images of tank outside
-
[1] QU Y, TIAN X F, MA L H, et al. Application of VV & A in infrared target simulator and its fidelity evaluation[J]. Infrared, 2011, 32(7):28-33(in Chinese). [2] ZHOU Y F, ZHAO J, WANG D Y, et al. Detection and evaluation of fidelity and reliability of infrared target ship[J]. Infrared, 2013, 34(7):39-44(in Chinese). [3] LI H, WANG M, GUO Zh H, et al. Fidelity research on IR capturing and tracking device based on digital image injection simulation test[J]. Modern Defense Technology, 2018, 46(2): 193-201(in Chinese). [4] MA T, GENG M. Simulation of infrared target detection system[J]. Electro-Optic Technology Application, 2017, 32(2):62-67(in Chinese). [5] GONG Y, WANG Q Q, SHAN B, et al. Quantized fidelity evaluation scheme of laser target simulator[J].Infrared and Laser Engineering, 2016, 45(12):124-129(in Chinese). [6] TIAN X F, MA L H, ZHAO Sh H, et al. Fidelity evaluation scheme for IR target simulation[J].Semiconductor, 2012, 33(1):135-140(in Chinese). [7] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110. [8] BAY H, TUYTELAARS T, van GOOL L. Surf: Speeded up robust features[C]//The 9th European Conference on Computer Vision. Graz, Austria: Springer, 2006: 404-417. [9] BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters[C]//Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2010: 2544-2550. [10] KRIZHEVSKY A, SUTSKEVER I, HINTON G. Image net classification with deep convolutional neural networks[C]// Twenty-fifth Conference on Neural Information Processing Systems. New York, USA: IEEE, 2012: 1097-1105. [11] NEYSHABUR B, BHOJANAPALLI S, MCALLESTER D, et al. Exploring generalization in deep learning[C]//Thirty-first Conference on Neural Information Processing Systems. New York, USA: IEEE, 2017: 5949-5958. [12] SONODA S, MURATA N. Neural network with unbounded activation functions is universal approximator[J]. Applied and Computational Harmonic Analysis, 2015, 43(2):233-268. [13] MA S, BELKIN M. Diving into the shallows: a computational perspective on large-scale shallow learning[C]//Thirty-first Conference on Neural Information Processing Systems. New York, USA: IEEE, 2017: 3781-3790. [14] HENRIQUES J F, CASEIRO R, MARTINS P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3):583-596. doi: 10.1109/TPAMI.2014.2345390 [15] REDMON J, FARHADI A. YOLO9000: Better, faster, stronger[C]//Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2017: 6517-6525. [16] DONAHUE J, JIA Y, VINYALS O, et al. DeCAF: A deep convolutional activation feature for generic visual recognition[C]//Proceedings of the 31st International Conference on Machine Learning. New York, USA: IEEE, 2014: 647-655. [17] ZEILER M D, FERGUS R. Visualizing and understanding convolutional networks[C]//The 13th European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014: 818-833. [18] LU Z, PU H, WANG F, et al. The expressive power of neural network: A view from the width[C]//Thirty-first Conference on Neural Information Processing Systems. New York, USA: IEEE, 2017: 6231-6239. [19] YOSINSKI J, CLUNE J, BENGIO Y, et al. How transferable are features in deep neural networks?[C]//Twenty-eighth Conference on Neural Information Processing Systems. New York, USA: IEEE, 2014: 3320-3328. [20] HU H, ZHOU G T, DENG Z, et al. Learning structured inference neural networks with label relations[C]//Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2016: 2960-2968. [21] DENG Z, VAHDAT A, HU H, et al. Structure inference machine: Recurrent neural networks for analyzing relations in group activity recognition[C]//Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2016: 4772-4781.