HTML
-
为了测试本文中所提出算法的跟踪性能,在不同的数据集上进行了对比实验。这5幅红外点状图像序列的详细信息如表 1所示。本文中通过对具有不同背景的5幅红外序列的数据集上对本文中提出的算法进行了跟踪对比实验。本文中所有的实验都是在一台具有一个3.6GHz Intel Core i7 CPU、8G内存的计算机上进行的,并使用MatConvNet工具箱。
databases back-ground image size frame
numberstarget size/pixel
(n×n)seq.1 sunny-sky 256×200 30 8×8 seq.2 missile 504×396 381 9×9 seq.3 could-sky 1 250×250 170 7×7 seq.4 sea-sky 250×250 342 8×8 seq.5 could-sky 2 250×250 270 7×7 Table 1. Data set for the test tracking
-
在本文实验中采用3个评价指标来测试跟踪算法的性能。
(1) 重叠率(intersection-over-union, IOU),它主要度量通过跟踪算法估计的目标位置框与目标真实位置框之间的重叠部分[15]:
式中,A1为标注的目标框,A2为跟踪的跟踪框,∩为交集操作,∪为并集操作。
(2) 中心位置误差(center location error, CLE),通过计算跟踪框的中心位置之间的欧氏距离,ECLE的值越小,说明该方法更加有效[16]:
式中,(x0, y0)为目标真实位置的中心坐标,(x1, y1)为跟踪到的目标位置中心坐标。
(3) 准确率(precision plots,PRE),它的定义为:
式中,s为红外图像序列总的帧数,r为中心位置误差的值小于阈值的图像帧数[17]。比值越大,说明该算法的跟踪结果越准确。
-
为了检验本文中提出的算法跟踪红外点状目标的性能,选择了中值光流算法[18]、在线学习及检测(tracking learning detection, TLD)算法[19]、多实例学习(multiple instance learning, MIL)算法[20]等3种常规的跟踪算法作为本文中算法的对比实验。本文中的实验是计算机环境Windows10,3.6GHz Intel Core i7 CPU、8G内存,基于Python实现的。实验中采用的软件开发平台是Microsoft Visual Studio 2015,使用MatConvNet库的MATLAB2014软件。本文中的实验通过对具有不同背景的5幅红外序列的数据集上对4种跟踪算法进行了跟踪。
图 7~图 11中显示了4个跟踪算法在5个不同的红外视频序列上的跟踪结果。绿色框表示目标真实位置框(ground-truth, GT),红色框通过本文中算法得到的跟踪结果坐标框,深蓝色、橙色、紫色框依次分别是通过中值光流算法、TLD算法、MIL算法得到的跟踪结果坐标框。
在红外视频序列1中(如图 7所示),在第1帧(如图 7a所示),目标与背景的灰度差较小,当点状目标最先从云层中出现时,TLD算法偏移较大,出现丢帧现象,失去了目标。中值光流算法、MIL算法偏移较小。在第10帧(如图 7b所示),中值光流算法偏移较大。从第20帧开始(如图 7c所示),TLD算法和中值光流算法在不同的阶段都失去了目标, 无法再次检测到目标。在信噪比较低的情况下,本文中算法能够准确跟踪到目标。
在红外视频序列2中(如图 8所示),在第180帧(如图 8b所示),中值光流算法、TLD算法和MIL算法偏移较大、失去了目标。在第280帧(如图 8c所示),MIL和中值光流算法都失去目标。在第381帧(如图 8d所示),中值光流算法、MIL算法、TLD算法失去了目标,无法恢复。本文中算法一直稳定地跟踪到目标,而其它3种算法跟踪失败,失去目标。
在红外视频序列3中(如图 9所示),在第1帧(如图 9a所示),MIL算法发生微小的偏移。在第60帧(如图 9b所示),MIL算法和TLD算法初始发生偏移,目标并不处于跟踪区域的中心。在第110帧(如图 9c所示),红外点状目标初步进去云层中,这时中值光流算法、MIL算法中,目标并不处于跟踪区域的中心。在第170帧(如图 9d所示), 目标消失在云层被遮挡时,背景与目标之间的灰度差比较小并且红外背景相对较复杂,中值光流算法失去了目标。尽管是在复杂背景下,本文中算法依然能够有效地准确跟踪到红外点状目标。
在红外视频序列4中(如图 10所示),在第140帧(如图 10b所示),中值光流算法偏移变大,失去目标,无法再次检测到目标,MIL算法偏移较小。在第240帧(如图 7c所示),TLD算法、MIL算法跟踪效果并不稳定,而本文中算法一直稳定地跟踪到目标。
在红外视频序列5中(如图 11所示),在第100帧(如图 11b所示),目标重现在云层中出来,目标区域发生了变化,中值光流算法失去了目标,无法恢复。在第170帧(如图 11c所示),目标开始重新进入云层中,TLD算法、MIL算法中的目标并不在跟踪区域的中心位置。在第270帧(如图 11d所示),目标消失在云层中被遮挡,MIL算法偏移较小,中值光流算法和TLD算法偏移较大,失去了目标,无法再次检测到目标。当目标从非云层区域移动到云层区域时,中值光流算法和TLD算法跟踪失败,MIL算法开始发生偏移,而本文中算法保持了较强的跟踪性能。
综上所述,通过对5幅图像序列的对比,本文中提出的算法在不同的红外场景下稳定地跟踪到目标的同时,还可以保证对整个视频序列的准确跟踪,抗干扰能力较强。中值光流算法和TLD算法的跟踪性能较差,对跟踪过程常存在的如目标遮挡、背景杂波和快速运动等问题解决较差。在突然变化的背景或背景杂波的环境中,本文中算法不仅准确跟踪到目标,而且跟踪结果坐标更加贴近真实目标框。
表 2显示,将本文中算法与中值光流算法、TLD算法、MIL算法的跟踪结果来评价算法的性能, 展现几种跟踪算法准确跟踪的帧数。其中occlusion表示目标被遮挡的总帧数。实验表明,中值光流算法和TLD算法对目标被局部遮挡的情况下跟踪效果比较差,MIL算法有部分未跟踪成功的情况,而本文中算法对整个视频序列准确跟踪。
sequence frames occlusion medianflow TLD MIL ours sunny-sky 30 10 10 1 25 30 missile 381 0 15 253 43 381 could-sky 1 170 57 63 165 161 170 sea-sky 342 0 65 340 277 342 could-sky 2 270 124 5 217 250 270 Table 2. Number of successfully tracked frames(ours in comparison to medianflow, TLD, MIL results)
图 12~图 16是本文中提出的算法、中值光流算法、TLD算法、MIL算法等4种跟踪算法在不同背景下的红外图像序列上的重叠率(IOU)、中心位置误差图(CLE)和基于中心位置误差的精确度图(PRE)。从图 12~图 16中清楚地看到,本文中算法的跟踪结果受到的背景杂波和非目标点的影响较小,表明该方法是比较有效的。还可以看出,与其它3种算法相比,本文中算法在不同背景下的性能都是较好的,这表明本文中算法具有更好的跟踪性能。