网站地图
-
传统夜视技术是依靠夜天光作为光源、光线经目标反射后利用光增强的光电成像技术[1], 其成像为灰度图像，存在信噪比、对比度低与缺乏深度感、层次感等问题[2]。经研究，人眼仅可以分辨几十种灰度级，但可以区分上千种颜色。颜色可提高图像对比度，进而提高人眼识别目标的概率与正确率。针对人眼对于目标的颜色信息有更为敏感的特性[3-4]，实现彩色夜视有重要的应用价值。彩色夜视技术中的假彩色与伪彩色夜视技术，其得到的结果图像颜色信息不一定与大脑或计算机所存储的颜色信息相匹配[5]，对于人眼识别目标的正确率与速率造成一定阻碍。所以，探究真彩色夜视技术，寻求被探测目标的忠于人眼的真实色彩信息成为热点研究课题。
真彩色夜视技术是通过滤光技术实现夜间可见微光的分谱，采集分波段图像后进行图像处理与图像融合后得到真彩色夜视图像的技术[6]。真彩色夜视技术致力于得到与白昼条件下目标颜色信息相符的真彩色夜视图像，而寻求最佳的光谱分割点是有效还原目标真实色彩信息的关键[7]。目前关于彩色夜视技术的光谱划分主要以提高目标识别概率为目的，这便摒弃了还原目标真实色彩信息的原则。例如，基于对比度反转最大原则的光谱划分方法[8]，即便对于目标在结果图像中的具有很好的突出效果，但其是以牺牲真实色彩信息为代价的。
作者通过分析夜视系统的成像过程，结合满月条件下夜天光谱特性、典型目标的光谱反射特性以及探测器阴极的光谱响应特性，根据典型目标彩色图像像素点的三基色值坐标与真彩色夜视技术在光电阴极产生的三波段图像的电流值坐标，将基于最小欧氏距离原理的光谱划分方法应用于真彩色夜视。根据分割点制备滤光片，将本文中光谱分割方法与传统分割方法进行实验对比，采集原始微光图像和分波段图像后经融合得到真彩色夜视图像, 并进行了主观评价。最后，对本文中方法的结果图像进行了图像细节方面的客观评价。
-
作者设计的三波段单通道真彩色微光夜视技术方案，是基于滤光片的分色原理，将夜间可见微光C分为三基色光，即C=r(R)+g(G)+b(B)，其中r, g, b分别为三基色光谱的值[9]; R, G, B表示三基色源图像。采集分光谱图像后经过图像处理与图像融合，得到具有与白昼条件下相同或相近信息的真彩色夜视图像，最大程度还原被探测目标的真实色彩信息。本文中设计的单通道真彩色夜视技术方案如图 1所示。目标辐射或反射的夜天光经由旋转的三基色轮滤色后，经过物镜汇聚到微光探测器阴极，分波段图像被采集后通过图像处理与融合得到真彩色夜视图像。
Figure 1. Design of three-band single channel true-color night vision system
-
微光成像系统是将夜间目标辐射或反射经过光学系统进行成像。其成像过程为光电成像器件对经过光学系统的被探测目标的辐射或反射能量在敏感光谱范围进行积分的过程，是一种被动工作方式。对于一般微光成像系统，只考虑可见光波段范围(0.38μm~0.78μm), 不考虑大气吸收作用，光学系统透过率近似为100%，则成像过程[10-11]可用下式表示:
$ I = \int_{0.38}^{0.78} {{\phi _{\rm{m}}}\phi (\lambda )\rho } (\lambda ){\eta _{\rm{m}}}\eta (\lambda ){\rm{d}}\lambda $
(1) 式中，I为成像信号大小(光电阴极电流值); ϕ(λ)为光源的相对光谱密度分布，ϕm为光源的光谱密度分布的峰值; ρ(λ)为目标对光源的相对光谱反射率; η(λ)为光电阴极的相对光谱响应，ηm为光电阴极的光谱响应的峰值, λ为光源波长。
夜间光谱分布在有月和无月条件下的差异很大，本文中只考虑在满月条件(星光、大气辉光相较于月光的光照强度可忽略)下夜天光的光谱分布[8]，如图 2所示。
Figure 2. Relative spectral distribution of night sky light under full moon condition
军事野外环境作业时，常以绿色草木为背景，为有效还原其真实颜色，本文中选取其作为典型目标。绿色草木的光谱反射特性分布见图 3。本文中采用低照度探测器的光电阴极相对光谱响应图 4。
Figure 3. Relative distribution of spectral reflectance characteristics of green grass and trees
Figure 4. Relative spectral response of photo-cathode in detector
由上述可知，由于夜间红外波段具有较强的能量分布，典型目标(绿色草木)的光谱反射率在此波段相比于可见波段更高，且本文中所使用像增强器光电阴极在近红外波段有响应，故在滤光时注意摒除近红外波段的影响，只保留可见光波段，确保最终的融合图像为真彩色夜视图像[12]。
-
对于某种或某类特定的被探测目标(如图 5所示)来说，在RGB空间，它们的颜色状态由三基色值的比例决定，即r(R):g(G):b(B)。对于上述的真彩色微光夜视成像系统而言，因液晶显示器显示图像色彩与人眼识别色彩特性相符[13]，故输出图像的颜色将近似由探测器阴极产生的分波段图像光电流的比例(三基色值比例)所决定[9]:
Figure 5. Color image of green vegetation in daytime
$ \begin{array}{l} {I_B}:{I_G}:{I_R} = \int_{0.38}^{{\lambda _1}} {\phi (\lambda )\rho (\lambda )\eta (\lambda )\text{d}\lambda } :\\ \int_{{\lambda _1}}^{{\lambda _2}} {\phi (\lambda )\rho (\lambda )\eta (\lambda )d\lambda } :\int_{{\lambda _2}}^{0.78} {\phi (\lambda )\rho (\lambda )\eta (\lambda )\text{d}\lambda } \end{array} $
(2) 式中，λ1, λ2为三波段真彩色夜视技术的光谱分割点。
欧氏距离即欧几里得距离，是欧几里得空间内两点间的“普通”(直线)距离。本文中通过真彩色夜视技术获得“典型目标”的3个波段的光电流值IB, IG, IR，采样计算液晶显示器显示白昼条件下“典型目标”彩色图像的三基色值b0, g0, r0，则使(1, IG/IB, IR/IB)，(1, g0/b0, r0/b0)作为同一个“RGB色空间内两点”并计算其欧氏距离，得到关于光谱分割点λ1, λ2的距离函数l(λ1, λ2)，对其在可见光波段(0.38μm~0.78μm)寻其最小值点(λ10，λ20)，使距离函数l(λ1, λ2)得到最小值，即与白昼条件下彩色图像的颜色差异达到最小。此时，λ10, λ20便作为三波段真彩色夜视技术的光谱分割点。
由上述理论，根据(2)式可得出:
$ \begin{array}{l} 1:\frac{{{I_G}}}{{{I_B}}}:\frac{{{I_R}}}{{{I_B}}} = 1:\frac{{\int_{{\lambda _1}}^{{\lambda _2}} {\phi (\lambda )\rho (\lambda )\eta (\lambda )\text{d}\lambda } }}{{\int_{0.38}^{{\lambda _1}} {\phi (\lambda )\rho (\lambda )\eta (\lambda )\text{d}\lambda } }}:\\ \frac{{\int_{{\lambda _2}}^{0.78} {\phi (\lambda )\rho (\lambda )\eta (\lambda )\text{d}\lambda } }}{{\int_{0.38}^{{\lambda _1}} {\phi (\lambda )\rho (\lambda )\eta (\lambda )\text{d}\lambda } }} \end{array} $
(3) 军事应用中常以绿色草木为作业环境，故本文中选取其作为典型目标进行分析[9]。白昼条件下绿色草木彩色图像如图 5所示。经多点采样计算其三基色值比例为36:61:34，同比例缩放后为$ 1:\frac{{61}}{{36}}:\frac{{34}}{{36}}$。计算两点(1, IG/IB, IR/IB)(1, 61/36, 34/36)间的欧氏距离:
$ \begin{array}{l} l({\lambda _1}, {\lambda _2}) = \\ \sqrt {{{(1 - 1)}^2} + {{\left( {\frac{{{I_G}}}{{{I_B}}} - \frac{{61}}{{36}}} \right)}^2} + {{\left( {\frac{{{I_R}}}{{{I_B}}} - \frac{{34}}{{36}}} \right)}^2}} \end{array} $
(4) 结合图 2~图 4中的曲线以及(4)式，经计算机计算l(λ1, λ2)的最小值点约为(0.531μm，0.586μm)，此时便作为三波段真彩色夜视技术的光谱分割点。
-
根据上述理论试制了滤光片，其分波段的透过率经过高精度分光光度计测得，如图 6a所示。透过波段符合理论计算的结果, 并且在相应透过波段的透过率都超过80%, 截止波段低于10%，满足实验要求。另外，为证实本文中提出光谱划分方法对于真彩色夜视彩色还原的效果，本文中设置与基于传统滤光片真彩色夜视光谱分割点的对比实验。传统真彩色夜视成像系统滤光片透过率曲线是根据人眼3种彩色视觉细胞的光谱灵敏度曲线来设计的，常用的红、绿、蓝滤光片的峰值波长分别为650nm, 540nm, 450nm，半峰全宽分别为50nm, 50nm, 40nm[14]，波段划分为410nm~490nm, 490nm~590nm和590nm~700nm，由此制备滤光片透过率曲线, 如图 6b所示。
Figure 6. Transmittance curves of color wheel
在实验室场景(标准比色卡)以及室外场景进行了相关实验。其中实验室场景的环境照度为8×10-2lx，室外场景的环境照度为2×10-1lx，环境温度均为25℃，采集到的原始微光图像及分波段图像如图 7、图 8所示。图中第1排为基于本文中提出光谱划分方法真彩色夜视系统所采集，第2排为基于传统光谱划分方法系统所采集。
Figure 7. Images captured in laboratory scene (standard colorimetric card), the first row was obtained by method proposed in this work, and the second was by the traditional method
Figure 8. Images captured in outdoor scene, the first row was obtained by method proposed in this work, and the second was by the traditional method
分波段图像灰度值差异较小，亮度较低，本文中采取线性变换增强的方式对分波段图像进行处理后，再进行图像融合[15-16]。而对于8位图像而言，人眼视觉的最佳目视灰度值为127。为使线性变换后的图像灰度均值适宜人眼观察，这种方法具体的实现流程为:
(1) 求取采集到的源图像R, G, B的灰度均值a1, a2, a3和图像的灰度最小值b1, b2, b3。
(2) 令线性增强变换后的彩色夜视图像通道分量为R′, G′, B′，则:
$ \left[ \begin{array}{l} {\mathit{\pmb{R}}'}\\ {\mathit{\pmb{G}}'}\\ {\mathit{\pmb{B}}'} \end{array} \right] = \left[ \begin{array}{l} (127/{a_1}) \cdot ({\mathit{\pmb{R}}}-{{b}_{1}}) \\ (127/{a_2}) \cdot ({\mathit{\pmb{G}}}-{{b}_{2}}) \\ (127/{a_3}) \cdot ({\mathit{\pmb{B}}}-{{b}_{3}}) \end{array} \right] $
(5) (3) 将得到的通道分量R′, G′, B′映射到RGB彩色空间，得到融合图像。
图 9、图 10为经融合得到的实验室场景和室外两个场景的真彩色夜视图像。图 9a和图 10a为基于本文中提出光谱划分方法真彩色夜视系统所得到，图 9b和图 10b为基于传统光谱划分方法系统所得到。
Figure 9. True color night vision images in laboratory scene (standard colorimetric card)
Figure 10. True color night vision images in outdoor scene
-
目前尚无对于图像色彩进行定量评价的方法或理论[17]。对比图 9中的实验室内标准比色板可发现，基于两种光谱分割方法系统融合后的真彩色夜视图像有效地还原了比色板中色块的颜色，人眼可将其中色块一一对应，但本文中提出方法获得结果图像色块更为鲜明，其中绿色块更为突出，而传统方法得到的色块中绿色块辨识度不高，这是由于作者是根据典型目标(绿色草木)的光谱特性来划分波段。对比图 10中的室外场景的真彩色夜视图像可发现，本文中方法得到结果图像景深增加明显，图像层次鲜明，与白昼条件下人们长期记忆的色彩效果相符，且颜色协调性较好，而传统方法得到结果图像的典型目标(绿色草木)颜色失真，且整体图像颜色协调性较差，发生了光谱扭曲。
为评价基于作者所提出光谱划分方法得到真彩色夜视图像对于原始图像质量的改善，更好地展示融合图像在细节、信息量方面的提高，本文中选取空间频率作为评价指标[18]。空间频率反映了图像像素变化的快慢，体现图像高频信息，即图像的边缘等细节信息。表 1中列出其评价结果。
Table 1. Comparison of spatial frequencies between true color night vision images and original low-light-level images in each scene
laboratory scene outdoor scene true color night vision image 15.0 19.3 original low-light-level image 9.3 12.7 从表 1中可知，本文中得到的两个场景地真彩色夜视图像相比于原始微光图像的空间频率分别提高了61.2%, 52.0%。故得到的真彩色夜视图像可有效改善原始微光图像的细节信息，这极大地增加了人眼夜间正确识别目标的概率。
-
根据满月条件下夜天光的光谱分布，结合典型目标(绿色草木)光谱反射特性和像增强器光电阴极的光谱响应，建立了夜视系统的成像模型，通过计算真彩色夜视系统三波段的光电流值与白昼条件下典型目标三基色值的欧氏距离函数, 得到其最小值点(0.531μm，0.586μm)作为分割点将夜间可见光分为三波段。基于此制备滤光片并设置基于本文中光谱划分方法与传统方法的真彩色夜视系统的对比实验，通过对实验室内场景与室外场景分波段图像进行采集、融合，得到其真彩色夜视图像。经过对结果图像色彩与细节的分析，验证了本文中提出方法相较于传统方法得到真彩色夜视图像颜色更为鲜明、协调性更好，典型目标的颜色还原不失真。另外，通过结果图像与原始微光图像空间频率的分析，得到了细节信息丰富的真彩色夜视图像, 今后将进一步对光谱透过率以及融合算法的研究对真彩色夜视技术进行改进[19-20]，以寻求更为接近白昼条件真实色彩的真彩色夜视图像。
基于最小欧氏距离的真彩色夜视光谱划分方法
Spectral partition method of true color night vision based on minimum Euclidean distance
-
摘要: 为了得到忠于人眼视觉特性的真彩色夜视图像，根据典型目标夜间光谱特性以及微光夜视系统的成像模型，基于最小欧氏距离原理，提出了一种三波段真彩色夜视光谱划分方法。设置了实验室场景和室外场景，对本文中提出的光谱划分方法与传统光谱划分方法进行了对比实验，并对得到的真彩色夜视图像细节(空间频率)做了分析。结果表明，相对于原始微光图像，空间频率分别提高了61.2%，52.0%;本文中的方法对于典型目标(绿色草木)具有更好的彩色还原效果; 基于最小欧氏距离的光谱划分方法可将夜间可见光分离为三波段，并可有效利用其光谱信息，得到对于典型目标的具有自然感彩色且较原始微光图像信息量更为丰富的真彩色夜视图像。Abstract: In order to obtain true-color night vision images loyal to the visual characteristics of human eyes, a three-band true-color night vision spectral division method was proposed based on the principle of minimum Euclidean distance according to the night spectral characteristics of typical targets and the imaging model of low-light-level night vision system. The experiments based on spectral division method proposed in this work and the traditional method were set up in laboratory and outdoor scenes. Compared with the traditional spectral division method, the proposed method has a better color restoration effect for typical target (green vegetation). Through the analysis of the details (spatial frequency) of the true-color night vision image obtained by the proposed method, the results show that the spatial frequency increases by 61.2% and 52.0% respectively compared with the original low-light-level images. Therefore, night visible light can be separated into three bands by spectral division method based on minimum Euclidean distance, and its spectral information can be effectively utilized to obtain true color night vision images with natural color and richer information than the original low-light level images for typical targets.
-
Key words:
- imaging systems /
- color night vision /
- spectral division /
- Euclidean distance /
- spatial frequency
-
Figure 3. Relative distribution of spectral reflectance characteristics of green grass and trees
Figure 6. Transmittance curves of color wheel
a—filters prepared by spectral division method based on the minimum Euclidean distance b—filters prepared by traditional spectral division method
Figure 7. Images captured in laboratory scene (standard colorimetric card), the first row was obtained by method proposed in this work, and the second was by the traditional method
a—original low-light-level b—B-band c—G-band d—R-band
Figure 8. Images captured in outdoor scene, the first row was obtained by method proposed in this work, and the second was by the traditional method
a—original low-light-level b—B-band c—G-band d—R-band
Figure 9. True color night vision images in laboratory scene (standard colorimetric card)
Table 1. Comparison of spatial frequencies between true color night vision images and original low-light-level images in each scene
laboratory scene outdoor scene true color night vision image 15.0 19.3 original low-light-level image 9.3 12.7 
下载: 导出CSV
-
[1] ZHI Y. The latest development of night vision technology in the united states[J]. Journal of Applied Optics, 2006, 27(4): 354(in Chinese). [2] CHRZANOWSKI K. Review of night vision technology[J]. Opto-electronics Review, 2013, 21(2):153-181. [3] ZHU J, JIN W Q, LI L, et al. Fusion of the low-light-level visible and infrared images for night-vision context enhancement[J].Chinese Optics Letters, 2018, 16(1):013501. doi: 10.3788/COL201816.013501 [4] LIU Y, FANG Y P, RU Zh B, et al. Research on night vision system based on range-gated imaging[J]. Defense Technology, 2009, 5(4):287-291. [5] SHI Sh M, WANG L X, JIN W Q, et al. Color night vision research based on multi-resolution color transfer[J]. Acta Photonica Sinica, 2010, 39(3): 553-538(in Chinese). doi: 10.3788/gzxb20103903.0553 [6] WANG L X, JIN W Q, LIU G R, et al. A survey of color fusion methods for night vision images[J]. Infrared Technology, 2002, 24(2): 9-13(in Chinese). [7] ZHU J, LI L, JIN W Q, et al. Natural-appearance colorization and enhancement for the low-light-level night vision imaging[J]. Acta Photonica Sinica, 2018, 47(4):0410002(in Chinese). doi: 10.3788/gzxb20184704.0410002 [8] CAI Y L. Multi-band color night vision technology research[D]. Nanjing: Nanjing University of Science and Technology, 2010: 2-5(in Chinese). [9] CHEN Y Ch, HU W G, WU D Sh, et al. Spectrum matching technique in triple-spectrum color night vision system [J]. Infrared and Laser Engineering, 2015, 44(12):3837-3842(in Chinese). [10] ZAHNG Ch, BO L F, ZHANG Y, et al. Spectrum matching and filtering technique in single channel dual-spectrum night vision system[J]. Acta Photonica Sinica, 2007, 36(9):1668-1671(in Chinese). [11] HU X K, GAO H L, CHENG T H. Atmospheric correction method based on spectral matching[J]. Acta Optica Sinica, 2019, 39(8): 0801003(in Chinese). doi: 10.3788/AOS201939.0801003 [12] CHEN F, ZHANG W W, YU W J, et al. EMCCD low light image fusion algorithm based on wavelet transform[J]. Laser Technology, 2014, 38(2): 155-160(in Chinese). [13] ZHONG J. LCD technology[M]. Beijing: National Defense Industrial Press, 2014:16-18 (in Chinese). [14] BAI Y, CHEN Y J, ZHANG M J, et al. Method and demonstration of true-color imaging by EMCCD[J]. Infrared Technology, 2017, 39(4): 329-340(in Chinese). [15] WU H B, TAO Sh X, GU G H, et al. Research on color night vision method based on four-band image fusion[J]. Acta Photonica Sinica, 2017, 46(5):0510002(in Chinese). doi: 10.3788/gzxb20174605.0510002 [16] JIANG Y F, WU D Sh, HUANG F Y. Image fusion algorithms for true color low light level night vision[J]. Laser & Optoelectronics Progress, 2019, 56(8): 081008(in Chinese). [17] WANG K, WANG H Q, YIN Y, et al. Reproduction and evaluation of mural color based on spectral reconstruction technology[J]. Laser Technology, 2019, 43(2): 280-285(in Chinese). [18] XU L N, XIAO Q, HE L X. Fused image quality assessment based on human visual characteristics[J]. Geomatics and Information Science of Wuhan University, 2019, 44(4): 546-554(in Chinese). [19] ZHAO X M, SHI J T, GUO H X. Film system design for short-wavelength pass filter[J]. Journal of Applied Optics, 2006, 27(5): 415-418(in Chinese). [20] HE B Y, ZHANG Zh Q, LI Q, et al. Natural color fusion algorithm based on BP neural network[J]. Infrared Technology, 2018, 40(5): 431-437(in Chinese). -
点击查看大图
图(10) / 表(1)
计量
- 文章访问数: 4491
- HTML全文浏览量: 2973
- PDF下载量: 16
- 被引次数: 0
