Reproduction and evaluation of mural color based on spectral reconstruction technology

彩色图像的应用在人们的日常生活中随处可见，随着社会的进步和科学技术的发展，人们对颜色复原技术的要求也在不断的提高^[1]。传统的颜色复原方式有基于色度的颜色复原、正确的颜色复原、等价颜色复原以及对应颜色的颜色复原等。因为同色异谱现象的存在，这些方式虽然能成功实现颜色的复原，但无法实现颜色的无条件复原。由于物体的反射光谱具有“指纹”效应，可以利用不同物不同谱、同物一定同谱的原理来分辨不同的物质信息^[2]，并且物体的反射光谱不会随着光源及观察者的变化而改变，因此，利用反射光谱来实现颜色复原具有很高的稳定性和可靠性。基于光谱的颜色复原逐渐成为了当前跨媒体颜色复原的重要技术手段，可以有效地消除同色异谱的问题，实现颜色的无条件匹配。多光谱成像技术对反射光谱的多个波段采样，可以详细地记录颜色特性，有效地解决了传统彩色相机采集数据精度不高的问题，能够实现高精度的颜色复原^[3-5]。因此，利用多光谱成像技术重建物体的反射光谱来实现物体真实颜色的复原，能够满足文物艺术品复制的高精度需要。

本文中利用多光谱成像系统采集色卡和壁画的多通道响应数据，使用多种光谱重建算法计算壁画表面的光谱反射率，结合相关颜色理论和光谱图像处理方法实现壁画的颜色复原。

基于光谱的颜色复原以反射光谱为基础，能够保证复原颜色与物体真实颜色在特定的光照条件下具有相同的颜色值。基于光谱的颜色复原流程如图 1所示。

Figure 1.  Flow chart of color reproduction based on spectra

由图 1可知，首先利用多光谱成像系统采集物体颜色的多光谱图像，然后通过重建物体表面的反射光谱得到光谱空间，再利用色度学将光谱空间变换到国际照明委员会(Commission Internationale de L’Eclairage/International，CIE)定义的XYZ标准色度空间，进而变换到标准RGB(standard red green blue，sRGB)色彩空间，从而复原物体表面真实的颜色。

不同的物质在光照条件下产生不同的颜色，呈现出颜色是物质的光谱特性、特定光源和观察者视觉三者共同作用的结果。在物体、光照和观察者三者共同影响下，利用光谱空间进行表色，能够准确的计算出物质在不同光照和观察者条件下的颜色值^[6]。在物体不透明的情况下，由光源照射到物体表面的反射光线与入射光线之比称之为光谱反射率，在光照l(λ)的条件下，光谱辐射率空间p(λ)和光谱反射率空间r(λ)之间的转换公式为：

对380nm~780nm范围内的可见光每隔20nm进行采样，可以得到41维的光谱空间，该光谱空间又可以变换到CIE XYZ标准色度空间^[7]，进而映射到sRGB色彩空间^[8]，用于显示标准的CIE RGB色彩空间^[7]。不透明物体的CIE XYZ三刺激值X, Y, Z计算公式为：

式中，r(λ)为物体的光谱反射率，l(λ)为光照的光谱功率分布函数，x(λ), y(λ), z(λ)为CIE XYZ标准观察者光匹配函数，ρ为归一化系数。由CIE XYZ到色彩空间RGB的转换公式为：

式中，R, B, G的取值范围为[1, 0]。将得到的RGB值转到图形颜色范围[0, 255]的r, g, b分量，公式为：

式中，γ⁺为R, G, B的γ逆变换。

光谱成像系统采集物体后，得到的多通道输出图像信号是采集设备的光谱属性、特定光照条件和物体的光谱特性共同作用的响应结果^[9]。对于确定的滤光片和照明条件，光谱反射率可以由相机信号经过线性变化得到。设相机的信号g到反射率r的转化矩阵为Q，则有：

由于光谱数据维度较大，在实际计算中，可以将光谱反射率数据集r近似表示为k个彼此正交的单位基向量B_i的线性组合^[10]，即：

式中，B=[B₁B₂…B_k]为特征向量矩阵，a=[a₁a₂…a_k]^T为转换矩阵。设定M个不相等的N维光谱反射率组成矩阵r=[r₁r₂…r_M]^T，对r奇异值分解，令r=USV^T，其中，S=diag(σ₁, σ₂, …, σ_i)是对角矩阵，σ为奇异值，U，V分别由rr^T和r^Tr的特征向量组成。使用主成分分析(principal component analysis，PCA)方法计算中，当光谱反射率数据的组合满足前k个主成分累积贡献率大于99.95%时，将(6)式代入(5)式中可以得到：

式中，g₀，Ba₀，Q分别为训练样本集(r₀, g₀)的通道响应值、r₀的特征向量矩阵和转换矩阵，根据(7)式令系数转换矩阵a₀=[(QB)^T(QB)]^－1(QB)^Tg₀，这样QB的值可以使用g₀表示为[(QB)^T(QB)]^－1(QB)^T=a₀g₀^T(g₀g₀^T)^-1。对于测试样本集的通道响应g，系数转换矩阵为a=[(QB)^T(QB)]^－1(QB)^Tg=a₀g₀^T(g₀g₀^T)^－1g，因此，使用PCA方法重建的光谱反射率$ {\mathit{\boldsymbol{\hat r}}}$为：

根据R矩阵(matrix R, MR)的理论，矩阵R可以看作是一个正交投影算子，由观察者和特定照明条件共同作用的矩阵A表示^[11]，即A=hsv，h为三刺激值参量，s为照明光源的功率分布，v为观察者匹配函数。定义矩阵R为：

R矩阵方法可以由同色异谱b和基本刺激光谱r′两部分组成。基本刺激光谱r′可由三刺激值t计算得到，令t=A^Tr′，则r′=(A^T)⁺t=A(A^TA)^－1t，其中(A^T)⁺为A^T的伪逆。基本刺激光谱r′和光谱反射率r之差得到同色异谱黑b，即b=r－r′。使用投影算子R矩阵对光谱反射率r进行分解，得到r在R上的投影r′^[12], 即r′=Rr。

b由反射率r直接计算得到，令b=(I－R)r，I为单位矩阵。使用转化矩阵Q将多光谱相机信号转换为光谱反射率。针对训练样本集(g₀, r₀)，Q可以表示为：

式中，g₀⁺为g₀的逆转换矩阵。对于任意的待测样本信号值g₁，可以用(10)式计算相应的光谱反射率$ {{\mathit{\boldsymbol{\hat r}}}_{\rm{1}}}$：

用(11)式计算测试样本的同色异谱黑b₁：

组合基本刺激r′和同色异谱b₁两部分结果，得到待重建的光谱反射率${\mathit{\boldsymbol{\hat r}}}$为：

在使用R矩阵方法重建光谱反射率的过程中，要获得基本刺激光谱r′需要求解A^T的伪逆，受特定光照条件的影响，求解伪逆运算的过程是不稳定的，将会得到病态的方程解，会对重建的光谱精度造成影响。为了解决这个问题，需要通过正则化R矩阵法(regularization matrix R，RMR)加入正则化限制，来避免病态问题。

为了得到r′，需要利用最小二乘法^[13]求解观测方程t=Ar′：

(14) 式本质上是求$\mathit{\boldsymbol{\hat r'}}\mathit{ = }{\rm{argmin}}{\left\| {\mathit{\boldsymbol{Ar' - t}}} \right\|^2} $的解，其中$ \mathit{\boldsymbol{\hat r'}}$是最小二乘解，‖·‖是L₂范数。尽管这种求解方法能够保证解的最优性，但是不一定能够保证重建的光谱是原始光谱的唯一解，因此，这是一种病态问题。本文中使用Tikhonov正则化方法^[14-15]来限制R矩阵方法中的病态问题，加入Tikhonov限制后的估计准则定义为：

式中，w为正则化参量，$ {\left\| {\mathit{\boldsymbol{Ar' - t}}} \right\|^2}$为残差项，${\left\| {\mathit{\boldsymbol{Ir'}}} \right\|^2} $为正则化项。

根据Tikhonov正则化估计准则，(14)式的解为：

式中，${{\mathit{\boldsymbol{\hat r}}}_{\rm{r}}}\mathit{'}$为$\mathit{\boldsymbol{\hat r'}} $的正则化形式。根据以上分析，使用Tikhonov正则化来限制(13)式的病态情况，因此，基于Tikhonov正则化的R矩阵方法重建的光谱反射率为：

式中，${\mathit{\boldsymbol{\hat r}}_{\rm{r}}},{\mathit{\boldsymbol{r}}_{\rm{r}}}^\prime ,{\mathit{\boldsymbol{b}}_{{\rm{1}},{\rm{r}}}}$分别为, $\mathit{\boldsymbol{\hat r}}, \mathit{\boldsymbol{r'}}, {\mathit{\boldsymbol{b}}_{\rm{1}}} $的正则化形式。

为了验证本文中提出的算法的可行性，采用劳尔色卡中的样本作为训练样本，一幅壁画作为测试样本，使用3种光谱重建算法：PCA, MR和RMR，对其进行光谱重建，在壁画中选取颜色比例较大的6个区域进行实验研究，如图 2a所示；通过在国际标准人工日光D65光源照射下，使用多光谱相机获取壁画在11个窄带干涉滤光片^[16]下的多通道图像信号数据，如图 2b所示。

Figure 2.  a—mural referential patches b—mural's multi-spectra images

以壁画中6个参考色块为测试样本，对两种光谱重建算法的重建精度进行评价，从表 1中可以看到3种光谱重建算法进行壁画参考色块重建光谱的色差ΔE、均方根误差(root mean square error，RMSE)、适应度系数(goodness of fit coefficient，GFC)和光谱匹配偏指数(index of system spectrum estimation shifting degree，ISSD)。

由表 1可知，使用RMR方法的6个色块的光谱重建精度均高于MR和PCA方法。说明使用RMR方法进行光谱重建能够得到较高的光谱和色度精度。

利用RMR方法对壁画中6个色块的颜色重建后的光谱反射率曲线如图 3所示。图中色块的数字标号分别对应的是图 2a中壁画的数字颜色区域。

Figure 3.  The reconstructed spectral reflectance of mural referential patches

为了能够直观地反映RMR, MR和PCA方法的光谱重建色度精度，计算出壁画中6个色块颜色的L^*a^*b^*色度值(L^*表示亮度，a^*表示从红色至绿色的范围，b^*表示从黄色至蓝色的范围)，以L^*a^*b^*中的色度分量a^*，b^*分别为坐标轴，结果如图 4所示。从色度值空间分布可知，RMR方法光谱重建的L^*a^*b^*色度值与原始光谱的L^*a^*b^*色度测量值更相近，图中色块都具有很好的重建效果，说明RMR方法比MR和PCA方法具有更好的稳定性。

Figure 4.  CIE LAB colorimetric spatial distribution of mural referential patches by three reconstruction methods

壁画作为古代文物艺术品的一部分，创造出了丰富的视觉效果，用颜色信息来传递作品信息，充分体现了其艺术表现力。壁画有着上千年的文化历史积淀，但由于长时间的存放，受到光照、湿度、温度以及灰尘等因素的影响，使得壁画表面发生不同程度的褪色或老化现象^[17]。因此，壁画的数字化图像展现，成为了一种有效的保护手段，采用现代化科技实现壁画的高保真数字化复原，也成了文物保护工作者的一种途径。使用基于光谱重建的技术来实现壁画的颜色复原，可以从根本上实现壁画的高精度数字化保存，避免同色异谱的情况^[18]。使用RMR方法重建壁画光谱反射率后分别在国际标准人工日光D65光源和钨丝灯A光源渲染下的原始图像和复原图像如图 5所示。

Figure 5.  The original and reproduced mural images rendered by different light sources

由图 5可以看出，在D65光源和A光源场景下的复原均达到了较好的效果。结合图 5a与图 5c、图 5b与图 5d对比也可以看出，不同光源渲染下复原的壁画比原始壁画的纹理更清晰，色彩更鲜艳，如色块2所呈现的蓝色。并且D65光源渲染的壁画更接近原始壁画效果，A光源渲染的壁画整体偏暖色一点，这点也符合D65和A光源的色温特性。

色彩知觉是视觉对象在可见光波长范围内的电磁波在人大脑中枢神经中产生的一种物理心理刺激。一般影响色彩知觉的因素包括观察者、观察环境、观察光源以及观察模式^[19-20]。

由于每个观察者的视觉系统特性不同，对色彩的知觉会有差异。当一副壁画中多种颜色放置在同一观察环境下观察时，与单个颜色放置观察得到的色觉感受也不同，因为色彩感觉会偏向相邻对象的补色，会产生色彩对比效果。即使是同一个观察对象，在不同的光照条件下，其光谱分布不同，导致壁画表面对光的分光反射率不同，同样会得到不同的色彩知觉效果。观察颜色时，将一些经验的色彩表现方式作为观察模式，如表面色是指壁画表面观察所得到的知觉色，光源色是指观察光源渲染下壁画所得到的知觉色。考虑到以上条件都会对壁画的质量评价造成影响，为了尽量控制在观察条件均衡的情况下进行质量评价，此次评价实验中，选取了6名文物保护研究人员和14名实验室同学参与测试，性别分布为10男10女，并且所有评测的人员均视力正常，有颜色技术背景的10人，没有颜色技术背景的10人，在WINDOWS系统下，电脑颜色空间设置为sRGB色空间，显示器色温调节至6500K，测试环境为D65标准光源照射，保证测试人员所观察到的壁画源场景与显示器所显示的图像亮度保持一致，然后所有的测评人员对D65光源下复原壁画的效果进行打分评价。同样，将显示器色温调节至2856K，测试环境变为A标准光源照射，重复上述步骤，对A光源下复原壁画的效果进行打分评价，分别得到两个光源下的评价结果，如表 2所示。对表 2中评价得分效果的说明如表 3所示。

由表 2和表 3可知，在D65光源和A光源场景下的复原都达到了非常好的效果，在D65光源渲染下利用光谱重建算法复原的图像比A光源下利用光谱重建算法复原的图像效果要好，原因是由于测试样本均是用D65光源照射采集的多光谱图像进行的光谱重建导致的。结合原始壁画图 5a和图 5b与复原壁画5c和图 5d对比可以看出，不同光源渲染下复原的壁画与原始壁画相比，纹理更清晰，色彩更鲜艳，如色块2所呈现的蓝色，并且D65光源渲染的复原壁画整体偏冷色，A光源渲染的复原壁画整体更偏暖色，这也符合D65光源和A光源的色温特性。

使用多光谱成像技术采集了壁画多个波段下的光谱图像，分别使用RMR, MR和PCA方法对壁画颜色进行了光谱反射率重建，并对3种算法的重建精度做了对比分析。实验结果证明，RMR方法的光谱重建精度满足实验要求，提高了光谱精度。同时结合本文中研究的光谱重建算法实现壁画的颜色复原，并对复原效果进行了质量评价。评价结果显示，基于光谱重建的壁画颜色复原取得了较好的效果，能够满足文物艺术品数字化存档、文物艺术品修复等应用领域的发展要求。