基于局部光谱的文物图像颜色校正方法
0 引言
文物是中华民族宝贵的遗产,承载着丰富的历史信息和文化内涵,对于传承和弘扬中华民族优秀传统文化具有重要意义。因此,文物在传承传播过程中保真度、完整性要求极高,只有实现精准表达,才能让使用者正确理解,进而更准确地进行科学研究、展示教育等用途。颜色校正方法是保障文物颜色信息准确记录和传承的重要手段,是文物数字化过程中关键技术之一。
颜色校正的目标在于对光源、成像设备或其他因素引起的色彩失真问题进行校正,以使其更准确地再现原始场景或物体的颜色。然而,由于颜色受光源、物体表面光谱反射比、成像设备及人眼感知等多因素的影响,准确再现场景或物体颜色成为一项具有挑战性的工作。为此,研究人员从光照分析、颜色恒常性、色适应模型、图像内容分析等多角度进行探索,形成了经典的GrayWorld、max-RGB、直方图均衡等无监督方法和颜色映射矩阵、多项式回归、查找表、神经网络等有监督的方法,在各领域有着广泛应用。近年来,基于深度学习及NeRF的新方法也开始在图像颜色校正中展开研究,但受限于样本数量及运行时效,在文物数字化实践中应用较少。
为改善传统颜色校正算法存在的误差较大和低校正效率等问题,Zhang等提出了一种基于映射规则的艺术品颜色校正算法,建立了基于图像的色度和自然度的颜色偏差检测模型,采用基于标准差加权的改进GrayWorld方法对艺术作品的颜色进行校正,从而改进图像颜色的均匀性。苏淼等针对纺织品文物图像的颜色保真再现问题,分别对数码相机和显示屏进行基于多项式回归的色度特征化,进而实现跨设备的颜色再现。梁金星等利用敦煌壁画代表色制作的色卡进行壁画颜色管理,其主观效果和颜色校正结果均优于基于标准色卡Macbeth ColorChecker的方法。Liu等利用HSV空间中的亮度通道中的同态滤波器对非均匀照明进行补偿,利用壁画稳定颜料的颜色信息及颜色恒常性原理去除壁画图像中的色偏,以改善图像频域中的色调一致性和非均匀照明的影响。Mao等通过建立测量木纹和扫描木纹之间的sR、sG和sB的点对点校正模型,为木纹的再现提供更准确的天然木材颜色信息。由上可见,基于色度学的颜色映射模型可以取得较好校正效果,尤其是利用特征色构建针对性模型的效果更好,但在取特征色时,有的是根据颜色构建了特征色卡,脱离开文物本体,有的是使用了相机成像数据,使得用于建立颜色映射模型的参考颜色值存在误差。
针对以上问题,本文提出一种基于局部光谱信息的文物颜色校正方法。首先,聚类获取文物的典型颜色,采集文物典型色的光谱数据,在去除光源影响的基础上,得到典型色的光谱反射比,计算典型色在标准照明体D65下的CIE1931标准色度系统内的颜色值。其次,结合颜色转换矩阵、三维查找表、多项式回归等现有颜色校正方法,构建基于文物典型色的颜色校正模型,并提出自适应控制点的径向基插值方法,实现文物颜色在同照明条件下的准确再现。最后,采用CIEDE2000色差及角度差对颜色校正效果进行评价。 经实验表明,本方法可以显著提升颜色校正精度,提高文物数字化的保真性。
本文的主要贡献是:a)实现基于国际照明委员会(CIE)标准色度系统的颜色表征值的文物颜色校正模型,提高了颜色校正的准确性;b)自适应控制点的径向基插值方法以实现颜色均匀的过度;c)为文物颜色校正提供一个客观定量的评价方法,便于文物颜色管理的反馈优化。
1 相关工作
1.1 CIE色度计算
物体的颜色是由光线在物体表面被反射和吸收的特性决定的,即物体本身的光谱特性是物体产生不同颜色的主要原因之一,同时还受到光源照明条件的影响。在CIE标准色度系统内,实际进入人眼的光谱能量可表示为照明体的相对光谱功率分布P(λ)与物体本身的光谱特性函数ρ(λ)的乘积,则由该光谱能量引起的三刺激值X、Y、Z定义。
获取到物体的三刺激值后,根据CIELAB颜色空间中L*、a*、b*的计算公式,得到物体的在给定照明条件下的CIELAB颜色空间内的颜色表征值。根据需要还可以进行其他颜色空间的转换。
1.2 颜色映射方法
通过建立原颜色表征值与参考颜色表征值之间的映射关系,实现对图像颜色的校正和调整,以获取更准确和自然的色彩表现,其中aij为源颜色表征值(R’,G’,B’)到参考颜色表征值(R,G,B)的转换矩阵。
为建立原颜色值与参考颜色值之间的最优映射关系,常用的方法有多项式回归法、支持向量机、神经网络法等。Krasteva计算了X-rite Colorchecker Passport色卡的标称值与图像颜色的平均色差,利用灰度图建立颜色映射关系,将色差加到图像颜色上,该方法简单速度快,但在非线性映射区域可能会造成颜色扭曲失真。
另外,基于三维查找表也是应用较多的颜色映射方法,通过将源空间划分为等间隔的立方体,每个立方体的八个顶点的数据是已知的,将所有源空间的已知点构成一张三维查找表,此方法的重点在于建构和插值方法。将深度学习的策略引入到三维查找表的建构研究中,实现实时的颜色映射及自适应的空间间隔划分,已在图像增强上取得较好的效果。但深度学习方法在文物颜色校正方面受限于样本数量,并且深度学习的结果具有不确定性,对于准确性的再现有所限制。
1.3 空间插值方法
用于参考的颜色值在颜色空间中呈稀疏分布,在对原图像进行颜色调整时,面临的是非均匀分布的空间插值问题。空间插值方法是一种估计未知空间点处数值的技术,常用于地理信息系统、遥感和数学建模中。常见的空间插值方法有克里金插值法、最近邻点插值法、多元回归法、径向基函数法等,其中克里金插值法和径向基函数法适用于空间非均匀分布插值,能够帮助实现图像颜色的平滑过渡和连续性转换。
具体而言,径向基函数插值通过构造一组基函数,拟合数据点之间的函数关系,从而实现对未知数据的预测。在插值过程中,每个数据点都被分配一个权重,这个权重由径向基函数在数据点处的值决定。
径向基插值的应用场景非常广泛。在数据分析中,它可以用来预测新的数据点,特别是在处理由多个变量描述的数据集时。在图像处理中,径向基插值也可以用来处理图像的缺失部分,提高图像的质量。然而,径向基插值也存在一些局限性。首先,其计算复杂度较高,特别是在处理大型数据集时。其次,插值结果的精度受到基函数选择的影响,如果基函数选择不当,可能会导致插值结果不准确,一般预测不能超出观察数据范围。
2 基于局部光谱的颜色校正方法
图像颜色校正的难点在于需要应对光照条件的复杂性、设备差异、色彩空间的复杂性、多样的颜色场景、颜色感知的主观性以及算法的鲁棒性等多方面的挑战,尤其是以文物档案记录的文物图像的颜色校正对颜色值的准确性要求更高。现有的一些方法主要以麦克白色卡为基准建立颜色校正模型,基准颜色与文物典型颜色差别较大,因此在处理文物图像颜色校正时,存在针对性不强,部分颜色失真的情况。
针对这些问题,本文提出一种基于局部光谱的文物图像颜色校正方法,通过文物局部光谱信息得到标准光源下准确的色度值,在此基础上,构建基于文物典型色的颜色校正模型。同时,文物典型色在颜色空间呈稀疏分布,直接使用线性插值可能造成部分颜色扭曲偏色的情况,本文设计一种自适应控制点的径向基函数插值算法,以解决插值颜色的非线性映射问题。最后,采用CIEDE2000色差及角度差对颜色校正效果进行评价,并根据反距离权重方法将色差映射到整个图像中,实现对图像整体校正效果的客观评价,为进一步颜色校正提供反馈优化建议。
2.1 典型颜色值
文物典型色是文物绘制所使用的有代表性的颜色,是文物信息传承的重要载体。为了准确获取典型颜色表征值,首先将文物图像转到均匀颜色空间以便于比较分析,然后基于色差值对图像颜色进行聚类,并可用轮廓系数、CH系数来对聚类结果进行分析,选取最优聚类数目,最后得到典型颜色的分布范围。
在此基础上,使用多光谱或高光谱成像设备在文物典型颜色相对均匀处进行数据采集,获取典型色多光谱或高光谱数据,并对采集位置做好标记。进一步对光谱数据进行黑白场校正,去除光源信息,得到文物表面的光谱反射比。
式中,Rref 是图像的光谱反射比值,DNraw是由光谱成像设备的捕获的亮度值,DNwhite为光谱成像设备捕获的标准白板的亮度值,即白场数据,DNdark是相机的系统误差值,即黑场数据,Rwhite为标准白板的反射比系数。
最后,根据需求选择标准光源和波长间隔,并根据公式计算文物典型色在CIE1931标准色度系统内的色度值,以此作为颜色校正的参考值。同时,在文物图像中计算对应采集位置附近区域的平均颜色值。
2.2 颜色校正模型
在获取典型色参考值与图像中对应的颜色值的基础上,结合用颜色映射矩阵、多项式拟合和三维查找表等方法,构建基于文物典型色的颜色校正模型。
利用数学方法拟合文物图像颜色值与参考值之间的映射关系,只用R,G,B的值来求取映射关系,效果并不好,因此通过多项式升阶来增加特征量,如二阶扩展为y = a0 + a1x1 + a2x2 + a3x1x2+a4x1x3+a5x2x3+a6x12+a7x22+a8x32,其中,ai 是多项式的系数,x1、x2、x3 是自变量,y 是因变量,通过最小二乘或其他约束来确定最佳系数值,以实现精确的颜色映射。在建立颜色映射关系时,因为样本量少,容易过拟合,通过岭回归进行交叉验证,并采用R2和RMSE进行模型评价。
三维查找表则通过预先计算好的颜色映射关系,建立等间隔的颜色转换信息表,实现图像中每个像素的快速、准确的颜色转换。
2.3 自适应控制点的径向基函数插值
根据原图像颜色的空间位置,查找与其相关的参考点,结合径向基函数插值,对原图像的颜色进行校正。
径向基函数插值法利用径向基函数构建插值模型,通过调节函数中心和形状参数来拟合数据。
其中f(x)为插值函数,n为径向基函数控制点数目,φ(||x - xi ||)为径向基函数的通用形式,可以为高斯曲面函数、多项式函数、线性函数、立体曲面函数等,||x - xi ||为两个位置矢量的欧式距离,xi是第i个径向基函数的控制点位置,wi是第i个径向基函数对应的权重系数。
径向基函数插值以高斯函数为基函数时,其为正定分布,对于样本范围内的预测存在唯一插值点,满足文物颜色准确再现的需求,但当文物颜色在观察样本范围外,则插值结果就具有不稳定性。因此,在三维查找表的基础上,查询待插值点在立方体内的位置,进一步确定所处的小正方体,取其顶点作为径向基函数插值算法的控制点,以避免直接使用稀疏样本点带来的范围外插值不稳定性,增强插值结果的空间平滑性。
2.4 评价方法
采用CIEDE2000色差公式对颜色校正效果进行评价,可以通过取样的典型色校色前后的色差,还可以通过反距离权重的色差映射评估方法,对整体图像的色差进行直观评价。
3 实验分析
3.1 数据准备
采用相机或扫描仪进行文物数据采集,同时在相同拍摄条件下采集爱色丽标准色卡的数据。首先对文物颜色进行聚类分析,可见典型色提取符合整体颜色分布情况,可以以此为基础构建颜色映射关系。
利用分光光度计或高光谱成像仪对典型色相应区域进行光谱数据采集,由前面2.1的方法,进行光谱数据到CIE标准色度系统内的色度值的转换,为后续建立准确的颜色映射模型奠定数据基础。高光谱数据采集可以采集一块区域的信息,可以取一部分作为参考值,其余数据用来做对比分析。
若已有文物表面光谱反射比数据,可以根据色度学公式得到其在任意CIE标准光源下的准确色度值,但因光谱数据量庞大,尤其是壁画、大型书画等彩绘文物,对采集光源敏感,并且分辨率也不满足高精度的需求,目前较少记录大型文物的全部光谱信息。因此,基于局部的光谱信息既可以进行准确颜色校正,还能避免庞大数据的存储及处理问题。
3.2 建立模型
以爱色丽ColorChecker Classic色卡拍摄值及标称值为样本,对颜色映射方法进行测试分析。对数据进行多项式拟合,并通过岭回归进行交叉验证,发现特征阶数在4左右效果最好,但由图5可见在第12,17个色块处出现较大误差,因此在去除这两个色块的拍摄者后进行再次模型训练,以岭回归模型为例,其最大色差值降到2.7左右,平均CIEDE2000值降至0.69,RSME降至2.2,R2值为0.99, 模型预测效果较好。但也可看出多项式回归在小样本下很容易过拟合,并且需要根据模型状态选择合适的特征量。
结合文物典型色信息,在上述模型测试的基础上,进行颜色映射模型拟合,并建立三维查找表,然后通过三维查找表确定自适应控制点,最后进行径向基函数插值计算。
3.3 颜色校正结果
在某壁画上根据颜色分类信息,利用分光光度计采集典型色的光谱信息,共采集18组,其中9组用来构建模型,另外9组进行测试分析,详细见表1。
表1 CIEDE2000色差对比表(作者自制)
色差情况 | 用于构建颜色校正模型的9组数据 | |||||||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 平均 | |
校正前 校正后 | 13 0.6 | 10 1.2 | 5.5 0.7 | 7.7 1.1 | 15 2.0 | 4.7 1.4 | 12 1.7 | 4.5 2.1 | 1.2 1.9 | 8.34 1.45 |
色差情况 | 用于测试模型的9组数据 | |||||||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 平均 | |
校正前 校正后 | 12 6.4 | 13 6.0 | 6.2 3.0 | 4.8 1.7 | 9.9 3.4 | 5.1 1.8 | 10 0.3 | 16 5.8 | 11 3.6 | 10.1 3.62 |
由表中可见,两组数据在校正前后的色差都有大幅优化,尤其在参考点附近可以实现CIEDE2000值在2以内颜色映射,在测试数据中色差较大的几组与参考色差距较大,另外几组是在参考点附近,颜色映射误差相对较小,整体来看在典型色范围所覆盖的颜色区域内,该算法平均CIEDE2000值在2左右,优于单纯依赖于标准色卡的校正色差均值约在4左右,可以实现文物颜色的有针对性的校正。从表中还可以看出算法的效果跟参考点选取密切相关,在泛化能力上受参考点的分布影响,这与径向基插值函数的原理相符。根据表格数据,可以选取色差较大的几组数据作为径向基函数插值的控制点进行模型调整,进而提升模型的准确度。
以下是仿古图的颜色校正效果,左图为原始扫描数据,与实物相比颜色较平淡,饱和度不足,颜色偏色;中间图为基于ColorChecker Classic的颜色校正算法的效果,有些颜色已经得到了修复,但画面中的几种主色仍然存在偏色情况;右图是基于本文方法进行校正的效果,目测更接近于实物。
4 结论
为了解决文物颜色准确再现的问题,本文提出了结合局部光谱信息的文物图像颜色校正方法,采用色度学计算方法可以准确计算出文物在标准照明下的颜色表征值, 并综合利用颜色映射矩阵、三维查找表、多项式回归等多种方法构建颜色映射模型,确保模型能够准确反映文物颜色的实际变化。同时,提出自适应控制点的径向基函数插值方法,进一步提高了颜色校正的精度和灵活性。最终,采用专业的色差评估方法,如CIEDE2000色差公式,对校正效果进行全面评价。实验结果表明,相比于传统基于标准色卡的方法,这种方法对于文物颜色校正更有针对性,在降低平均色差值、最大色差值等方面具有显著优势,从而实现文物数字化档案中颜色信息的准确记录。由于算法效果受限于参考点的分布,模型泛化能力有待提高,因此,下一步工作中将对文物典型色展开研究,建立文物的典型色光谱库,增加参考点数量,优化分布网络,进一步提高颜色校正精度。
文章来源: 《文化产业》 https://www.zzqklm.com/w/wy/32640.html
- 2025年中科院分区表已公布!Scientific Reports降至三区
- 官方认定!CSSCI南大核心首批191家“青年学者友好期刊名单”
- 2023JCR影响因子正式公布!
- 国内核心期刊分级情况概览及说明!本篇适用人群:需要发南核、北核、CSCD、科核、AMI、SCD、RCCSE期刊的学者
- 我用了一个很复杂的图,帮你们解释下“23版最新北大核心目录有效期问题”。
- 重磅!CSSCI来源期刊(2023-2024版)最新期刊目录看点分析!全网首发!
- CSSCI官方早就公布了最新南核目录,有心的人已经拿到并且投入使用!附南核目录新增期刊!
- 北大核心期刊目录换届,我们应该熟知的10个知识点。
- 注意,最新期刊论文格式标准已发布,论文写作规则发生重大变化!文字版GB/T 7713.2—2022 学术论文编写规则
- 盘点那些评职称超管用的资源,1,3和5已经“绝种”了