图像融合是指将多幅图像中的数据信息进行融合,形成一幅信息更丰富、视觉特征更多的图像。该技术可广泛应用于工业、遥感、监测、医疗诊断等多个领域,能够对目标场景进行全方位高清还原,为各种领域的图像获取与分析提供了强大支持。
多聚焦图像融合方法通常是从同一场景的多幅图像中提取和分析同一坐标区域的聚焦特征,找到最优聚焦区域,并利用多幅图像中的最优聚焦区域构建融合图像。因此,在多聚焦图像融合中,关键问题是找到最佳的聚焦区域。为了找到最佳的聚焦区域,相关领域的学者们对图像融合方法进行了深入的研究和探索。如今多聚焦图像融合方法主要分为空间域、变换域和深度学习3大类[1]。基于变换域的方法有拉普拉斯金字塔变换[2]、离散小波变换[3]、裁剪变换[4]等。基于变换域的图像融合方法采用不同的策略对不同分辨率或频带的子图像进行融合。然而,该方法具有较高的计算复杂度、复杂的融合过程,且难以保证图像像素的空间一致性,容易出现信息丢失、图像亮度或颜色失真、像素失真等问题。近年来,深度学习方法引入了卷积神经网络[5]、卷积稀疏表示[6]和分层自动编码器[7]等方法,取得了良好的融合性能,但在训练阶段需要对数百万个模型参数进行调整,其难度严重影响了图像融合的有效性。空间域方法包括两大类:基于区域的融合方法和基于像素的融合方法。Zhang等[8]提出较为典型的基于区域的融合方法,在多个尺度上计算图像的聚焦度,从而实现边界划分。基于像素的融合方法无需对图像进行分割,方法相对简单,通常有拉普拉斯评价法[9]、主成分分析法[10]、基于稠密尺度不变换特征(scale-invariant feature transform, SIFT)的融合法[11及引导滤波法[12]等。基于像素的融合方法关键在于决策图的提取,因此决策图的划分对于融合图像的质量至关重要,准确有效地提取决策图是值得深入研究的方向。
本文提出了一种基于Laws特征增强的图像融合方法,通过采用Laws[13]滤波和改进的均值滤波方法提取特征图,利用特征差异提取决策图,将决策图与源图像进行加权融合[14]。实验证明,该方法能够有效保留图像的边缘细节,减少细节丢失,同时避免块效应,从而获得更为完整和清晰的融合结果。
1 图像融合方法
图像融合方法步骤如下:首先对多聚焦图像进行Laws滤波,得到Laws特征图,由于散焦效应的影响,在一幅图像中聚焦区域边缘细节较为清晰,离焦区域边缘细节较为模糊,经Laws滤波后两种区域特征差异较为明显。之后对Laws特征图进行特征增强,进一步突出不同特征之间的差异,得到特征增强图。通过比较多聚焦图像的特征增强图,采用最大值策略,得到初始决策图。然后消除初始决策图中的小连通域,得到最终决策图。将最终决策图与源图像进行融合,得到融合图像。图像融合方法流程如图1所示。
1.1 Laws纹理特征
Laws滤波是由Laws在1980年提出的一种滤波方法[13],通过不同的纹理能量来描述纹理特征。Laws滤波利用特定的2D卷积核对图像进行卷积,从而对不同的图像区域提取不同的纹理特性,其中2D卷积核由一维卷积核之间相互卷积而得到。5组常用Laws卷积核如式(1)所示。
[L5=1, 4, 6, 4, 1E5=-1, -2, 0, 2, 1S5=-1, 0, 2, 0, -1W5=[1, 2, 0, -2, -1]R5=1, -4, 6, -4, 1] (1)
式中: L5是用于检测图像平坦区域的算子,E5是用于检测边缘的算子,S5是用于检测斑点的算子,W5是用于检测波状的算子,R5是用于检测纹状的算子。每两组算子卷积组合得到25个2D Laws算子,如表1所示。
表1 2D Laws算子
Table 1 2D Laws operators
[一维卷积核 二维卷积核 L5 E5 S5 W5 R5 L5 L5L5 L5E5 L5S5 L5W5 L5R5 E5 E5L5 E5E5 E5S5 E5W5 E5R5 S5 S5L5 S5E5 S5S5 S5W5 S5R5 W5 W5 L5 W5E5 W5S5 W5W5 W5R5 R5 R5L5 R5E5 R5S5 R5W5 R5R5 ]
本文采用E5S5算子对多聚焦图像进行滤波,该算子如式(2)所示。
[E5S5=E5T×S5=10-20120-40200000-2040-2-1020-1] (2)
图2展示的是同一场景中不同聚焦深度的3幅源图像。源图像A聚焦于近景处,字母‘B’区域边缘较为清晰;源图像B聚焦在中景处,字母‘S’区域边缘细节较为清晰;源图像C聚焦在后景,字母‘MOM’区域边缘较为清晰。
<G:\武汉工程大学\2025\第4期\董晨鹏-2-1.tif><G:\武汉工程大学\2025\第4期\董晨鹏-2-2.tif><G:\武汉工程大学\2025\第4期\董晨鹏-2-3.tif>
源图像A 源图像B 源图像C
图2 多聚焦源图像
Fig. 2 Multi-focus source image
首先将彩色源图像转换为灰度图像,然后对灰度图像进行Laws滤波,得到每幅图像的Laws特征图,如图3所示。从图3可以看出,3幅图像聚焦区域的纹理特征都被成功提取,且3幅特征图之间的差异较为明显,在源图像A 的Laws特征图中,字母‘B’区域特征较为突出;在源图像B 的Laws特征图中,字母‘S’区域特征较为明显;在源图像C 的Laws特征图中,位于图像后景的‘MOM’区域特征较为明显。
<G:\武汉工程大学\2025\第4期\董晨鹏-3-1.tif><G:\武汉工程大学\2025\第4期\董晨鹏-3-2.tif><G:\武汉工程大学\2025\第4期\董晨鹏-3-3.tif> 源图像A 源图像B 源图像C
图3 源图像的Laws特征图
Fig. 3 Laws feature map of the source image
为进一步增强聚焦区域与离焦区域之间的差异,需要对Laws特征图进行增强处理。为了防止局部小特征被忽略,从而与非特征区域混淆,本文不再对全局图像特征进行增强,而采用特征图分块增强方法将聚焦区域与离焦区域特征差异进一步增大。首先将Laws特征图分成边长为5像素的图像块,先计算每个子块的平均值,根据特征值与特征平均值计算得到能量图,具体计算方法如式(3)所示。
[Ires(x,y)=round(ILaws(x,y)+Iave), ILaws(x,y)<IaveILaws(x,y), 其他]
(3)
式中:Ires(x,y)为计算得到的能量图,round为取整函数,ILaws(x,y)为Laws特征图中的特征值,Iave为图像块的像素平均值,分割子块大小为5 px×5 px。
图4是特征增强后的图像,由图可知,3幅图像的聚焦区域特征都得到明显增强,聚集区域和离焦区域之间的特征差异明显。
<G:\武汉工程大学\2025\第4期\董晨鹏-4-1.tif><G:\武汉工程大学\2025\第4期\董晨鹏-4-2.tif><G:\武汉工程大学\2025\第4期\董晨鹏-4-3.tif>
源图像A 源图像B 源图像C
图4 源图像的Laws特征增强图
Fig. 4 Laws feature enhancement of the source image
1.2 决策图提取
在Laws特征增强图的基础上,采用最大值策略提取决策图,该策略是将多聚焦图像的特征增强图逐像素点进行比较,选取每个像素点特征值最大的源图像,以此构建初始决策图,具体策略如式(4)所示。
[Imap(x,y)=1,(IALaws(x,y)>IBLaws(x,y)且IALaws(x,y)>ICLaws(x,y))0,其他] (4)
式中:IALaws(x,y)、IBLaws(x,y)、ICLaws(x,y)为不同源图像的特征增强图。对于每一幅决策图的构建,需要将该特征增强图与其余特征增强图进行比较,得到初始决策图,如图5所示。
<G:\武汉工程大学\2025\第4期\董晨鹏-5-1.tif><G:\武汉工程大学\2025\第4期\董晨鹏-5-2.tif><G:\武汉工程大学\2025\第4期\董晨鹏-5-3.tif>
源图像A 源图像B 源图像C
图5 源图像的初始决策图
Fig. 5 Initial decision diagram of the source image
由图5可以看出,初始决策图中存在较多的杂斑、噪点,影响图像最终融合质量,需要对其进行消除处理。本文采用连通域方法,去除初始决策图中小于0.01×W×H (W为图像的行像素数,H为图像的列像素数)像素数的区域,得到最终决策图,如图6所示。
<G:\武汉工程大学\2025\第4期\董晨鹏-6-1.tif><G:\武汉工程大学\2025\第4期\董晨鹏-6-2.tif><G:\武汉工程大学\2025\第4期\董晨鹏-6-3.tif>
源图像A 源图像B 源图像C
图6 源图像的最终决策图
Fig. 6 Final decision diagram of the source image
根据最终决策图对源图像进行融合,具体加权融合方法如式(5)所示。
[F(x,y)=IA(x,y)?IAmap(x,y)+IB(x,y)?]
[IBmap(x,y)+IC(x,y)?ICmap(x,y)](5)
式中:F(x,y) 为融合图,IA(x,y)、IB(x,y)、IC(x,y)分别为3幅源图像,IAmap(x,y)、IBmap(x,y)、ICmap(x,y)分别为3幅最终决策图。
对于彩色图像的融合,需要先将源图像分解为3个通道(R、G、B)的图像,将3个通道加权融合后,再将3个通道图像进行融合,最终得到融合图F(x,y)。如图7所示,融合图像将3幅源图像的聚焦区域进行了充分融合,在融合图像中,源图像A 的字母‘B’区域、源图像B 的字母‘S’区域与源图像C 的 ‘MOM’区域进行了完整融合,图像边缘较为清晰。
<G:\武汉工程大学\2025\第4期\董晨鹏-7.tif>
图7 融合图像
Fig. 7 Fused image
2 实验结果及评价
为验证本文方法的融合性能,对40组多聚焦图像进行实验,其中20组来自Lytro数据集[15],10组来自带有参考图像的数据集[16],其余10组来自经典灰度图像集[17]。所有实验均在配备3.20 GHz AMD Ryzen 7 7735HS处理器和16 GB内存的计算机上执行,实验代码采用MATLAB 2022软件编写。
2.1 主观评价
本文对现有的图像融合方法进行比较研究:曲波变换(curvelet transform,CVT) [18],离散小波变换(discrete wavelet transform,DWT) [19],基于图像抠图(image matting,IM)[20],引导图像滤波(guided image filter,GIF)[21],快速引导滤波(fast guided filter,FGF)[22],哑光模型融合网络(matte model fusion net,MMF-NET)[23]和基于生成对抗网络的多聚焦图像融合 (multi-focus image fusion generative adversarial network,MFIF-GAN) [24]。其中IM、GIF和FGF是基于空间域的融合方法,CVT和DWT是基于变换域的融合方法,MMF-NET和MFIF-GAN是基于深度学习的融合方法。部分实验结果如图(8-10)所示。
图8是采用不同融合方法对“剧院”(源图像A和源图像B)处理后的结果,右上角放大了部分区域以展示各方法融合结果之间的差异。由放大区域可以看出,CVT和DWT出现了伪影, FGF和GIF未能将远处的建筑清晰融合,IM中出现了明显的杂斑,MFIF-GAN有轻微伪影出现,MMF-NET和本文方法结果较为良好。
图9是采用不同融合方法对“体育馆”(源图像A和源图像B)处理后的结果,同样放大了部分区域。从放大区域可以看出,CVT和DWT中铁丝网周围出现块效应, FGF和GIF未能将近处的铁丝网清晰融合,IM中出现伪影,MFIF-GAN、MMF-NET和本文方法视觉表现效果较为良好,图像细节较为清晰。
图10是采用不同融合方法对“高尔夫”(源图像A和源图像B)处理后的结果,右上角为局部放大图像。由图可知,源图像A中的服装条纹清晰,背景模糊,而源图像B中的小球清晰,服装条纹模糊。从放大区域可以看出,CVT和DWT中衣服区域与草地区域进行了融合,边缘严重模糊, FGF和GIF方法不能正确地融合两个小球,IM中衣服边缘出现伪影,MFIF-GAN、MMF-NET和本文方法视觉表现效果较好,图像细节融合较为完整,保留了球轮廓和服装条纹的细节。
2.2 客观评价
采用5种基于信息论的非参考评价指标[25]评价融合质量,分别为归一化互信息(normalized mutual information,QMI)、基于Tsallis熵的融合度量(tsallis entropy,QTE)、非线性相关信息熵(nonlinear correlation information entropy,QNCIE)、基于梯度的融合性能指标(gradient,QG)和基于多尺度方案的图像融合度量(multiscale scheme,QM),上述5个评价指标的评价值越高,表明该方法的融合质量越好。
利用上述评价指标对实验结果进行分析,表 2是 40组多聚焦图像实验结果的平均评价值,其中加粗字体表示该评价指标的最高评价值。
表2 不同融合方法下 40组融合图像评价参数
Table 2 Evaluation parameters of 40 sets of fused images by different fusion methods
[融合方法 QMI QTE QNICE QG QM CVT 0.874 986 0.375 368 0.827 547 0.664 843 1.637 517 DWT 0.912 967 0.378 294 0.829 574 0.676 328 1.847 653 FGF 1.037 589 0.395 205 0.839 674 0.716 470 1.858 943 GIF 1.130 847 0.398 474 0.841 638 0.718 457 2.042 879 IM 1.073 976 0.386 396 0.838 469 0.663 759 1.986 396 MFIF-GAN 1.153 748 0.402 846 0.843 379 0.726 550 2.028 510 MMF-NET 1.132 570 0.398 453 0.841 696 0.674 740 1.847 380 本文方法 1.162 598 0.401 542 0.846 375 0.724 683 2.072 574 ]
由表2可知,与其他7种融合方法相比,本文方法在 QMI、QNCIE 和 QM 这 3个评价参数上的表现优于其他方法,相比于评价值最低的方法,分别提升了约32.87%、 2.28%和 26.57%。在 QTE 和 QG 这 2 个评价参数 上,本文方法表现略差,相较于最佳方法差距大约为 0.32% 和 3.80%。实验结果表明,在不同的评价指标上本文方法的表现均较为出色,尤其在QMI、QNCIE 和 QM这3个评价参数上。
3 结 论
为解决多聚焦图像融合出现的细节丢失和块效应等问题,本文提出了一种基于Laws特征增强的多聚焦图像融合方法。利用聚焦区域与离焦区域的Laws特征不同的特点,进一步增强特征差异,提取到较为精细的决策图,充分保留图像的纹理细节。与CVT、DWT、IM、GIF、FGF、MMF-NET和MFIF-GAN等图像融合方法相比,本文提出的方法融合结果图像细节较为清晰,能够有效保留图像的纹理细节,减少边缘细节模糊,具有较高的应用价值。