多聚焦图像融合解决的核心问题是如何识别出原图像中的聚焦区域，并将该区域提取出来组合成一幅全清晰的图像。根据处理阶段的不同，多聚焦图像融合可以分为3个级别：像素级、特征级和决策级［2］。对像素级进行的融合方法主要分为2种：基于变换域方法和基于空间域方法。基于变换域的方法主要通过拉普拉斯金字塔［3］、离散小波变换［4］、轮廓变换［5-6］和剪切变换［7］等实现。但是上述方法未很好地考虑空间一致性，可能会导致空间信息丢失，造成融合效果失真。近年来，基于像素的空间域方法由于其在获得精确决策图进行融合方面的优势，已成为多聚焦图像融合中最流行的发展方向［8］。2013年，文献［9］首次提出引导滤波的方法，能很好地保留边缘且计算复杂度低。然后，文献［10］首先将图像引导滤波应用到图像融合中，提出了一种新的基于引导滤波的加权平均技术，该技术充分利用空间一致性融合了基层和细节层。文献［11］提出了一种基于引导滤波器的高效图像融合方法，减少图像区块效应。文献［12-13］提出基于引导滤波的融合方法，进一步细化决策图，实现多聚焦图像融合。决策图的划分对于融合图像的质量至关重要，其中图像边缘包含了图像的基本信息［14］，若细节边缘部分划分不准确，容易造成图像边缘模糊和细节丢失。
针对图像融合过程中图像细节和边缘难以保持的问题，提出一种基于局部纹理特征提取的多聚焦图像融合方法。先通过局部二值模式（local binary pattern，LBP）提取图像纹理细节，再对得到的纹理特征图进行增强处理，通过像素极值策略得到准确的决策图，结合决策图和原图像进行图像融合。实验证明，本文方法可有效减少图像融合中出现的区块效应和光晕效应，能充分保留图像纹理细节，准确识别出图像边缘部分，融合的图像完整且细节清晰。
1 多聚焦图像特征提取与增强
1.1 纹理特征提取
本文采用LBP对多聚焦图像进行纹理特征提取。LBP于1996年被Ojala等［15］提出，具有旋转不变性和灰度不变性等优点，其原理是以中心像素灰度值为阈值，与周围领域像素灰度值比较，大于中心像素灰度值记为1，否则记为0，得到一组二进制数字，将二进制数字转换为十进制数字即为该像素的LBP值。给定中心像素点以1个像素作为半径，与周围相邻的8个像素组成3×3的局部块，计算其LBP值，如式（1）所示：
[fxc, yc=p=0P-12ps(ip-ic)] （1）
[s(ip-ic)=1 , ip-ic≥00 , ip-ic<0] （2）
式中：（xc，yc）表示邻域中心像素，[f(xc, yc)]为中心像素处的LBP值，p表示中心像素邻域内第p个像素点，P表示邻域像素个数，ic表示中心像素灰度值，ip表示邻域内第p个像素灰度值，s（·）表示符号函数。
对多聚焦原图像进行LBP处理，结果如图1所示。图1（a）呈现人物清晰背景模糊，图1（b）呈现相反的情况。通过LBP处理后，可以发现对于图像清晰部分，图像的纹理细节更丰富，而对于模糊区域，纹理特征则表现粗糙，如图1（c-d）所示。
<G:\武汉工程大学\2024\第2期\彭聪-1-2.tif><G:\武汉工程大学\2024\第2期\彭聪-1-1.tif>[（b）][（a）][原图1 ][原图2 ]<G:\武汉工程大学\2024\第2期\彭聪-1-3.tif><G:\武汉工程大学\2024\第2期\彭聪-1-4.tif>[（d）][（c）][纹理特征图1][纹理特征图2]
图1 原图和纹理特征图
Fig. 1 Original images and texture feature images
1.2 纹理特征增强
引导滤波（guide filter，GF）是一种边缘保持滤波器［9］，是引导图像和输出图像之间的局部线性模型。假设引导图像和输出图像在以像素k为中心的局部窗ωk中存在线性关系［10］，根据上述假设得：
[qi=ak?Gi+bk,?i∈ωk] （3）
其中：qi表示输出图像的第i个像素点灰度值；Gi表示引导图像的第i个像素点灰度值；ɑk和bk均为局部窗口中的线性系数。ɑk和bk由式（4-5）确定。
[Eak,bk=i∈ωkakGi+bk-Ii2+εa2k] （4）
其中：E（ɑk， bk）是设计的代价函数，表示输出图像和输入图像之间的平方差；ε是正则化参数，也称为模糊度决定图像的模糊程度；Ii表示输入图像的第i个像素点灰度值。通过线性回归直接求解如下：
[ak=1ωi∈ωkGiIi-μkIkδ2k+εbk=Ik-akμk] （5）
其中：μk与[δ2k]为引导图像在局部窗ωk中的均值和方差，`Ik是输入图像在局部窗ωk中的均值，ω表示局部窗口中的像素个数。
对纹理特征图像进行特征增强，结果如图2所示。由图2可知，图像聚焦区域和离焦区域的明暗程度不同，且聚焦区域整体呈现较亮的特征。在此情况下，通过极值策略将图像中聚焦部分和离焦部分区分开，从而获取完整的聚焦部分区域。
<G:\武汉工程大学\2024\第2期\彭聪-2-1.tif><G:\武汉工程大学\2024\第2期\彭聪-2-2.tif>[（b）][（a）]
图2 特征增强结果：（a）特征增强图1，（b）特征增强图2
Fig. 2 Feature enhancement results： （a） feature
enhancement image 1， （b） feature enhancement image 2
2 多聚焦图像融合
多聚焦图像融合主要通过对多聚焦图像进行特征提取和增强，增加聚焦区域和离焦区域区分度，从而分离原图像中的聚焦部分和离焦部分，生成对应的决策图，结合原图像和决策图进行图像融合。
2.1 图像融合
对纹理特征图进行特征增强后，采用极大值策略即取两幅图像中灰度值较大的像素，获取初始决策图像，如图3所示。其中初始决策图存在像素误判，为解决这个问题，采用局部小区域去噪，消除小区域误判像素值，生成最终决策图。根据最终决策图进行融合［图3（c）］后，可以发现图像人物和背景部分都呈现清晰状态。
2.2 融合流程
对多聚焦图像进行融合的流程为：
步骤1：选取两幅多聚焦图像A和图像B；
步骤2：选取合适的窗口大小对图像A和图像B进行LBP纹理提取；
步骤3：将步骤2处理后的图像作为引导图，选取合适滤波窗口r和模糊度ε进行GF特征增强处理；
步骤4：对滤波后的图像进行像素极值判决（pixel maximum， Max），得到初始决策图，对初始决策图进行去噪，得到最终决策图；
步骤5：结合决策图对多聚焦图像进行融合，得到融合图像。
经过上述步骤处理，得到融合结果，如图4所示。
3 结果与分析
3.1 实验说明
为验证本文方法性能，将该方法与基于图像抠图（image matting， IM）［16］、引导图像滤波 （guided image filter， GIF）［11］、简化平稳离散小波变换（simplified stationary discrete wavelet transform， SSWT）［17］、快速引导滤波（fast guided filter， FGF）［12］和基于引导滤波和聚焦区域检测的融合（guided filter-based multi-focus image fusion through focus region detection， GFDF）［13］这5种图像融合方法进行比较分析。
3.2 实验结果对比
3.2.1 图像细节对比分析 将本文方法与IM、GIF、SSWT、FGF和GFDF这5种方法的融合结果进行整体比较和细节分析，如图5所示。同时将结果图像与对应的原图B进行差运算，得到残差图并对其进行比较分析，如图6所示。所有实验图像中，选取一处局部细节区域框选并放大，便于仔细观察图像细节信息。
从图5可以看出原图A处是墙壁模糊，花朵花瓣清晰；原图B视觉上花朵模糊，背景墙壁清晰。从IM、GIF和FGF 3种方法融合结果的标记区域可以看出，花朵的花瓣轮廓细节丢失。SSWT和GFDF 2种方法融合的图像在标记处的花瓣边缘模糊。本文方法融合的图像花瓣细节信息保留完整，且没有出现边缘模糊的现象。
如图6所示，SSWT提取效果背景部分有大量残余信息，并且目标边缘轮廓不明显。IM、GIF和FGF融合的图像有部分信息丢失，以及边缘部分有多余的像素。GFDF则是边缘部分处理有多余像素残留。本文方法能准确提取图像聚焦部分，不产生多余像素，并充分保留图像的细节。
3.2.2 结果评价 为保证结果的真实性和客观性，采用有参评价和无参评价方法对融合性能进行评价。
有参评价参数主要有相关系数（correlation coefficient， CC）、峰值信噪比（peak signal to noise ration， PSNR）、均方误差（mean square error， MSE）3种。每种评价值的侧重不同，对图像评价结果可能会产生较大的差异，因此采用多组指标进行评价。CC值和PSNR值越高表示图像融合质量越高，MSE值越低表示融合效果越好。
本文对20组彩色图像［13］和16组灰度图像［18］进行实验，为了避免单一图像结果的偶然性，取所有融合图像评价结果的平均值记录于表1中，加粗表示该参数最优方法的值。由表1可知，对于CC这一评价指标，本文方法与最优方法SSWT相差约0.6%，而其余2种评价方法都是本文方法表现最佳，尤其是在MSE这一参数上，本文方法相较于SSWT融合结果降低了约37.14%。
无参评价参数主要采用6种度量方法［19］，分别为基于信息论度量的归一化互信息（normalized mutual information， Qmi）、基于Tsallis熵的融合度量（tsallis entropy， Qte）、非线性相关信息熵（nonlinear correlation information entropy， Qncie），以及基于图像特征度量的基于梯度的融合性能（gradient， Qg）、基于多尺度方案的图像融合度量（multiscale scheme， Qm）和受人类感知启发融合度量（chen-blum metric， Qcb）。每种评价值的侧重点不一样，且这6种评价指标数值越高表明融合图像的效果越好。
为确保评价结果的全面性和充分性，同时避免实验结果的偶然性，对多组图像进行评价实验。表2中给出的信息是20组彩色多聚焦图像和16组灰度多聚焦图像实验结果的平均评价值，加粗表示该参数最优值。由表2可知，在多组图像不同方法融合评价值中，本文方法在Qmi、Qte、Qncie和Qm这4个评价参数上的表现优于其他方法，相比于评价值最低的方法，分别提升了约26.1%、6.18%、13.2%和206.4%。在Qg和Qcb这2个参数上，本文方法相较于最佳方法表现略差，差距大约为0.18%和0.24%。综合评价指标来看，本文方法在Qmi、Qte、Qncie和Qm 4个评价参数方面表现出色，仅在Qg和Qcb方面稍显不足。
实验结果表明，本文方法在主观评价和客观评价上都表现出色，特别在Qmi、Qte、Qnice和Qm这4个评价参数上，相比于其他方法有大幅度的提升，同时本文方法融合的结果相比于其他方法有更小的均方误差值。
4 结 论
为了解决多聚焦图像融合中出现的细节丢失、边缘伪影和区块效应等问题，提出了一种结合纹理特征提取的多聚焦融合方法。该方法不仅可以在一定程度上抑制区块效应和光晕效应等现象，还能充分保留图像纹理细节信息，明确区分多聚焦图像中的聚焦区域和离焦区域，最大程度地增强它们之间的差异，从而准确提取出图像聚焦区域。与IM、GIF、SSWT、FGF和GFDF等5种图像融合方法相比，本文方法得到的全聚焦图像，能显著提升图像融合质量，在清晰度和完整度方面均优于其他方法的融合效果，具有较高的实用价值。