《武汉工程大学学报》 2021年02期
223-226
出版日期：2021-04-30
ISSN:1674-2869
CN:42-1779/TQ
基于改进SURF算法的图像拼接技术研究
图像拼接是图像处理中非常重要的技术，特别是随着科技的逐渐发展，图像获取的途径越来越多样化，图像的质量要求也更高，图像拼接技术可以很好的将两幅或者两幅以上具有重叠区域的图像拼接成一幅信息更加丰富的图像，被广泛的应用在医学、军事活动和计算机视觉等领域。图像拼接技术的关键在于图像的特征提取和图像匹配，文献［1］提出的尺度不变特征转换（scale-invariant feature transform，SIFT）算法是图像特征提取中的经典算法，但SIFT算法在图像特征提取时存在计算量大、效率低等问题。文献［2］针对SIFT算法的缺点提出了加速稳健特征算法（speed up robust feature，SURF），SURF算法是对SIFT检测算法的改进，通过构建Hessian矩阵来建立尺度空间，提高算法的鲁棒性，在图像特征的检测速度上大大优于SIFT算法，但是该算法的匹配精度偏低。文献［3］使用随机抽样一致性（random sample consensus，RANSAC）算法来筛选图像的匹配特征点有利于准确计算出图像的变换矩阵。由于传统的RANSAC算法计算量较大以及匹配精度较低，后续如全局RANSAC（Universal-RANSAC）等算法［4-5］都针对上述问题进行了改进，以此来提高匹配结果的准确性。针对上述问题，本文提出利用加速分割检测特征（features from accelerated segment test，FAST）算法和SURF算法相结合进行图像特征的提取以及描述，并通过改进的k-d树最近邻查找（best bin first，BBF）算法［6］和双向匹配的自适应阈值方法相结合优化匹配结果，以此提高检测精度和拼接速度。1 图像拼接流程图像的特征点提取和描述是图像拼接的基础，为了提高特征点的提取速度和质量，本文主要对经典的SURF算法进行改进，采用FAST［7］算法来快速大量的提取目标图像特征，使用SURF算法对提取的特征点进行矢量描述，图像拼接的流程图如图1所示。图1 图像拼接流程图Fig. 1 Flow chart of image mosaic 2 提取图像特征点2.1 特征点的选择对于图像特征点的提取，Harris、SIFT、SURF等［8-10］算法的特征点检测时间均较慢， FAST算法由于不涉及梯度、尺度等复杂步骤，在计算效率上具有一定的优势，因此选取FAST算法来快速准确的获取图像特征点［11］。本文算法中，首先对图像进行像素点的扫描，然后对其中的每一个像素点进行判断，根据FAST算法的角点公式来判断该像素点周围16个像素点的灰度值大于或小于该点的灰度值，即：[N=x∈cI(x)-I(P)<εd] （1）="" 式中，[i(x)]表示圆周c任意一点的图像灰度值，[i(p)]表示中心像素点[p]的图像灰度值，若n超过阈值[εd]，则该点为角点。本文中阈值设为9。图2为fast算法的角点检测模板。="">图2 FAST算法的角点检测模板Fig. 2 Corner detection template used by FAST algorithm2.2 特征点的描述由于原始的FAST算法检测到的特征点不具备旋转不变性和尺度不变性，导致图像特征在提取过程中存在不稳定性。使用SURF算法来进行描述可以保证提取的特征点具有很好的稳定性［12］。该算法在对特征点进行矢量描述时，首先是将提取的特征点设为圆心，然后计算半径为6σ（σ为特征点的尺度）的邻域内所有像素点的水平（dx）、垂直（dy）Harr小波响应总和，将扇形滑动窗口以60°的角度进行扫描，每次扫描的间隔一定，计算出扇形滑动窗口中的小波特征总和的最大值，以最大值的扇形方向为该特征点的主方向。即对图像Haar小波响应的dx、dy进行叠加处理得到矢量（[mw]，[θw]）。[mw=wdx+wdyθw=arctanwdxwdy] （2）当[mw]值为最大值时，[θw]为该特征点的主方向（图3）。在特征点主方向选取后，计算以特征点为中心[20 s×20 s]（s为特征点所在的尺度值）矩形内的特征描述子。[20 s×20 s]矩形被划分为16个子区间，在每个子区间内计算出Haar小波特征的x方向和y方向的响应值，如图4所示。[dx][dy]图4 特征点描述子的构造Fig. 4 Construction of feature point descriptor其中特征点的描述向量为：[V4=dx,dx,dy,dy] （3）3 图像特征点匹配传统的SURF算法采用距离为准则进行特征点相似度的判断，即[l=i=1nX1(i)-X2(i)2] （4）式中，l为两点间的距离，n为特征点的维数，[X1]为参考图像特征点的描述向量、[X2]为待检测图像特征点的描述向量。由式（4）计算出参考图像和待检测图像之间所有特征点的距离后，选择其中最近特征点和次近点的比值为阈值，即[lminlsecond[ b ][ a ]图5 图像匹配结果图：（a）采用传统SURF算法匹配结果图，（b）采用FAST+SURF+BBF+双向匹配的自适应阈值检测图Fig. 5 Image matching results：（a）image matching by traditional SURF algorithm，（b）image matching by Fast，SURF， BBF and bidirectional adaptive threshold matching algorithm4 RANSAC算法的改进变换矩阵是用来表示图片间的变换关系，仿射变换能够保证图片的平直性以及平行性，一般使用RANSAC算法进行变换矩阵求解［13-14］。[sx’y’1=Hxy1=h11h12h13h21h22h23h31h32h33xy1] （6）式（6）中[x,y、x’,y’]为待拼接图像的角点位置，s为尺度参数，H为变换矩阵，其中H共有8个未知参数，使用奇异值的分解方法来计算图片的变换矩阵。由于算法存在一定的误差会导致存在错误匹配的现象，因此求出的变换矩阵不精确。传统算法中一般使用RANSAC算法对匹配点进行筛选，剔除错误的匹配点后再线性求解出变换矩阵。由于RANSAC算法对于一些特征点的色调、亮度、饱合度（hue，intenstitysaturation，HIS）需要反复检测，导致检测效率降低。本文中引入HIS模型来对检测的特征点进行二次约束，其原理是将RANSAC算法检测后的特征点进行二次检测，对该点的亮度、颜色、色调等值进行检测，设定一个阈值作为二次检测的条件，不满足此阈值就剔除。这种HIS模型的二次约束能够提高正确特征点的检测效率，避免了原RANSAC算法中无限迭代的情况出现。5 图像融合为了保证图片能够无缝拼接，选取渐入渐出加权融合法［15］对图像进行拼接，具体公式如下：[Xa,b=x1(a,b)????????????????????????????????????????????????????????????????????????????????????? ???(a,b)???????∈x11-γx1(a,b)?+γx2(a,b)???????????(a,b)???????∈x1????x2?x2(a,b)????????????????????????????????????????????????????????????????????????????????????? ?(a,b)???????∈x2?]（7）其中[x1?]，[x2]为待拼接图像，X为拼接后的图像，[γ]为加权因子，[γ=wdw∈0,1]，w为拼接图像重叠部分的横坐标距离，wd为拼接图像重叠部分像素点距重叠部分的横坐标距离。6 结果与讨论本文的硬件环境为Intel（R）Core（TM）I5CPU和12 GB RAM，运行环境为Wimdow10+VS2015+Opencv3.2。对图5的2幅图片拼接结果如图6所示。[ b ][ a ]图6 实验结果：（a）图像匹配，（b）图像拼接Fig.6 Experimental results：（a）image matching，（b） image mosaic表1是几种常见算法拼接速度的结果。表1 图像匹配数据 Tab. 1 Image matching data ms[算法 提取时间 Opencv自带拼接算法 10 870.9 SIFT算法 20 870.35 SURF算法 1 647.47 ORB算法 350.5 本文算法 415.2 ]从实验结果可以得出，本文算法拼接结果完整，算法精度和时间都有很好的提升，能够满足实际应用中高精度和高实时性的要求。为了更好的验证本文的拼接结果，本文还进行了不同摄像机拍摄同一场景的不同部分进行图像拼接，如图7所示。图8是用本文算法对图7中的两幅图进行拼接的效果，可以看到拼接的图像效果很好，由此验证了本文算法的有效性。[ b ][ a ]图7 不同摄像机拍摄的实验图：（a）相机1，（b）相机2Fig. 7 Experimental images captured by different cameras：（a） camera 1， （b） camera 2图8 拼接结果Fig. 8 Image mosaic result7 结 论本文提出一种基于改进SUFR算法的图像拼接方法，针对传统的SURF算法匹配速度慢和误匹配率高等问题，提出使用FAST算法提取图像特征，提高拼接速度，结合SURF算法与BBF和双向匹配的自适应阈值算法对图像特征点进行描述和匹配，提高算法的匹配精度，最后将HIS模型引入RANSAC算法中剔除误配点，进一步提高算法匹配的准确率。在图像拼接过程中，采用渐入渐出加权融合算法提高图像拼接质量，消除图像拼接过程中常见的缝合处不平滑现象，实验结果表明，本文算法能够在提高检测速度的基础上，还具有较高的匹配精度和很好的拼接效果。 undefined