1　引　言
在多媒体信息时代，视频信息在军事、通讯、航空航天等领域有着广泛的应用. 出于适应通讯低带宽、节约存储空间的考虑，视频图像信息在压缩编码过程中降低了图像的分辨率；同时在视频成像过程中，受到成像环境光照变化、视频录像设备自身的噪声等因素的影响，实际的视频图像质量通常较差，无法满足生产生活中对高质量、高分辨率图像的需求，特别是在依赖机器视觉的应用场景中，目标对象常常远离摄像头，目标图像常常分辨率较低. 另一方面，极低分辨率的目标图像识别极其困难，极大的影响了基于视频信息的视觉应用效率［1］. 要从输入的低分辨率视频获得目标的部分细节信息，最简单的方法是利用插值算法直接提升视频分辨率，然而直接插值算法无法提供足够的细节信息而限制了其应用范围. 由于超分辨率算法能够融合多帧图像细节信息，与传统的图像上采样插值方法相比具有较好的算法性能优势，因而成为了目前的研究热点问题.
视频图像的获取过程如图1所示.

1964年，Harris等人提出了超分辨率数学理论基础，开创了超分辨率技术的新领域［2］. 1984年，Huang和Tasi［3］利用离散和连续傅立叶变换之间的平移以及混叠等性质建立了由多幅低分辨率图像得到一副高分辨率图像的方程组，明确的提出了图像超分辨率的概念. 在这些工作的启发下，频域超分辨方法得到了广泛的应用与发展. 然而，频域超分辨率重建方法都是基于低分辨率图像之间仅仅只有全局平移运动的假设基础上，这样的假设在实际应用中常常难以满足，进而限制了该类算法的应用.
为了适应视频中目标的一般运动以及不同图像退化类别的要求，空域多帧图像超分辨率方法被提出并迅速发展. 目前广泛应用的有凸集投影算法（POCS）［4］以及最大后验概率算法（MAP）［5］. 视频超分辨率利用了多帧图像的互补信息，因此其核心在于多帧图像的运动矢量的精确配准，研究表明：配准误差不仅导致了图像的模糊，还降低了图像超分辨率重建质量. 因此，大量研究围绕低分辨率的亚像素精度的配准而展开.
Mitzel［6］等人提出了一种基于Tikhonov正则的光流估计的视频超分辨率算法框架，从输入任意视频的多帧低分辨率图像重建一幅高分辨率图像输出，光流法主要用来估计多帧之间的运动参数，获得了较好的重建效果，然而，光流法估计每个像素的运动场，算法时间开销大. Bishop［7］等人提出了一种视频超分辨率增强算法，利用样本学习获得图像块中高频信息和低频信息的映射关系，提升了视频超分辨率算法的速度. Liu［8］等人提出了一种基于贝叶斯估计的自适应视频超分辨率算法，该算法利用贝叶斯框架对超分辨率重建过程中的模糊核、图像运动矢量和噪声进行建模，在获得高分辨率重建图像的同时，能够对噪声和运动等重要影响因素自适应估计，获得了较好的图像重建质量. 然而多变量迭代优化算法框架增大了算法的复杂度和时间开销.
文献［9］认为亚像素精度的图像配准是影响超分辨率重建的一个重要因素. 特别是视频中存在局部运动的情况下，高精度配准难度较大，常用的配准有光流法、图像特征匹配法和图像块配准法［10］等几种方法，由于光流法是对像素点的操作其配准精度高，但是计算复杂度高，对局部运动的运动估计精度大幅下降；特征匹配方法需要事先提取特征，然后进行匹配，在复杂的成像条件下，特征提取的精度受到影响，降低了其配准精度.
传统的视频超分辨率算法大部分是假设多帧图像之间的运动为整体运动，然而在实际的视频中，图像帧之间不仅仅存在整体运动，监控目标还存在着复杂的局部运动，因此与通用视频超分辨率算法相比低质量视频图像的超分辨率算法更具挑战性. 在面向实际视频图像的应用中，研究精确配准技术是解决目前视频超分辨率重建问题技术瓶颈的方向之一，特别是在存在复杂局部运动的实际视频中，研究多尺度精度的自适应的配准方法具有重要的作用.
2　算法设计
2.1　多尺度自适应块匹配图像配准
2.1.1　块匹配自适应图像配准算法　针对实际视频的局部运动，采用块匹配技术实现视频多帧的图像配准. 块匹配技术图像配准常见于视频压缩标准中，将待配准的低分辨率图像分为一系列特定大小的方块，常用的有16×16、8×8以及4×4像素等块大小，以参考帧为基准对待配准图像进行搜索（常用的有三步搜索算法，十字搜索算法等），在给定匹配标准下找出误差最小的方块，从而得到该对应方块的位移矢量. 用位移矢量（Motion Vector， MV）来描述每个方块的配准参数，用每个方块的位移矢量集描述整个图像的配准参数，如图2所示.

最常用的匹配准则是求和绝对误差. 假设（i，j）为位移矢量，f（x，y）和g（x，y）分别是待配准和参考图像上的像素灰度值，M×N为选定的块大小，S是求和绝对误差，则求和绝对误差匹配准则的表达式如下：
[S(i,j)=1MNx=1My=1Nf(x,y)-g(x+i,y+j)] （1）
块匹配配准算法简单高效，容易在超大规模集成电路中实现，因此在传统的视频、图像压缩领域被认为是最通用的算法. 目前针对实际视频的特点，本文采用多尺度自适应块匹配算法提升图像块的配准精度，进而提高多帧超分辨率的图像重建质量.
分析可知，采用块匹配图像配准中块大小选取非常重要. 选取的块大时，因为默认块内各像素作相同的平移运动，则估计的精度将受到影响，不过大块更能反映图像的实际内容，这也将使得块匹配的准确度比较好，受噪声等因素的影响较小. 反之，选取的块小时，一方面运算量必然会大幅增加；另一方面由于噪声等因素的影响，虽然像素级的配准精度会提高，但是因为匹配准则等因素的影响，图像块整体配准的准确度会受到一定的限制. 为了在估计精度与运算量之间取得均衡，需要选取合适的块大小结构. 对不同内容的不同尺度上的配准，将有利于图像块配准的精度，同时能够提升对噪声的鲁棒性.
从算法的时间复杂度的出发，图像块的大小通常倾向于选择一个比较大的块划分方式，这样可以改善监控设备抗噪能力差的弱点. 比如16×16像素块大小的划分. 而对于存在多个运动物体的序列图像，图像边缘的运动估计算法精度要求和图像平滑区域的精度要求不一致，因此需要自适应选择图像块的大小.
自适应块匹配图像配准，要综合考虑配准的抗噪能力强弱问题和配准的精度问题. 对于需要高精度的区域尽量划分成较小的块，而对精度影响不大的平坦区域，则相应的选择较大的块. 首先找出需要进行图像配准的前后帧之间存在的运动边缘. 然后在根据运动边缘信息，建立块大小选择的自适应准则.
2.1.2　图像运动边缘的提取　使用帧差法来提取运动边缘信息. 帧差法是将两帧图像像素值逐点相减获得残差图像；对残差图像再进行一个简单的阈值滤波，去除由于光照因素引起的像素值变动而导致的较小的残差. 对于固定位置的摄像头而言，相邻两帧目标场景的背景信息不会发生变化，图像像素出现的比较大的变化可以认为是由物理的相对位置发生改变造成的. 因此，经过滤波后的残差图像可以反映出求帧差的两帧图像之间的物体局部运动情况. 两帧的差值小于一定阈值的区域作为平坦区域，大于一定阈值后认为是具有显著度的运动边缘信息. 如图3所示，输出图像（c）中的0值区域就代表了两幅图像（a）、（b）的运动边缘信息. 图3（a）表示当前帧， （b）表示参考帧，（c）中黑色区域为当前帧与参考帧之差.

2.1.3　多尺度块大小选择自适应准则　对于上述所得的残差图像，可以采用统计的方法得出划分块大小的自适应准则. 具体的步骤如下所示：
算法1：图像自适应多尺度图像块选择算法.
输入：相邻两帧图像图3（a）和图3（b），阈值T1
输出：多尺度图像块划分策略
第一步：对输入图像图3（a）和图3（b）的帧差图像图3（c）进行较大块的划分，如32×32块；
第二步：对划分的图像块，统计其中0的个数；
第三步：对于0的个数超过阈值T1的块，认定其包含了较多的运动边缘信息；
第四步：对于第三步中认定的包含了较多运动边缘信息的大块按照较小的块大小进行重新划分，而其他的大块仍然按照较大的块进行图像配准. 最后输出整个图像帧的分块策略.
通过上述步骤，可以获得运动边缘和平坦区域的不同尺度的配准精度模型，从而实现自适应的配准尺度的选择，一定程度上均衡了准确度和算法时间开销的不同需求. 如图4所示，为两帧图像采用自适应块大小选择后的块划分示意图.
图4中，对于运动边缘区域，采用较小的块划分方式，而其他区域仍然保持原来的大块划分法.

2.1.4　自适应阈值修正配准　块匹配图像配准算法是基于这样的假设：被划分成的小块内部的所有像素都是遵循同一个平移运动的，而事实上不尽然. 在图像内部，不同物体或者场景的边缘部分，或者图像纹理细节丰富的区域，受到块的划分以及块匹配准则选取等因素的影响不同. 而在具体的运算过程中，由于匹配准则的限制，确实已经找到了符合当前匹配准则的最优匹配块，但对其中的某些像素来说，是可能存在比较大的误差的，这称之为配准误差. 配准误差降低了超分辨率重建图像的主客观质量. 尤其对于非平滑区域和运动边缘的像素来说，由于块的选择极有可能包括了这些非线性变化的像素值，采用求和绝对误差的匹配准则，不能够反映真实的图像匹配情况. 文献数据表明［11］：超分辨率重建图像的运动边缘区域以及纹理细节比较丰富的区域会产生方块效应等错误信息，这些现象常常是由于配准误差导致的.
提升图像的配准精度会提升超分辨率的重建质量. 因此在现有的图像配准技术基础上，引入对运动矢量的修正模型显得十分必要. 由于配准误差通常导致超分辨率图像出现严重的振铃效应. 因此可以采取在配准错误的区域去除运动矢量，直接用原始图像进行上采样的策略.
本文提出了一种既考虑了待配准图像与补偿图像整体匹配又计算简便的方法来修正当前的配准参数，且算法能够自适应获得评估运动矢量是否准确的阈值.
设待配准图像为f，参考图像为[g]，m和n分别表示行和列的运动矢量矩阵，则可以由已知的配准参数和参考图像求出补偿图像. 并设x（x1，x2）为当前像素点，每幅图像共有N个像素点. 补偿图像可以有[g]表示为：[g[x1-m(x),][x2-n(x)]]；设在点x处待配准图像与补偿图像之间的绝对差为Dfd，则有
[Dfdx=fx-gx1-m(x),x2-n(x)] （2）
如果图像配准非常准确的话，则Dfd的值应该接近于0值. 但是存在配准误差的配准参数则将导致Dfd的值偏离0值. 因此，通过求Dfd的值可以判断是否存在匹配误差.
设每一个像素点Dfd的平均值为[μDfd]，方差为[σ2Dfd]，则有如下计算公式：
[μDfd=1NfDfdx= 1Nffx-gx1-m(x),x2-n(x)] （3）
[σ2Dfd=1N-1fDfdx-μDfd2] （4）
设定判断是否出现配准误差的条件为Dfd是否大于某一个阈值T2，设[T2=μDfd+2σDfd] ，同时再加上一个附加条件，即比较当前图像与参考图像对应像素点值的变化情况，如果变化不大，则也可以认同当前点不需要进行运动估计. 即有
[Fdx=fx-gx] （5）
其中，[Fdx]表示点x处两帧图像的像素值的绝对差值. 通过比较每一个像素点x处的Dfd值和Fd值，可以判断出，当前是否出现了配准误差. 对于出现配准错误的点，直接放弃当前的配准参数，不做与参考图像的配准，补偿图像由原图像构成.
基于自适应块匹配的图像配准算法总结如下：
算法2：基于自适应块匹配的图像配准算法.
输入：相邻两帧图像图3（a）和图3（b），配准误差阈值T1和T2.
输出：运动配准矩阵F.
第一步：依据算法1获得运动边缘信息图3（c），根据边缘和平坦区域选择不同的配准尺度；
第二步：对于待配准图像，计算每个像素点的[Fdx]值，大于T2部分直接用插值方法获得运动向量，小于T2部分使用计算获得运动向量；
第三步：对所有图像块进行遍历，获得运动配准矢量F输出.
2.2　基于多尺度自适应图像配准的视频超分辨率算法
在获得更为精确的自适应块匹配配准参数后直接将这些运动估计参数应用到视频多帧超分辨率重建的过程中. 假设有连续[k]帧视频图像，那么低分辨率的视频序列成像过程可以用公式（6）表示.
[Yk=DkHkFkX+Ek] （6）
其中，X表示所求的高分辨率图像；Y表示低分辨率图像序列，k表示帧数，F表示配准补偿矩阵；H表示成像模糊降质；D表示图像欠采样降质；E表示加性噪声干扰降质.
视频超分辨率是公式（6）中从观测得到的低分辨率序列推导对应的高分辨率图像的过程. 由于公式（6）是一个欠定方程，方程的个数少于未知数的个数，这样求得的高分辨率图像没有唯一解. 在方程求解之前，降质过程的每个因素均应该获得对应的具体数值. 一般情况下，假设在k帧图像具有短时平稳性，这样可以假定其系统模糊函数是固定的，且可以用高斯函数模拟，下采样函数一般使用多取一方法直接获得对应的低分辨率矩阵，这样当[Fk] 已知的情况下，方程可以求解并获得高分辨率图像输出.
超分辨率重建的过程就是在已知[Yk]的情况下，估计出配准补偿矩阵[Fk]，然后利用图像的先验知识约束高分辨率解空间，进而获得方程的唯一解.
假设：[Ck=DkHkFk]. 则[Yk=CkX+Ek]，也即：[Y=C?X+E] . 那么视频中单帧图像的重建代价函数如下：
[arg(X)=minXY-C?X22+λτ(X)?] （7）
其中，X是所求的高分辨率帧图像，[C]是包括配准参数在内的配准系数，[λ]是平衡因子，调整重建误差与重建高分辨率图像平滑之间的关系，[τ(X)]是高分辨率图像的平滑先验. 公式（7）使用最速下降法进行求解，其主要过程参考文献［12］.
基于自适应图像块的视频超分辨率算法主要分为三个部分：
1）多尺度的低分辨率图像配准. 对输入的低分辨率图像在图像块级别进行自适应配准，首先利用帧差法获得运动边缘，对具有高显著度的边缘信息进行小分块进行处理，对于图像的平坦区域则利用大分块进行配准，在此基础上计算图像的整体配准误差，自适应调整误差超过阈值的部分运动矢量，达到计算速度和精度的均衡.
2）估计降质函数. 按照视频的降质过程估计运动配准补偿向量，系统模糊函数和下采样矩阵，为超分辨率重建建立基本求解数据.
3）利用超分辨率重建代价函数求解分辨率图像. 主要是在高分辨率图像通用先验知识的约束下，利用梯度下降法求解高分辨率图像，最后将多帧高分辨率图像合成为高分辨率视频序列输出.
这样基于块匹配自适应配准技术的视频超分辨率算法总结如下：
算法3：基于多尺度自适应配准的视频超分辨率算法.
输入： k帧低分辨率图像[Yk]，自适应阈值T1和T2， 降质模糊函数[Hk].
输出：高分辨率图像序列 [Xk].
第一步：利用算法1确定图像块分割策略；
第二步：利用算法2计算图像的配准补偿矩阵[Fk]；
第三步：利用公式（7）建立超分辨率求解代价函数，其中下采样矩阵使用上采样矩阵的逆过程；
第四步：利用梯度下降法求解高分辨图像；
第五步：将多帧高分辨率图像组合成高分辨率序列输出[Xk].
2.3　仿真实验设计
为了验证本文算法的合理性，设计了仿真实验，主观图像质量以标准测试序列Foreman和Mobile为例. 测试序列原始图像分辨率大小为352×288像素，对视频序列加入高斯模糊模拟成像系统的降质模糊，下采样图像大小为原来的1/2，制备低分辨率视频为输入测试序列. 多帧图像选择相邻帧图像，低分辨率图像的大小为176×144像素.
为了测试本文研究思路的正确性，仿真实验测试自适应块匹配图像配准超分辨率，传统视频超分辨和单一块大小配准超分辨率实验. 其中对比算法选择传统视频超分辨率算法［13］. 实验分别从主观图像质量和客观图像质量两个方面开展，其中客观图像质量评估指标选择峰值信噪比. 峰值信噪比主要用来比较原始高分辨率视频图像帧与重建的高分辨率视频图像帧的相似性.
3　结果与讨论
如图5表示原始高分辨率图像的灰度图，图6所示为经过高斯模糊以及下采样降质的低分辨率图像. 其中参考帧取第标准测试序列的第3帧，当前帧取第4帧，可以观测出高低分辨率视频帧的对应关系. 利用算法1获得自适应图像块大小的划分结果图如图7所示，大块表示8×8像素，小块表示4×4像素.

依据本文算法，利用每10帧图像融合生成对应的高分辨率图像，将重建视频的第10帧图像进行对比，主观重建质量图像如图8所示. 图8（a）和（b）表示单一图像块配准的超分辨率重建图像，图8（c）是文献［13］的对比算法重建图像， 图8（d）是双三次插值的放大图像，图8（e）是本文重建图像. 从图像中可以发现，重建算法在细节清晰度上相比对比算法有提升，相对插值算法明显更清晰，而且本文算法重建图像相比单一配准算法重建质量有明显的提升. 值得注意的是，图8（b）相对图8（a）中有部分细节出现了误差，说明了不同尺度的配准误差作用不同，大尺度的分块的配准精度对超分辨率重建具有影响.

为了进一步说明超分辨率的重建质量，多种超分辨率重建图像的客观质量对比如表1所示.

从主客观超分辨率图像重建质量来看：配准误差影响了超分辨率重建，使用自适应块匹配算法的超分辨率重建图像主客观质量优于对比算法， 特别是相比插值算法，图像细节表现能力明显具有优势，相比对比算法图像客观重建质量平均提升了0.3 db，相比插值算法图像客观重建质量平均提升了0.61 db. 同时相对于单一尺度图像块大小的配准，自适应配准视频超分辨率算法提升了0.91db，证明了本文所提出算法的具有良好的主客观重建性能.
4　结　语
针对视频序列图像进行超分辨率重建中图像配准误差导致重建图像质量低的问题，提出了一种自适应选择块大小的多尺度图像配准算法. 利用了图像运动边缘信息的显著性，对运动边缘和图像平坦区域分别进行多尺度图像块配准. 同时，根据图像块的配准误差大小来选择配准矢量，引入误差自适应修正模型，进一步克服全局配准中出现的误差问题. 最后将这自适应图像配准算法应用到视频超分辨率重建中去，利用视频多帧自适应块配准技术提升超分辨率重建图像的主客观质量，仿真实验证明了本算法的有效性.