三维测量技术在多个领域发挥着重要作用,包括工业设计、材料制造、智能制造、虚拟现实、文物保护、制造业检测等[1-3]。其中条纹投影轮廓术(fringe projection profilometry,FPP)[4]因其具有精度高、速度快、成本低、全场测量和易于实现等优点,已成为非接触式三维测量的重要研究方向。FPP系统通常使用1台或多台相机来捕获图像,然而相机的灰度强度范围有限,常见的灰度相机只有0~255共256个灰度级。相机的动态范围不足给FPP系统带来了挑战,例如,在测量具有高反表面的物体如金属材料、釉面时,高反射区域容易饱和,而低反射区域的信噪比往往较低。单一曝光时间无法同时消除过曝区域和欠曝区域,从而导致最终测量结果出现误差[5]。
研究人员针对FPP系统开发了光强调节方法和曝光调节方法以应对上述挑战。光强调节方法通过调节投影图案的强度以获取不饱和图像[6-7],Huang等[7]提出了一种基于数字微镜器件(digital micromirror device,DMD)的自适应逐像素调制三维形态测量方法,通过计算物体反射率、优化曝光时间和生成DMD调制掩模,实现高动态范围的三维测量。然而,该方法增加了硬件成本且系统搭建与调试过程复杂。此外,研究人员还提出了逐像素自适应调整方法[8-10]。例如,Hu等[8]基于最小二乘法确定反射模型,用于减少投影条纹图案的数量。Lin等[9]提出了一种高效的自适应条纹投影方法,利用错位格雷码图案消除相位误差,能够精确测量物体三维形貌。然而,现有的光强调节方法通常需要确定用于坐标映射的全息矩阵或者标定相机响应曲线,过程相对复杂。
曝光调节方法的核心是在低曝光设置下捕获具有良好条纹质量的高反射表面,在高曝光设置下捕获具有良好条纹质量的低反射表面[11-13]。Wu等[11]提出了一种多曝光融合方法,通过构建高斯金字塔以及拉普拉斯金字塔实现了曝光条纹的多尺度融合。Rao等[14]通过分析条纹调制来预测多个曝光时间,但该方法中曝光总数固定,灵活性欠佳。Zhang[12]提出了一种基于手动选择百分比的全局最优曝光方法,用于高质量的三维形状测量。这些方法已被证明是可行的,但效率不高。
上述方法存在需要额外硬件辅助以及测量效率低等问题,为解决这些问题本文提出一种基于自动曝光的高反表面测量方法。针对目前多曝光融合方法中曝光时间需要人为选择的问题,采用Kmeans聚类算法对物体表面灰度值进行聚类,自动生成最佳曝光时间序列。然后采用3个衡量参数作为引导,结合区域掩码对不同曝光下的条纹图像进行多尺度曝光融合。结合区域掩码的多尺度曝光融合方法能够充分考虑图像的结构信息和亮度信息,无需生成中间图像便能精准实现不同曝光图像的融合。本文所提方法仅需单幅图片便可确定自动曝光时间,同时可克服物体表面的高反光特性,实现对高反光物体的自动、完整、精确三维重建,在自动化生产中具有一定应用价值。
1 基本原理
1.1 多步相移法
使用多步相移算法提取相位信息,其中条纹图案由计算机生成并通过投影仪投射。通常,计算机生成的标准图案[IS]具有以下形式:
[ISi=a+b?cosθ+2nπN] (1)
其中:[a]、[b]和[θ]分别表示背景强度、条纹调制和待确定相位;[n]表示相位索引,[n=0,1,2,…,][N-1],其中N表示条纹图像的总数;[ISi]代表生成的第[i]幅图片,[i=1,2,…,N]。
使用广义相位计算算法获取多步相移算法的相位信息[?],其表达式如下:
[?=arctan-ICi?sinδiICi?cosδi] (2)
其中:[δi=2πnN],[ICi]代表相机捕获的第[i]幅图像。
当条纹图中存在严重噪声、局部阴影或条纹断裂等情况,使用基于空间相位展开的算法会产生严重的误差传递,所以本文采用基于时间相位展开的三频外差法[15]对相位进行展开。
1.2 自动曝光时间选择
图1展示了简化的FPP系统中条纹图案从投射到被相机捕获的过程。由相机捕获的条纹图像[IC]可以写成如下形式:
[ICu,v=αtru,vIP+ru,vIA+IO+I’n]
(3)
其中:[(u,v)]表示相机图像平面的像素坐标,[α]表示相机灵敏度,[t]是相机的曝光时间,[r(u,v)]是物体表面每个像素的广义反射率,[I’n]表示传感器的随机噪声,[IP]、[IA]、[IO]分别代表投影仪投射光强、被测物体表面反射光强以及直接进入相机的环境光强。
在实际的FPP系统中,通过将相机的光圈调小,以使相机成像模型近似小孔成像模型。此时根据多步相移的强度计算公式,以及小光圈降低了直接入射到相机的环境光强,投影光强[IP]远大于[IA]和[IO],则式(3)可简化为如下形式:
[ICu,v=αru,vIPt+I’n=ku,vt+b] (4)
其中:[ku,v=αru,vIP],[b=I’n]。
式(4)描述了捕获图像[IC]与曝光时间t之间的线性关系,为后续计算曝光时间序列提供了理论基础。为实现最高的强度调制,必须尽量确保每个像素在相移法下都能达到最大值且不饱和,即最佳捕获灰度值为254。通过将最佳捕获图像灰度值定义为[ICopt],最佳曝光时间[topt]可由式(5)计算:
[toptu,v=ICopt-bku,v] (5)
环境不变时,式(4)中的[ku,v]和[b]保持不变,捕获图像[IC]的强度仅取决于曝光时间[t]。为了获取每个像素的最佳曝光时间[toptu,v],将均匀纯白图案投射到被测物体上,并使用初始曝光时间[t0]捕获物体表面图像。将式(4)代入到式(5)中,可得到如下最佳曝光时间[toptu,v]:
[toptu,v=ICopt(u,v)-bIC0(u,v)-bt0] (6)
式(6)中:[IC0]代表在[t0]曝光时间下捕获的图像,[ICopt(u,v)]设置为254。
根据式(6)可知,当截距[b]通过线性回归分析确定后,最佳曝光时间[toptu,v]仅取决于[IC0]。
本文提出了一种针对高反光物体的Kmeans聚类方法,通过分析被测物体的图像强度值,可以在一定区间内找到一个典型值,使用该值计算区间内像素的最佳曝光时间,区间划分如图2所示。使用Kmeans聚类方法根据物体表面强度值分布,将其划分为不同的簇,即根据强度值将像素总数为[m]的捕获图像[IC0={IC0(u1,v1),IC0(u2,v2),…,]
[IC0(um,vm)}]划分为[k]个簇,[Q=Q1,Q2,…,Qk]为由[k]个簇组成的集合。每个簇都有一个质心,将其作为典型值可以计算该簇内所有像素对应的最佳曝光时间,其中[M=M1,M2,…,Mk]为对应簇的聚类质心集合。本文使用聚类质心结合式(6)计算每个簇内像素对应的最佳曝光时间,所有簇对应的最佳曝光时间组成的集合[T=t1,t2,…,tk]为曝光时间序列,并采用肘部法确定聚类簇数。
<G:\武汉工程大学\2025\第6期\郑明辉-2.tif>[0 50 100 150 200 250
强度值][12
10
8
6
4
2
0][像素数量 / 103][Q1][Q2][Q3][Q4][Q5][Q6]
图2 聚类区间划分示意图
Fig. 2 Schematic diagram of clustering cluster partitioning
1.3 基于区域掩码的多尺度曝光融合方法
曝光融合方法是一种将多张不同曝光的序列图像融合为高质量图像的技术,简化了采集流程,无需计算中间图像。本文采用Mertens等[16]所提出的方法进行多曝光融合。使用对比度C、饱和度S、良好曝光度E作为衡量参数,同时在良好曝光度中引入区域掩码策略以抑制物体高反光特性。
对比度是衡量像素与其邻近像素差异程度的指标,计算公式如下:
[C=G(I)?h] (7)
式(7)中:[I]和[h]分别代表输入图像和拉普拉斯算子,[G(I)]表示将输入图像[I]转换为灰度图像操作,[?]表示拉普拉斯操作,|·|表示取滤波响应的绝对值。
饱和度是衡量彩色图片中每个单一颜色通道的值与3个通道平均值接近程度的指标,利用每个像素点在红、绿、蓝3个通道的标准差表示:
[S=(R-u)2+(G-u)2+(B-u)23] (8)
式(8)中:[R]、[G]、[B]分别代表红、绿、蓝3个通道强度归一化到[0,1]范围内的值;[u]表示[R]、[G]和[B]的平均值。
良好曝光度是反映像素曝光情况的指标。使用高斯曲线根据与强度阈值[P]的接近程度对每个强度进行加权,计算公式如下:
[E=e-(R-P)22σ2?e-(G-P)22σ2?e-(B-P)22σ2] (9)
其中:[σ]设置为0.2;[P]为强度阈值,在此参数中引入区域掩码机制以抑制捕获图像中高反光区域的过曝现象。
根据物体表面灰度值强度,将灰度值大于200的区域划分为高反光区域,小于等于200的区域划分为非反光区域。高反光区域强度阈值[P]设置为0.2以限制高反光特性,非反光区域强度阈值[P]设置为0.5。
2 结果与讨论
2.1 设备与参数
根据双目结构光三维重建原理,搭建了由1台数字光处理投影仪(型号为E530)和2台工业CMOS相机(型号为ME2L-161-61U3C)组成的三维测量系统。在实验中将相机光圈设置为F16,增益设置为0。通过捕获一组具有不同曝光时间的平面图像,并使用线性回归分析每个像素强度确定式(4)中的[b] = 0。同时使用肘部法确定聚类簇数,最终确定[k] = 6。
2.2 结果分析
为了验证本文所提方法的有效性,与文献[11]以及文献[13]所提方法通过实验进行定量比较。本次实验重建的对象为有高反光特性的铝制冲压表面,采用Kmeans聚类算法根据物体表面强度值进行分析,获取的曝光时间序列如表1所示。
表1 铝制冲压表面的自动曝光时间序列
Table 1 Automatic exposure time sequence of the
aluminum stamping surface
[k 1 2 3 4 5 6 [Mk] 252.2 180.7 117.7 66.4 28.5 6.9 [tk] / ms 16.614 23.198 35.621 63.102 146.796 603.663 ]
图3展示了被测物体表面灰度值的分布直方图。由图3可知,具有高反光特性的物体表面灰度值分布较为极端,对三维重建方法提出了较高要求。
实验物体表面三维重建结果如图4所示,由图4可知,相比文献[11]以及文献[13],本文所提方法在表面重建中取得了最为完整的结果。同时,为了定量比较各方法之间的差异,使用喷涂显影剂后铝制冲压表面的三维重建结果作为参考,通过均方根误差(root mean square error,RMSE,R)来评估测量结果:
[R=i=1Pn(Pmi-Pri)2Pn] (10)
其中,[Pmi]代表测量点云中第[i]个点的坐标,[Pri]代表参考点云中与[Pmi]对应的第[i]个点的坐标,[Pn]代表有效点云数量。
<G:\武汉工程大学\2025\第6期\郑明辉-3.tif>[0 50 100 150 200 250
强度值][100
90
80
70
60
50
40
30
20
10
0
][像素数量 / 103][1.4
1.2
1.0
0.8
0.6
0.4
0.2
0
][像素数量 / 103][50 100 150 200 250
强度值]
图3 被测物体表面灰度分布直方图
Fig. 3 Histogram of the grayscale distribution on the
measured object
<G:\武汉工程大学\2025\第6期\郑明辉-4.tif>[(b)][(a)][(d)][(c)]
图4 不同方法三维重建结果:(a)单次曝光方法,
(b)文献[13],(c)文献[11],(d)本文方法
Fig. 4 Three-dimensional reconstruction results of different methods: (a) single-exposure method, (b) the reference [13], (c) the reference [11], (d) the method proposed in this paper
从表2的重建结果中可知,本文所提方法重建结果的点云数量为726 549,高于其余对比方法。同时RMSE指标为0.103 0,在所有方法中表现最好。上述实验结果表明,本文提出的方法不仅能够自动重建高反物体表面的三维形貌,而且获取形貌信息完整、准确。
3 结 论
为解决现有高反表面测量方法需要引入额外硬件以及过程繁琐的问题,本文提出一种基于自动曝光的高反表面测量方法,只需要单张图片即可确定自动曝光所需的所有曝光时间。同时,在引导图像融合的衡量参数中提出的区域掩码机制,抑制了物体表面高反光区域的过曝现象,有效融合了不同曝光时间下所捕获的条纹图片,为高质量重建高反物体三维形貌提供了有利条件。与其他方法对比,本文所提方法在点云数量、完整度、精度方面都表现优异。本文所提方法无需额外硬件辅助,并且曝光时间自动确定,无需手动选择,使其成为工业生产中实现自动三维测量的有力工具,同时为材料研究领域中获取高反射材料的表面形貌提供了有效手段。