网站地图
下载:
-
电弧增材制造技术是以电弧为热源将金属焊丝熔化，逐层堆积形成3-D实体零件，属于低成本金属零件直接制造的重要研究方向[1-3]。由于目前电弧增材成形过程中工艺参量复杂，熔滴过渡方式难以控制以及层间温度积累等因素的影响[4-5]，导致电弧增材难以达到理想的成形效果，因此, 必须对电弧增材制造产品做成形检测，为增材工艺试验提供反馈信息，传统检测依赖人工测量，主观判断难以满足工业需求。激光视觉传感是基于三角测量原理的无损检测技术[6]，根据激光条纹在增材制造表面的形变获取3-D形态信息，采集增材制造表面轮廓图像，获得相应的表面成形信息。
利用视觉传感技术可以检测焊接缺陷以及焊缝成形[7-9]，其中激光视觉传感技术通过采集激光条纹被动地获取焊缝形态信息[10]，为保证接头质量[11-12]、实现焊接自动化水平提供理论依据。激光条纹中心线的提取精度决定了焊缝3-D重建效果的好坏。对激光条纹图像预处理后，有学者使用方向模板法提取条纹中心线，利用斜率分析和最小二乘法拟合，准确提取焊缝特征拐点[13]。或者利用密集采样训练核正则最小二乘区分图像中的噪声和激光条纹线，提出一种序列重心法提取条纹中心线，双阈值递推最小二乘法对条纹中心线进行拟合求交[14]；也有学者利用深度卷积神经网络强大的特征表达能力和自学习功能，研究基于深度分层特征的条纹特征点提取方法，具有较强的抗干扰能力[15]；还有学者提出基于遗传算法的平面焊缝特征提取方法，迭代提出噪声，快速获取激光条纹的准确位置和焊缝特征点坐标[16]。以上方法的目的在于解决激光条纹中心线的精确提取与焊缝特征点的快速定位，能够用于传统的焊缝3-D成形检测工作当中。但是由于多层单道电弧增材制造表面堆积高度的问题，无法从单一角度采集完整的表面条纹图像，并且传统的激光条纹定位和提取方法无法准确定位表面特征曲线位置。
作者通过激光视觉传感系统采集电弧增材焊件的上表面和侧表面轮廓的激光条纹图像，从条纹图像出发，提出一种基于边界约束的感兴趣区域(region of interest, ROI)定位选取方法，通过坐标转换生成没有多余信息的电弧增材的焊缝表面轮廓，为多层单道电弧增材制造表面的3-D成形检测提供一种新的试验方案。
-
电弧增材表面3-D成形检测方式如图 1所示。通过调整焊件的摆放位置如图 1a和图 1b所示，采集多层单道电弧增材的上表面和侧表面轮廓特征信息。自主搭建的激光视觉传感装置主要由线激光发射器和相机组成，相机分辨率1024×768，采用8mm镜头，镜头外加625nm~665nm窄带滤光片，线激光器发射波长为650nm，最小线宽0.8mm。将工件固定于运动平台上，激光视觉传感器固定于工件上方，相机垂直于待测工件表面，通过工控机控制运动平台延焊件长度方向扫描，同时，激光视觉传感器采集扫描过程中的激光条纹图像传递给工控机，通过图像处理算法获得轮廓的图像坐标，代入标定得到的坐标转换公式获得焊件表面的3-D数据点。
Figure 1. Schematic diagram of 3-D forming detection method for arc additive surface a—top surface forming measurement b—side surface forming measurement
-
为了对电弧增材表面3-D重建，必须对激光视觉传感器进行标定，建立图像坐标与世界坐标的转换关系，即图像像素偏差与实际空间位置偏差之间的关系。激光视觉传感器在扫描过程中相机始终垂直于待测轮廓表面，保证标定精度符合3-D测量精度的前提下可以采用锯齿靶标线性标定法[17]。如图 2所示，锯齿间距为10mm，齿高为5mm，锯齿靶标整体长为45mm，宽60mm。以O点为世界坐标系(xw, yw, zw)的原点。yw方向的进给当量与相机采集频率f和扫描速度v有关，即ρy=v/f，单位为mm/(frame·s-1)。相机采集分辨率为w×h，宽度方向的实际采集范围为l，若不考虑相机畸变，xw方向的进给当量ρx=l/w，单位为mm/pixel。由于畸变原因，实际上的ρx会随着高度增加而变化。为了确定xw, zw方向单位像素当量ρx, ρz，借助标准锯齿靶标进行标定。
Figure 2. Schematic diagram of sawtooth target
将锯齿靶标固定于运动平台，x轴和y轴方向固定不动，逐步调整z轴的高度，特征点(A~G)的世界坐标已知，利用激光视觉传感系统采集并提取特征点的图像坐标。以特征起点A和终点G作为标定参考点，A点世界坐标Zw, A已知，两点间的实际距离为d，采用图像处理的方法计算出图像坐标系下A的像素坐标(uA, vA)以及A, G两个特征点像素距离Δ，则ρx=d/Δ。则Zw, A与uA, ρx与Zw, A满足如下多项式拟合关系:
$ {Z_{{\rm{w}}, A}} = - 0.0003613v_A^2 - 0.145{v_A} + 56.88 $
(1) $ {\rho _x} = - 0.0006437{Z_{{\rm{w}}, A}} + 0.1314 $
(2) A点实际高度变化与图像横坐标呈二次相关，ρx与高度值呈负相关。假设激光视觉传感器采集的图像帧数序列为n，世界坐标系(xw, yw, zw)与图像坐标系(u，v)的转换关系为:
$ \left[ {\begin{array}{*{20}{l}} {{x_{\rm{w}}}}\\ {{y_{\rm{w}}}}\\ {{z_{\rm{w}}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{\rho _x} \times u}\\ {{\rho _y} \times n}\\ { - 0.0003613{v^2} - 0.145v + 56.88} \end{array}} \right] $
(3) -
为测试激光视觉传感系统测量精度，对扫描后的标准锯齿靶标进行3-D重建。从锯齿靶标3-D坐标数据集中随机抽取多组轮廓数据，计算锯齿高和靶标宽度。锯齿高4.85mm，平均误差0.15mm。靶标宽59.92mm，平均误差0.08mm。此时锯齿靶标yw方向的进给当量ρy=0.0307mm/(frame·s-1)，共采集锯齿靶标轮廓1460帧，锯齿长0.0307×1460=44.82mm, 误差0.18mm。3-D重建的整体误差在0.2mm以内，能够满足电弧增材表面3-D测量精度的要求。
-
激光条纹的中心线像素坐标的提取精度和准确性会影响到最后3-D重建的结果。采用图 1所示的两种采集方式获得的原始激光条纹图像如图 3所示。两种原始条纹图像都包含电弧增材表面特征曲线、基板以及运动平台的图像信息，其中采集的上表面条纹图像还包含了侧表面部分轮廓断点。特征曲线反映了电弧增材表面的轮廓变化，为了得到电弧增材表面的3-D轮廓特征，必须找到合适的ROI，准确定位表面特征曲线位置，再通过相关图像处理算法对ROI中的条纹图像进行像素坐标提取。
Figure 3. Original laser stripe images a—top stripe image b—side stripe image
-
对比图 3中上表面(见图 3a)与侧表面(见图 3b)的条纹图像，采集得到的原始条纹图像都具有以下特征：激光条纹线附近的灰度值较大，其余部分(如底板、焊缝等)灰度值较小；特征曲线与底板均存在一定的高度差；特征曲线连续变化，未出现断点现象。
利用上述特征可以提取条纹图像中特征曲线的ROI，具体提取流程如图 4所示。以侧表面条纹图像为例。图 4a是原始图像经过灰度化、中值滤波以及二值化等预处理操作得到。从上至下对图 4a逐行扫描，然后左右双向遍历寻找每一行中首次出现灰度值为255的像素点，记为左边界点集和右边界点集。然后根据特征曲线与底板存在的高度差这一特征，删除左右边界点集中首次出现纵坐标不连续的点，剩余点集即为所要的特征曲线边界，如图 4b所示的红色点集即为边界点。然后求出左边界点中横坐标最小值umin和纵坐标最小值vmin以及右边界点中横坐标最大值umax和纵坐标最大值vmax, 分别对应ROI矩形区域的左上角坐标(umin, vmin)，右下角坐标(umax, vmax)，最终得到的ROI矩形区域如图 4c所示。
Figure 4. Flow chart of feature curve ROI extraction a—binarization image b—boundary point c—ROI extraction
在对电弧增材表面3-D重建的过程中，ROI的选取将直接影响3-D重建后的效果，为验证上述方法的可行性，从采集得到的电弧增材上表面和侧表面图像中随机选取多帧进行ROI提取，运用该方法都准确识别到了特征曲线的ROI，能够保证像素坐标提取工作的顺利进行。
-
首先对原始图像进行灰度化、高斯滤波，然后在该图像的ROI区域进行特征曲线像素坐标提取工作。由于3-D重建所需要提取的图像数量较大，方向模板法虽然拥有较高的提取精度[18]，但是运算复杂，不宜在图像数量庞大的提取工作中使用。基于极大值的灰度重心法采用指针遍历像素坐标[19]，已知ROI区域更是缩小了提取范围，提取速度较快，能够满足3-D重建的精度需求。具体实施方法见下。
对预处理后的ROI区域逐列扫描，寻找该列灰度值最大的像素点坐标设为(x, y)，其灰度值为p(x, y)。然后利用灰度重心法求得ROI中第x列的像素坐标(u, v)表示为：
$ \begin{array}{l} [u, v] = \left[ {x, \;\frac{{\sum\limits_{i = - 3}^3 p (x, y + i) \times (y + i)}}{{\sum\limits_{i = - 3}^3 p (x, y + i)}}} \right]\\ \end{array} $
(4) 最终的特征曲线像素坐标提取结果如图 5所示。图 5a提取了顶部，图 5b提取了侧面。
Figure 5. Pixel coordinate extraction of feature curve a—pixel coordinate extraction of top stripe image b—pixel coordinate extraction of side stripe image
-
采用熔化极气体保护焊接得到多层单道电弧增材焊件，堆积层数为4层。使用激光视觉传感延长度方向分别对焊件上表面和侧表面扫描完成后，对每一帧图像进行前面所述的ROI选取、特征曲线像素坐标提取等工作，得到的像素坐标代入(4)式所示的坐标，转换得到相应的世界坐标。读取世界坐标信息并绘制电弧增材表面的深度图，如图 6所示。
Figure 6. Depth map of arc additive surface a—depth map of top surface b—depth map of side surface
由于激光视觉传感器延焊件长度方向逐条扫描以及提取的像素坐标也是由一连串的点集构成，所以经过坐标转换得到的世界坐标也是由无数离散点构成，为了实现电弧增材表面的3-D重构，必须对这些离散的3-D点进行拟合形成实体表面。目前应用比较广泛的是Delaunay三角剖分法[20]，该方法会选定3-D点集中的3个点构成原始三角形，由此向周围循环扩展，由局部到整体形成一个完整的三角网格曲面。利用Delaunay三角剖分法对采集得到的电弧增材上表面和侧表面数据点进行处理，得到如图 7所示的3-D实体表面。
Figure 7. 3 -D reconstruction map of arc additive surface a—3-D reconstruction map of top surface b—3-D reconstruction map of side surface
-
激光视觉传感系统能够通过采集多层单道电弧增材制造的不同焊缝表面对其进行3-D重构，通过标准锯齿靶标建立激光条纹像素坐标与电弧增材表面轮廓的世界坐标的转换关系，标定精度0.2mm以内，满足3-D重构需要。基于边界约束的ROI提取方法能够直接获取电弧增材表面轮廓的特征曲线区域，适用于不同焊缝表面激光条纹图像，减少了像素坐标提取的图像遍历时间。通过转换模型能直接获得特征轮廓的3-D坐标，无须对3-D重构后的数据进行再处理工作。Delaunay三角剖分法能够对3-D离散点拟合，得到更加平滑的实体表面。
多层单道电弧增材表面3-D重构方法研究
Research on 3-D reconstruction method of multi-layer single-pass arc additive manufacture surface
-
摘要: 为了研究多层单道电弧增材表面3-D成形特征，采用激光视觉传感系统采集电弧增材制造表面条纹图像。提出基于边界约束条件的感兴趣区域(ROI)提取法对焊缝特征曲线进行定位，获取ROI的激光条纹像素坐标。进行了理论分析和实验验证，得到电弧增材表面的3-D离散点数据，采用Delaunay三角剖分对离散点拟合形成3-D实体表面。结果表明，锯齿靶标的线性标定方法，3-D重构精度在0.2mm以内; 基于边界约束条件的ROI提取方法能准确定位电弧增材上表面和侧表面的条纹特征曲线。这一结果对电弧增材表面的3-D成形检测是有帮助的。Abstract: In order to investigate the 3-D forming characteristics of multi-layer single-pass arc additive manufacture surface, the laser vision sensing system was built to collect the surface stripe images of arc additive manufacture. An region of interest (ROI) extraction method based on boundary constraints was proposed to locate the weld characteristic curve, getting the laser stripe pixel coordinates of ROI. Through theoretical analysis and experimental verification, the 3-D discrete points set of the arc additive surface were obtained, and the discrete points were fitted to form a 3-D solid surface by Delaunay triangulation algorithm. The results show that 3-D reconstruction accuracy is within 0.2mm by linear calibration method of sawtooth, and the ROI extraction method based on boundary constraints can accurately locate the stripe characteristic curve of the top surface and side surface of the arc additive manufacture. The 3-D reconstruction of the arc additive manufacture surface can visually describe the formation of the weld, which provides a new test method for surface forming inspection of arc additive manufacturing. It is beneficial for 3-D forming detection of arc additive manufacture surface.
-
Key words:
- sensor technique /
- 3-D reconstruction /
- region of interest extraction /
- arc additive
-
Figure 1. Schematic diagram of 3-D forming detection method for arc additive surface a—top surface forming measurement b—side surface forming measurement
Figure 4. Flow chart of feature curve ROI extraction a—binarization image b—boundary point c—ROI extraction
Figure 5. Pixel coordinate extraction of feature curve a—pixel coordinate extraction of top stripe image b—pixel coordinate extraction of side stripe image
Figure 6. Depth map of arc additive surface a—depth map of top surface b—depth map of side surface
-
[1] ZHOU X M, TIAN Q H, DU Y X, et al. Simulation of grain growth in single-pass two-layer deposition of arc welding based additive forming process[J]. Chinese Journal of Mechanical Engineering, 2018, 54(22):100-108(in Chinese). [2] FENG Y, ZHANG P X, JIA J L. Research progress of wire + arc additive manufacturing in past two years[J]. Hot Working Technology, 2018, 47(21):23-26(in Chinese). [3] XIONG J, XUE Y G, CHEN H, et al. Status and development prospects of forming control technology in arc-based additive manufacturing[J].Electric Welding Machine, 2015, 45(9):45-50(in Chinese). [4] RÍOS S, COLEGROVE P A, WILLIAMS S W. Metal transfer modes in plasma wire+arc additive manufacture[J]. Journal of Materials Processing Technology, 2018, 264(8):45-54. [5] SHI J, LI F, CHEN S, et al. Effect of in-process active cooling on forming quality and efficiency of tandem GMAW-based additive manufacturing[J]. International Journal of Advanced Manufacturing Technology, 2019, 101(5/8):1349-1356. [6] XIAO C J, ZHANG J Ch, WEI Y, et al. Measurement of glass bubble size based on laser vision principle[J]. Laser Technology, 2015, 39(3):391-394(in Chinese). [7] MA N J, GAO X D, ZHOU X H, et al. Analysis of magneto-optical imaging characteristics of weld defects under magnetic field excitation[J]. Laser Technology, 2018, 42(4): 525-520(in Chinese). [8] DU L L, GAO X D, ZHOU X H, et al. Study on the magneto-optical imaging law of laser welded crack under excitation of rotating magnetic field[J]. Laser Technology, 2018, 42(6): 780-784(in Chinese). [9] DING X D, GAO X D, ZHANG N F, et al. Measurement of welding formation based on laser vision sensing[J]. Manufacturing Technology & Machine Tool, 2018(12): 98-101(in Chinese). [10] DING Y, ZHANG X, KOVACEVIC R. A laser-based machine vision measurement system for laser forming[J]. Measurement, 2016, 82(10):345-354. [11] HUANG Y J, GAO X D, LIN S D. Influences of laser welding parameters on mechanical properties of polymethyl methacrylate and stainless-steel joints[J]. Chinese Journal of Lasers, 2017, 44(12):1202006(in Chinese). doi: 10.3788/CJL201744.1202006 [12] XIN X Ch, HUANG G Z, ZHANG J J, et al. Microstructure and mechanical properties of composite welded joints of high nitrogen steel[J]. Laser Technology, 2018, 42(4):476-481(in Chinese). [13] LU X, GU D, WANG Y, et al. Feature extraction of welding seam image based on laser vision[J]. IEEE Sensors Journal, 2018, 18(11):4715-4724. doi: 10.1109/JSEN.2018.2824660 [14] LI X D, LI X H, KHYAM M O, et al. Robust welding seam tracking and recognition[J]. IEEE Sensors Journal, 2017, 17(17):5609-5617. doi: 10.1109/JSEN.2017.2730280 [15] ZOU Y B, ZHOU W L, CHEN X Zh. Research of laser vision seam detection and tracking system based on depth hierarchical feature[J]. Chinese Journal of Lasers, 2017, 44(4):0402009(in Chinese). doi: 10.3788/CJL201744.0402009 [16] ZHANG B, CHANG S, WANG J, et al. Feature points extraction of laser vison weld seam based on genetic algorithm[J]. Chinese Journal of Lasers, 2019, 46(1):0102001(in Chinese). doi: 10.3788/CJL201946.0102001 [17] WANG W Ch, GAO X D, DING X D, et al. Detection of non-groove butt joint feature based on corner principle[J]. Transactions of the China Welding Institution, 2018, 39(9):61-64(in Chinese). [18] WANG Z H, ZHANG Zh W. Adaptive direction template method to extract the center of structured light[J]. Laser Journal, 2017, 38(1):60-64(in Chinese). [19] ZHAN W W, LU H Y, WANG X, et al. Experimental study on sub-pixel subdivision location of linear CCD based on gray weighted centroid algorithm[J]. Optical Technique, 2018, 44(4):476-479(in Chinese). [20] YANG P Ch. Research on laser displacement 3-D reconstruction measurement method for weld surface defects[D]. Guangzhou: Guangdong University of Technology, 2018: 47-50(in Chinese). -
点击查看大图
图(7)
计量
- 文章访问数: 4367
- HTML全文浏览量: 2394
- PDF下载量: 19
- 被引次数: 0
