Map
HTML
-
激光焊是一种高密度热源焊接形式，具有焊接速度快、焊缝深宽比大的特点，主要用于不锈钢、钛和铝等金属的焊接。在焊接过程中，保护气对熔池和热影响区的有效保护是保持高速焊接的前提。LI[1]指出, 钛合金激光焊接时容易吸收空气中的氮、氧和水蒸气，形成的间隙固溶体阻碍晶间运动，容易产生局部过硬和应力不均而形成裂纹。氧污染影响了商业纯钛激光焊接的微观组织结构，通过质量检测实验证实了焊缝表面颜色与焊缝组织结构和机械性能之间具有关联性[2-3]，焊缝表面颜色反映了焊接头机械特性的好坏。FAN等人[4]开展了钛合金激光焊接实验，结果表明，钛合金焊缝表面为银白色、浅黄和金黄色时，焊接头机械性能良好，而焊缝表面为蓝色和灰色时，焊接质量不合格。显然，通过焊缝表面颜色可以初步判断焊接头的质量，这也是目视检测的主要指标点。除了由钛合金激光焊接焊缝颜色判断焊接头质量外，铝合金和不锈钢等焊缝也可以通过颜色来初步判断焊接质量。GUPTA等人[5]通过观察铝合金激光焊缝表面颜色来判断焊缝质量。HUA等人[6]采用激光视觉检测方法分割出车身激光钎焊焊缝区域，依据焊缝区域颜色和形状来判断焊接质量是否合格。实际生产过程中，不可能完全通过焊接头的组织分析这种有损检测的方式来检验焊接质量，通过焊缝表面颜色和状态来预估焊缝质量是企业常用的方法。
焊缝颜色自动识别过程包括焊缝区域分割和颜色识别两个过程。首先需从焊接件分割出焊缝区域，然后对分割出的区域进行颜色识别。分割是识别的前提，分割精度越高，颜色识别效果越好。基于阈值的Otsu法及其改进算法能较好实现图像分割。QI等人[7]用方差信息代替传统Otsu算法中的均值信息，保证类间距离最大的同时也考虑类内像素的内聚性，适合于焊缝区域提取。MALARVEL等人[8]采用最小概率加权方式调整焊缝分割阈值，错误分类评价显示出焊缝分割效果较好。针对阈值分割算法中过度分割的问题，焊缝区域采用基于距离场的形态学分割算法效果有明显提高[9-10]。RADI等人[11]采用水平集算法实现焊缝区域分割，证实了这种算法具有时效性和通用性。近年来，深度学习技术得到飞速发展，通过深度学习提取射线图像特征进行焊缝区域分割和缺陷检测取得了很好的效果，能有效克服光照变化、焊缝形状和焊缝颜色多样性所产生的影响[12-14]。传统的图像处理方法通过寻找合适阈值实现背景分割，往往会产生背景分割过度或不足的问题，且分割区域不够连续。从理论上讲，由于焊缝颜色多样性，传统的图像处理方法无法仅仅依据阈值方法实现焊缝区域分割。采用深度学习方法进行焊缝区域分割和缺陷识别效果良好。U型网络(U-Net)最初应用在医学领域的图像分割，能够在复杂组织中精确识别出特定病理区域[15-16]。尤其是注意力机制的引入，分割效果得到极大提高[17]。本文中引入U-Net算法来实现激光焊缝区域图像语义分割。
彩色焊缝图像一般用红绿蓝RGB三基色模型来表示，不同颜色由不同强度的红色(red)、绿色(green)和蓝色(blue)混合而成。RGB颜色模型面向硬件，适合于计算机处理，但不太适合于人眼对颜色的识别。人眼对颜色识别通常采用色度、饱和度和亮度HSV颜色模型。LI等人[18]研究指出，HSV颜色空间的色度(hue)、饱和度(saturation)和亮度(value)是独立的，根据物体在HSV颜色空间的偏振光信息区分物体的种类。ZHONG等人[19]的研究表明，HSV模型对细微的色度变化具有更高的灵敏度，更适合于人眼对颜色的识别。RGB转换到HSV颜色空间是一种高效的数值计算，不会带来图像精度的损失[20]。近年来，采用深度学习中图像分类的方法对HSV颜色空间的物体实现颜色区分取得了较好的效果，然而其本质是一种颜色分类，必须事先知道要识别的所有颜色[21-23]。可见，在HSV颜色空间依据色度、饱和度和亮度的取值范围来确定颜色是可行的，应用范围也比较广泛。深度学习的颜色识别虽然提高了精度，但是整幅图像的颜色识别需要更多的推理时间，所有种类的颜色也必须提前预知。
本文中以钛合金激光焊接为例，采用注意力机制U-Net(attention U-Net)算法实现焊缝区域的分割。接着对分割后区域做二值化处理，去除孤立的噪声区域，得到焊缝分割的二值图，最后提取实际焊缝图像。焊缝图像从RGB转变到HSV颜色空间，在HSV空间依据色度H、饱和度S和亮度V的取值范围来确定焊缝颜色。焊缝颜色的自动识别能够克服焊缝目视检测不足，为实现焊缝表面检测自动化提供理论支撑。
-
激光焊接采用美国IPG公司YLS2000型号的光纤激光器，焊接材料为TC4/TA2钛合金，通过KUKA机器人实施焊接。焊接完成后，利用相机对焊接工件拍照得到焊缝图像，再采用深度学习中attention U-Net算法分割出焊缝区域。接着将焊缝区域从RGB转换到HSV颜色空间，最后在HSV颜色空间计算焊缝区域的平均色度，依据H、S和V的取值范围确定焊缝颜色，初步判断焊缝质量是否合格，整个过程如图 1所示。
Figure 1. Color recognition process for weld
激光焊缝具有深度比大的特点，焊缝宽度普遍较小，焊缝长度可长可短。因此，利用相机拍摄焊缝可分为以下几种情况：完整焊缝、焊缝初始或终止部分、焊缝的中间部分，如图 2所示。深度学习训练前必须对训练图像进行标注，而标注工具LABELME软件规定图像边界不能作为焊缝区域，因此，对于图 2b和图 2c近似采用靠近图像边缘作为标注边界。模型训练过程发现，焊缝区域越靠近图像边界计算误差越大。U-Net算法在下采样过程中图像越来越小，激光焊缝宽度本来就比较狭窄，网络深度过大焊缝图像会失去边界信息。模型不宜采用过深的网络结构，也无须采用丢弃法(dropout)，防止特征信息的丢失。模型网络结构尺寸和深度由激光焊缝宽度大小来决定。
Figure 2. Three types of welds
-
激光焊缝区域图像分割是对焊接质量合格和不合格两种情况下的焊缝提取，然而这两种焊缝通常具有多种不同颜色和形状，采用普通的颜色阈值分割和自适应阈值分割Otsu算法不能得到完整的焊缝区域，存在过度分割或分割不足的问题，进一步影响焊缝颜色识别，可能会对焊接质量检测做出误判。深度学习的语义分割方法克服了焊缝形状和颜色多样性问题，大量样本的训练使得模型提取了不同形状和不同颜色焊缝区域的多种特征，能够有效实现焊缝区域的分割。采用attention U-Net算法分割焊缝图像，如图 3所示。图中，conv(convolution)表示卷积计算，maxpool是最大池化，up conv为上卷积计算。
Figure 3. Weld segmentation model based on attention U-Net
由图 3看出，attention U-Net算法是典型的编码器和解码器结构，共分为5层。编码每次通过2次3×3的卷积提取特征，数据归一化后输入线性整流函数(rectified linear unit，ReLU)激活函数。然后采用2×2的最大池化降低维度，减少计算量，同时提取更高层次的图像特征。编码阶段共进行4次最大池化，图像尺寸从512×128以2的倍数逐步减少，第5层图像尺寸32×8。解码阶段采用4次上采样，每一层每次编码器的图像乘以注意力系数后再与同一层尺寸相同的上采样后的图像拼接，再连续做2次3×3的卷积，归一化后采用线性整流函数ReLU激活，再进行下一次上采样。上采样后图像尺寸以2的倍数增大，4次上采样后图像尺寸恢复到512×128。最后一次采用通道数为2的卷积计算，用归一化激活函数(softmax)计算每个像素点属于焊缝的概率，实现焊缝与背景的分割。
深度学习的图像语义分割除了U-Net算法外，具有代表性的还有全卷积网络(fully convolutional network，FCN)[24]和DeepLab V1~V3系列模型[25]等。图像语义分割本质上是像素级的分类问题。FCN模型的特征提取采用了经典的AlexNet、视觉几何组(visual geometry group，VGG) 和GoogLeNet等网络，以VGG16作为骨干网络的分割效果最好[23]。然而，VGG16网络结构较深和池化操作次数较多，而激光焊接的焊缝宽度狭窄，输入图像的像素宽度为128，在VGG16模型中经过5次池化后宽度变成4个像素，焊缝可能已经失去了原有特征信息，无法通过上采样恢复焊缝区域。DeepLab系列模型以VGG、ResNet和Xception作为骨干网络，采用多尺寸空洞卷积计算提取图像特征，避免了多次池化操作引起的特征丢失的问题，但对焊缝图像宽度为128的图像分割效果很一般。多次调试发现，过深的网络结构不利于激光焊缝图像分割，主要是由于激光焊缝宽度狭窄和焊缝颜色多样性引起的。U-Net算法通过图像拼接同时考虑了低层次和高层次图像的特征信息，通过较少的训练样本也能得到较好的分割效果[14]。依据激光焊缝特点，选择U-Net算法做焊缝图像分割。
深度学习注意力机制包括：空间注意力和通道注意力。对图像中每个像素的权重处理来调节各个像素点的作用，是空间注意力机制。强化某通道图像的作用，同时弱化其它通道的作用称为通道注意力机制。本文中采用的是空间注意力机制，数组att[ ]是每一层的注意力系数，att[0]是最上层注意力系数，att[3]是最下层注意力系数，整个模型共有4层添加了注意力系数，如图 3所示。对于每一层，最后一次卷积所得到图像乘以本层的注意力系数，再与下层上采样图像拼接，最后进行2次卷积计算提取图像特征。
引入注意力机制强化了输出特征对低层图像中特定像素点的影响，弱化了图像中不重要的特征，从而提高了计算精度。att[ ]系数的计算是编码器中最后一次卷积计算图像与解码器中同一层特征图像拼接，接着进行2次3×3的卷积，再1×1卷积，这样就得到与图像尺寸一致的注意力系数矩阵[16]。
-
激光焊接过程中产生飞溅凝固在工件表面，或者类似于图 4a中人工标注的C11位置处等，U-Net图像分割算法后可能在这些位置形成噪声，如图 4b所示。分割的好坏会影响颜色识别结果，采用图像处理的方法解决这个问题。先将预测图通过自适应阈值的方法转变成二值图，然后计算图像中每个封闭区域的面积，再将面积小于某个值的区域删除，剩下的面积最大区域就是完整的焊缝区，如图 5所示。由图 5和图 4b比较可以看出，后处理图完全过滤了噪声，与图 4c标定图像非常吻合，分割精度明显提高。
Figure 4. Post-processing of predicted image
Figure 5. Binary image after processing
-
激光焊缝分割本质上是对图像上每一个像素点的二分类预测，采用计算集合相似度度量函数(dice)系数评价分割质量，其范围是[0, 1]，0表示没有重合区域，1表示预测区域与标定区域完全一致。本项目是把类似于图 5中预测图处理后的二进制图像与标定图比对，来计算集合相似度度量函数(dice)系数D:
式中，A代表预测图像经过后处理的图像, 由于预测图像含有噪声，没有直接代入计算; C是标定的图像。
1.1. 图像分割算法
1.2. 预测图像的后处理
1.3. 分割质量评价
-
HSV颜色空间中H体现色度大小，其取值范围为，红色、绿色和蓝色对应范围分别为0°、120°和240°，其它颜色通过线性插值获得。S、V分别是饱和度和亮度的大小，二者取值范围均为，其值为一个比例值，饱和度表示颜色深浅，饱和度越高颜色越深；V则体现颜色的亮度，数值越接近于1则物体越白。在开源计算机视觉(open source computer vision，OpenCV)软件库中，H、S和V数值的取值范围分别为[0°, 180°]、[0, 255]和[0, 255]，可依据颜色对照表确定具体颜色。
依据OpenCV官方手册提供的方法，将焊缝模型从RGB转变到HSV颜色空间，如下所示：
式中，R、G和B分别表示颜色空间中红色、绿色和蓝色分量的值，S的取值范围为[0,1]，在OpenCV算法中，S=255×S，其区间范围变成[0,255]。同理，(4)式中，假如H<0°，则H=H+360°, 对于8位存储图像，H=H/2，使得H的区间变成[0°,180°]。经过计算，焊缝图像从RGB转变到HSV颜色空间，根据颜色对照表中H、S和V取值范围确定焊缝颜色。
焊缝表面颜色是判断焊接接头机械性能的重要依据，在HSV颜色空间, 对参数H、S和V设置合适的取值范围就能识别特定颜色，以此来判断焊接质量。依据实际的光照条件，调节H、S和V取值范围，能够实现对不同材料焊缝区域不同颜色识别，初步判断焊接质量。例如，对于钛合金材料，焊缝区域为银白色、金黄色和浅黄色时焊接质量合格; 而在不锈钢焊接时，焊缝为银白色时合格，为黑色时表示严重过烧。
-
焊缝区域语义分割实际上是针对焊缝图像每个像素点的二分类问题，判断像素点是属于焊缝，还是属于背景。焊缝图像分割模型在图像处理单元(graphic processing unit，GPU)上训练，GPU型号NVIDIA Geforce RTX2060，内存6 GB，内存大小决定了图像处理单元(batchsize)的最大值。采用Labelme软件标注。模型训练样本为300张图像，测试图像为50张。模型采用Adam的优化策略求解，初始训练学习率为1×10-3，训练10个周期(epochs)后学习率调整为1×10-4，再训练30 epochs，最后在学习率为1×10-5、训练20 epochs可以达到较好的效果。训练过程中，参数batchsize大小决定搜索方向，batchsize从2开始调整，以2的倍数逐渐增大，在不存在过拟合情况下加大epochs的值，能得到较好的训练模型。
由图 6和表 1可知，3种焊缝分割效果良好，对于两端焊缝和中间焊缝，由于Labelme软件标注的原因，靠近图像边界的焊缝区域存在极少焊缝面积没有提取到的情况，虽然dice系数值会略微减小，但对焊缝颜色识别没有影响。attention U-Net模型焊缝dice系数值略高于U-Net模型，这只是对焊缝总体而言的。多次实验表明，对于同一个样本，不能保证添加注意机制的效果一定比没有添加的效果好，表 1所示两端焊缝的焊缝区域分割中U-Net模型的dice系数值高于at-tention U-Net模型，分割效果好坏是在总体样本上评估，不是针对单个样本。U-Net模型焊缝分割推理时间约为36 ms，attention U-Net模型焊缝分割推理时间约为60 ms。与U-Net模型相比，attention U-Net模型只是增加了attention系数矩阵的计算，计算量没有急剧增加。
Figure 6. Segmentation results of three welds
model integrity
weld/%middle
weld/%beginning or
end of weld/%attention U-Net 95.91 94.93 93.2 U-Net 94.2 91.5 94.9 Table 1. Dice values of three welds
激光焊缝表面凝固的飞溅和一些手工标注会影响分割的结果，检测前尽量消除这些不利因素。当然，良好的分割模型可以有效克服这些不利因素，但会增加算法的复杂度。采用训练好的U-Net模型对焊缝做区域分割，分割后的图像后处理之后提取实际焊缝区域，在HSV颜色空间计算焊缝H、S和V平均值，得到焊缝颜色，并以此初步判断焊缝质量是否合格。
从表 2可以看出，颜色类似的中间焊缝和两端焊缝在HSV颜色模型中计算出来的色度H值都是14°，可以初步判断这两种焊缝属于同样色系，只是饱和度S值和亮度V值略有差别。而完整焊缝的H计算值是49°，与前两种不是一个色系，这一点通过肉眼观察也可以看出。模型是否添加注意力机制对H、S和V计算值大小影响不是特别明显，但attention U-Net模型分割效果总体要优于U-Net，理论上能得到更好的H、S和V计算值。
H/(°) S V attention
U-NetU-Net attention
U-NetU-Net attention
U-NetU-Net integrity weld 49 50 32 32 189 191 middle weld 14 14 103 112 179 163 beginning or
end of weld14 14 101 100 154 158 Table 2. Calculated values of H, S and V in the weld zone
实际生产中，首先通过有损检测判断某颜色焊缝质量合格，后期生产中利用本文作者提出算法计算焊缝区域H、S和V值确定焊缝颜色，进而判断焊接质量，而不再需要对工件做破坏性检测。目前，国内大部分工厂采用的是依靠人眼的目视检测方法，但这种方法过于依赖工人的主观判断，由于疲劳和不同工人对于颜色的敏感度差异，对同一焊缝的颜色识别可能会给出不同结果，从而影响焊接质量评估。本文作者提出的焊缝颜色自动检测可以解决这个问题，通过设置不同H、S和V值可以识别多种颜色，而且适用于其它金属的激光焊接。
-
由于激光焊缝颜色和形状的多样性，传统的图像处理方法无法分割出完整的焊缝区域，最终影响焊接质量目视检测结果。改进的attention U-Net模型能克服这些不利影响，提取出高质量的焊缝区域，对分割后的图像做后处理，能继续提高语义分割dice系数精度值。在HSV空间进行焊缝颜色自动识别，能够解决人眼疲劳所带来的目视检测误差。焊缝的3种不同形式和Labelme软件标注对分割dice系数值有一定的影响，但不影响焊缝表面颜色识别。焊缝颜色的色度H值确定了焊缝颜色色系，是颜色识别主要参数。焊缝分割和颜色自动识别在制造企业中应用广泛，是实现焊接自动化的重要前提和理论支撑。
DownLoad: