高级检索

ISSN1001-3806CN51-1125/TN 网站地图

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

激光焊缝图像分割与颜色识别方法研究

吴家洲 刘君 施佳文 张胜

引用本文:
Citation:

激光焊缝图像分割与颜色识别方法研究

    作者简介: 吴家洲(1973-),男,博士,讲师,现主要从事图像处理、机器学习和嵌入式系统设计等方面的研究。E-mail: jiazhouwu@163.com.
  • 基金项目:

    国家自然科学基金资助项目 61661037

    南昌航空大学博士基金资助项目 EA201904307

    国家自然科学基金资助项目 61961028

  • 中图分类号: TG456.7;TP751

Research on image segmentation and color recognition method of laser weld

  • CLC number: TG456.7;TP751

  • 摘要: 为了减少激光焊缝语义分割中焊缝形状和颜色多样性对分割精度的影响,采用注意力机制的图像语义分割方法提取焊缝区域。通过把焊缝区域图像从RGB转变到HSV颜色空间,在HSV模型空间实现对焊缝表面颜色识别,分析了3种类型焊缝对区域分割和颜色识别的影响。结果表明,焊缝分割区域平均像素精度约为91.2%,添加注意力机制U型网络模型的分割效果更好。此焊缝表面颜色自动识别结果符合生产要求,在工业生产中有广泛应用前景。
  • 图 1  焊缝颜色识别过程

    Figure 1.  Color recognition process for weld

    图 2  3种类型焊缝

    Figure 2.  Three types of welds

    图 3  Attention U-Net焊缝分割模型

    Figure 3.  Weld segmentation model based on attention U-Net

    图 4  预测图像的后处理

    Figure 4.  Post-processing of predicted image

    图 5  处理后的二进制图像

    Figure 5.  Binary image after processing

    图 6  3种焊缝的分割结果

    Figure 6.  Segmentation results of three welds

    表 1  3种焊缝的dice系数值

    Table 1.  Dice values of three welds

    model integrity
    weld/%
    middle
    weld/%
    beginning or
    end of weld/%
    attention U-Net 95.91 94.93 93.2
    U-Net 94.2 91.5 94.9
    下载: 导出CSV

    表 2  焊缝区域HSV的计算值

    Table 2.  Calculated values of H, S and V in the weld zone

    H/(°) S V
    attention
    U-Net
    U-Net attention
    U-Net
    U-Net attention
    U-Net
    U-Net
    integrity weld 49 50 32 32 189 191
    middle weld 14 14 103 112 179 163
    beginning or
    end of weld
    14 14 101 100 154 158
    下载: 导出CSV
  • [1]

    LI H. Analysis and control of laser weld crack[C]//2020 3rd International Conference on Electron Device and Mechanical Engineering (ICEDME). New York, USA: IEEE, 2020: 192-195.
    [2]

    LI X, XIE J, ZHOU Y. Effects of oxygen contamination in the argon shielding gas in laser welding of commercially pure titanium thin sheet[J]. Journal of Materials Science, 2005, 40(13): 3437-3443. doi: 10.1007/s10853-005-0447-8
    [3]

    HARWIG D D, FOUNTAIN C, ITTIWATTANA W, et al. Oxygen equivalent effects on the mechanical properties of titanium welds[J]. Welding Journal Research Supplement, 2000, 79(11): 305s-316s.
    [4] 樊立民, 耿乃涛, 杨柳, 等. 钛合金焊接过程防氧化保护技术进展[J]. 钢铁钒钛, 2021, 42(6): 43-50.

    FAN L M, GENG N T, YANG L, et al. Progress of anti-oxidation protection technology in titanium alloy welding process[J]. Iron Steel Vanadium Titanium, 2021, 42(6): 43-50(in Chinese). 
    [5]

    GUPTA S S, KWON T H, KIM K D. Color based image processing techniques to detect oxide film during welding[C]//2020 International Conference on Electronics, Information, and Communication (ICEIC). New York, USA: IEEE, 2020: 1-4.
    [6]

    HUA S, LI B, SHU L, et al. Defect detection method using laser vision with model-based segmentation for laser brazing welds on car body surface[J]. Measurement, 2021, 178: 109370. doi: 10.1016/j.measurement.2021.109370
    [7] 齐继阳, 李金燕, 陆震云, 等. 改进的Otsu法在焊接图像分割中的应用[J]. 焊接学报, 2016, 37(10): 97-100.

    QI J Y, LI J Y, LU Zh Y, et al. Application of improved Otsu algorithm to welding image segmentation[J]. Transaction of the China Welding Institution, 2016, 37(10): 97-100(in Chinese). 
    [8]

    MALARVEL M, SETHUMADHAVAN G, BHAGI P C R, et al. An improved version of Otsu's method for segmentation of weld defects on X-radiography images[J]. Optik, 2017, 142: 109-118. doi: 10.1016/j.ijleo.2017.05.066
    [9] 戴漩领, 茅云生, 周永清. 基于改进分水岭的焊缝分割算法[J]. 船舶工程, 2021, 43(s1): 428-433.

    DAI X L, MAO Y Sh, ZHOU Y Q. Weld segmentation algorithm based on improved watershed[J]. Ship Engineer, 2021, 43(s1): 428-433(in Chinese). 
    [10]

    ANAND R S, KUMAR P. Flaw detection in radiographic weldment images using morphological watershed segmentation technique[J]. NDT & E International, 2009, 42(1): 2-8.
    [11]

    RADI D, ABO-ELSOUD M E A, KHALIFA F. Accurate segmentation of weld defects with horizontal shapes[J]. NDT & E International, 2022, 126: 102599.
    [12]

    XU H, YAN Z H, JI B W, et al. Defect detection in welding radiographic images based on semantic segmentation methods[J]. Measurement, 2022, 188: 110569. doi: 10.1016/j.measurement.2021.110569
    [13]

    GOLODOV V A, MALOSTEVA A A. Approach to weld segmentation and defect classification in radiographic images of pipe welds[J]. NDT & E International, 2022, 127: 102597.
    [14] 常颖, 常大俊. 改进型卷积神经网络焊点缺陷识别算法研究[J]. 激光技术, 2020, 44(6): 779-783.

    CHANG Y, CHANG D J. Research on solder joint defect recognition algorithm based on improved convolutional neural network[J]. Laser Technology, 2020, 44(6): 779-783. 
    [15]

    RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-assisted Intervention. Munich, Germany: Springer, 2015: 234-241.
    [16] 吴量, 付殿臣, 程超. 基于Unet的多注意力脑肿瘤图像分割算法[J]. 计算机技术与发展, 2021, 31(12): 85-91.

    WU L, FU D Ch, CHENG Ch. Multi-attention brain tumor image segmentation algorithm based on Unet[J]. Computer Technology and Development, 2021, 31(12): 85-91(in Chinese). 
    [17]

    SCHLEMPER J, OKTAY O, SCHAAP M, et al. Attention gated networks: Learning to leverage salient regions in medical images[J]. Medical Image Analysis, 2019, 53: 197-207.
    [18] 李代林, 万杰, 朱化凤, 等. 基于HSV颜色空间的水下物体识别技术研究[J]. 中国科学: 物理学力学天文学, 2015, 45(8): 71-75.

    LI D L, WAN J, ZHU H F, et al. Underwater image recognition technology research based on HSV color space[J]. Scientia Sinca Physica, Mechanica & Astronomica, 2015, 45(8): 71-75(in Chin-ese). 
    [19]

    ZHONG H, WANG R. A visual-degradation-inspired model with HSV color-encoding for contour detection[J]. Journal of Neuroscience Methods, 2021, 369: 109423.
    [20]

    CHERNOV V, ALANDER J, BOCHKO V. Integer-based accurate conversion between RGB and HSV color spaces[J]. Computers & Electrical Engineering, 2015, 46: 328-337.
    [21] 张强, 李嘉锋, 卓力. 基于卷积神经网络的监控场景下车辆颜色识别[J]. 测控技术, 2017, 36(10): 11-14.

    ZHANG Q, LI J F, ZHUO L. Vehicle color recognition using convolutional neural network for urban surveillance images[J]. Measurement and Control Technology, 2017, 36(10): 11-14(in Chinese). 
    [22] 周欣, 刘硕迪, 潘薇, 等. 自然交通场景中的车辆颜色识别[J]. 计算机科学, 2021, 48(s1): 15-20.

    ZHOU X, LIU Sh D, PAN W, et al. Vehicle color recognition in natural traffic scene[J]. Computer Science, 2021, 48(s1): 15-20(in Chinese). 
    [23]

    BARGSHADY G, ZHOU X, DEO R C, et al. The modeling of human facial pain intensity based on Temporal Convolutional Networks trained with video frames in HSV color space[J]. Applied Soft Computing, 2020, 97: 106805.
    [24]

    SHELHAMER E, LONG J, DARRELL T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651.
    [25]

    CHEN L Ch, PAPANDREOU G, KOKKINOS I, et al. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848.
  • [1] 贺锋涛吴倩倩杨祎张建磊王炳辉张依 . 基于深度学习的激光散斑图像识别技术研究. 激光技术, 2024, 48(3): 443-448. doi: 10.7510/jgjs.issn.1001-3806.2024.03.022
    [2] 李宇豪吕晓琪谷宇张明李菁 . 基于改进S3FD网络的人脸检测算法. 激光技术, 2021, 45(6): 722-728. doi: 10.7510/jgjs.issn.1001-3806.2021.06.008
    [3] 马飞王梓璇刘思雨 . 基于深度图像先验的高光谱图像去噪方法. 激光技术, 2024, 48(3): 379-386. doi: 10.7510/jgjs.issn.1001-3806.2024.03.013
    [4] 常颖常大俊 . 改进型卷积神经网络焊点缺陷识别算法研究. 激光技术, 2020, 44(6): 779-783. doi: 10.7510/jgjs.issn.1001-3806.2020.06.023
    [5] 陶昕辰朱涛黄玉玲高恬曼何博吴迪 . 基于DDR GAN的低质量图像增强算法. 激光技术, 2023, 47(3): 322-328. doi: 10.7510/jgjs.issn.1001-3806.2023.03.006
    [6] 刘皓皎刘力双张明淳 . 基于YOLOv5改进的红外目标检测算法. 激光技术, 2024, 48(4): 534-541. doi: 10.7510/jgjs.issn.1001-3806.2024.04.011
    [7] 孟宇帆张丽君何长涛肖婧阳宁静冯国英韩敬华 . 基于图像处理的激光清洗飞机蒙皮特性和机制研究. 激光技术, 2024, 48(3): 303-311. doi: 10.7510/jgjs.issn.1001-3806.2024.03.002
    [8] 刘阳吕晓琪张明李菁谷宇 . 基于RGBC-Y颜色空间的白细胞分割. 激光技术, 2019, 43(4): 506-510. doi: 10.7510/jgjs.issn.1001-3806.2019.04.013
    [9] 张健李白燕 . 基于图论最小割集算法的图像分割研究. 激光技术, 2014, 38(6): 863-866. doi: 10.7510/jgjs.issn.1001-3806.2014.06.030
    [10] 冯玮王玉德张磊 . 加权联合降维的深度特征提取与分类识别算法. 激光技术, 2018, 42(5): 666-672. doi: 10.7510/jgjs.issn.1001-3806.2018.05.016
    [11] 马飞王芳霍帅 . 基于自适应深度先验的高光谱图像超分辨率. 激光技术, 2024, 48(4): 491-498. doi: 10.7510/jgjs.issn.1001-3806.2024.04.006
    [12] 王宏文梁彦彦王志华 . 基于新遗传算法的Otsu图像阈值分割方法. 激光技术, 2014, 38(3): 364-367. doi: 10.7510/jgjs.issn.1001-3806.2014.03.017
    [13] 张宝华刘鹤 . 基于能量梯度场映射关系的红外图像分割方法. 激光技术, 2015, 39(1): 76-81. doi: 10.7510/jgjs.issn.1001-3806.2015.01.015
    [14] 张建波杨恢先周彤彤谭正华李淼 . 一种改进的2维Otsu红外图像分割法研究. 激光技术, 2014, 38(5): 713-717. doi: 10.7510/jgjs.issn.1001-3806.2014.05.029
    [15] 李丽宏华国光 . 基于改进遗传算法的最大2维熵图像分割. 激光技术, 2019, 43(1): 119-124. doi: 10.7510/jgjs.issn.1001-3806.2019.01.024
    [16] 周娇王力陈小青 . 基于改进鲸鱼优化算法的最大2维熵图像分割. 激光技术, 2021, 45(3): 378-385. doi: 10.7510/jgjs.issn.1001-3806.2021.03.020
    [17] 魏雪峰刘晓 . 基于2维最大熵最佳阈值算法的图像分割研究. 激光技术, 2013, 37(4): 519-522. doi: 10.7510/jgjs.issn.1001-3806.2013.04.023
    [18] 李泽峰欧阳八生 . 基于MFC+HALCON图像识别Mark圆的检测方法. 激光技术, 2020, 44(3): 358-363. doi: 10.7510/jgjs.issn.1001-3806.2020.03.016
    [19] 陈翠茹王华英赵宝群王学朱巧芬王杰宇王文健雷家良 . 基于UMnet的数字全息相位解包裹. 激光技术, 2023, 47(1): 73-79. doi: 10.7510/jgjs.issn.1001-3806.2023.01.011
    [20] 李文龙戈海龙任远成巍 . 图像处理技术在激光熔池温度检测的应用. 激光技术, 2018, 42(5): 599-604. doi: 10.7510/jgjs.issn.1001-3806.2018.05.004
  • 加载中
图(6) / 表(2)
计量
  • 文章访问数:  2465
  • HTML全文浏览量:  1745
  • PDF下载量:  16
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-08-10
  • 录用日期:  2022-10-24
  • 刊出日期:  2023-09-25

激光焊缝图像分割与颜色识别方法研究

    作者简介: 吴家洲(1973-),男,博士,讲师,现主要从事图像处理、机器学习和嵌入式系统设计等方面的研究。E-mail: jiazhouwu@163.com
  • 南昌航空大学 信息工程学院,南昌 330063
基金项目:  国家自然科学基金资助项目 61661037南昌航空大学博士基金资助项目 EA201904307国家自然科学基金资助项目 61961028

摘要: 为了减少激光焊缝语义分割中焊缝形状和颜色多样性对分割精度的影响,采用注意力机制的图像语义分割方法提取焊缝区域。通过把焊缝区域图像从RGB转变到HSV颜色空间,在HSV模型空间实现对焊缝表面颜色识别,分析了3种类型焊缝对区域分割和颜色识别的影响。结果表明,焊缝分割区域平均像素精度约为91.2%,添加注意力机制U型网络模型的分割效果更好。此焊缝表面颜色自动识别结果符合生产要求,在工业生产中有广泛应用前景。

English Abstract

    • 激光焊是一种高密度热源焊接形式,具有焊接速度快、焊缝深宽比大的特点,主要用于不锈钢、钛和铝等金属的焊接。在焊接过程中,保护气对熔池和热影响区的有效保护是保持高速焊接的前提。LI[1]指出, 钛合金激光焊接时容易吸收空气中的氮、氧和水蒸气,形成的间隙固溶体阻碍晶间运动,容易产生局部过硬和应力不均而形成裂纹。氧污染影响了商业纯钛激光焊接的微观组织结构,通过质量检测实验证实了焊缝表面颜色与焊缝组织结构和机械性能之间具有关联性[2-3],焊缝表面颜色反映了焊接头机械特性的好坏。FAN等人[4]开展了钛合金激光焊接实验,结果表明,钛合金焊缝表面为银白色、浅黄和金黄色时,焊接头机械性能良好,而焊缝表面为蓝色和灰色时,焊接质量不合格。显然,通过焊缝表面颜色可以初步判断焊接头的质量,这也是目视检测的主要指标点。除了由钛合金激光焊接焊缝颜色判断焊接头质量外,铝合金和不锈钢等焊缝也可以通过颜色来初步判断焊接质量。GUPTA等人[5]通过观察铝合金激光焊缝表面颜色来判断焊缝质量。HUA等人[6]采用激光视觉检测方法分割出车身激光钎焊焊缝区域,依据焊缝区域颜色和形状来判断焊接质量是否合格。实际生产过程中,不可能完全通过焊接头的组织分析这种有损检测的方式来检验焊接质量,通过焊缝表面颜色和状态来预估焊缝质量是企业常用的方法。

      焊缝颜色自动识别过程包括焊缝区域分割和颜色识别两个过程。首先需从焊接件分割出焊缝区域,然后对分割出的区域进行颜色识别。分割是识别的前提,分割精度越高,颜色识别效果越好。基于阈值的Otsu法及其改进算法能较好实现图像分割。QI等人[7]用方差信息代替传统Otsu算法中的均值信息,保证类间距离最大的同时也考虑类内像素的内聚性,适合于焊缝区域提取。MALARVEL等人[8]采用最小概率加权方式调整焊缝分割阈值,错误分类评价显示出焊缝分割效果较好。针对阈值分割算法中过度分割的问题,焊缝区域采用基于距离场的形态学分割算法效果有明显提高[9-10]。RADI等人[11]采用水平集算法实现焊缝区域分割,证实了这种算法具有时效性和通用性。近年来,深度学习技术得到飞速发展,通过深度学习提取射线图像特征进行焊缝区域分割和缺陷检测取得了很好的效果,能有效克服光照变化、焊缝形状和焊缝颜色多样性所产生的影响[12-14]。传统的图像处理方法通过寻找合适阈值实现背景分割,往往会产生背景分割过度或不足的问题,且分割区域不够连续。从理论上讲,由于焊缝颜色多样性,传统的图像处理方法无法仅仅依据阈值方法实现焊缝区域分割。采用深度学习方法进行焊缝区域分割和缺陷识别效果良好。U型网络(U-Net)最初应用在医学领域的图像分割,能够在复杂组织中精确识别出特定病理区域[15-16]。尤其是注意力机制的引入,分割效果得到极大提高[17]。本文中引入U-Net算法来实现激光焊缝区域图像语义分割。

      彩色焊缝图像一般用红绿蓝RGB三基色模型来表示,不同颜色由不同强度的红色(red)、绿色(green)和蓝色(blue)混合而成。RGB颜色模型面向硬件,适合于计算机处理,但不太适合于人眼对颜色的识别。人眼对颜色识别通常采用色度、饱和度和亮度HSV颜色模型。LI等人[18]研究指出,HSV颜色空间的色度(hue)、饱和度(saturation)和亮度(value)是独立的,根据物体在HSV颜色空间的偏振光信息区分物体的种类。ZHONG等人[19]的研究表明,HSV模型对细微的色度变化具有更高的灵敏度,更适合于人眼对颜色的识别。RGB转换到HSV颜色空间是一种高效的数值计算,不会带来图像精度的损失[20]。近年来,采用深度学习中图像分类的方法对HSV颜色空间的物体实现颜色区分取得了较好的效果,然而其本质是一种颜色分类,必须事先知道要识别的所有颜色[21-23]。可见,在HSV颜色空间依据色度、饱和度和亮度的取值范围来确定颜色是可行的,应用范围也比较广泛。深度学习的颜色识别虽然提高了精度,但是整幅图像的颜色识别需要更多的推理时间,所有种类的颜色也必须提前预知。

      本文中以钛合金激光焊接为例,采用注意力机制U-Net(attention U-Net)算法实现焊缝区域的分割。接着对分割后区域做二值化处理,去除孤立的噪声区域,得到焊缝分割的二值图,最后提取实际焊缝图像。焊缝图像从RGB转变到HSV颜色空间,在HSV空间依据色度H、饱和度S和亮度V的取值范围来确定焊缝颜色。焊缝颜色的自动识别能够克服焊缝目视检测不足,为实现焊缝表面检测自动化提供理论支撑。

    • 激光焊接采用美国IPG公司YLS2000型号的光纤激光器,焊接材料为TC4/TA2钛合金,通过KUKA机器人实施焊接。焊接完成后,利用相机对焊接工件拍照得到焊缝图像,再采用深度学习中attention U-Net算法分割出焊缝区域。接着将焊缝区域从RGB转换到HSV颜色空间,最后在HSV颜色空间计算焊缝区域的平均色度,依据HSV的取值范围确定焊缝颜色,初步判断焊缝质量是否合格,整个过程如图 1所示。

      图  1  焊缝颜色识别过程

      Figure 1.  Color recognition process for weld

      激光焊缝具有深度比大的特点,焊缝宽度普遍较小,焊缝长度可长可短。因此,利用相机拍摄焊缝可分为以下几种情况:完整焊缝、焊缝初始或终止部分、焊缝的中间部分,如图 2所示。深度学习训练前必须对训练图像进行标注,而标注工具LABELME软件规定图像边界不能作为焊缝区域,因此,对于图 2b图 2c近似采用靠近图像边缘作为标注边界。模型训练过程发现,焊缝区域越靠近图像边界计算误差越大。U-Net算法在下采样过程中图像越来越小,激光焊缝宽度本来就比较狭窄,网络深度过大焊缝图像会失去边界信息。模型不宜采用过深的网络结构,也无须采用丢弃法(dropout),防止特征信息的丢失。模型网络结构尺寸和深度由激光焊缝宽度大小来决定。

      图  2  3种类型焊缝

      Figure 2.  Three types of welds

    • 激光焊缝区域图像分割是对焊接质量合格和不合格两种情况下的焊缝提取,然而这两种焊缝通常具有多种不同颜色和形状,采用普通的颜色阈值分割和自适应阈值分割Otsu算法不能得到完整的焊缝区域,存在过度分割或分割不足的问题,进一步影响焊缝颜色识别,可能会对焊接质量检测做出误判。深度学习的语义分割方法克服了焊缝形状和颜色多样性问题,大量样本的训练使得模型提取了不同形状和不同颜色焊缝区域的多种特征,能够有效实现焊缝区域的分割。采用attention U-Net算法分割焊缝图像,如图 3所示。图中,conv(convolution)表示卷积计算,maxpool是最大池化,up conv为上卷积计算。

      图  3  Attention U-Net焊缝分割模型

      Figure 3.  Weld segmentation model based on attention U-Net

      图 3看出,attention U-Net算法是典型的编码器和解码器结构,共分为5层。编码每次通过2次3×3的卷积提取特征,数据归一化后输入线性整流函数(rectified linear unit,ReLU)激活函数。然后采用2×2的最大池化降低维度,减少计算量,同时提取更高层次的图像特征。编码阶段共进行4次最大池化,图像尺寸从512×128以2的倍数逐步减少,第5层图像尺寸32×8。解码阶段采用4次上采样,每一层每次编码器的图像乘以注意力系数后再与同一层尺寸相同的上采样后的图像拼接,再连续做2次3×3的卷积,归一化后采用线性整流函数ReLU激活,再进行下一次上采样。上采样后图像尺寸以2的倍数增大,4次上采样后图像尺寸恢复到512×128。最后一次采用通道数为2的卷积计算,用归一化激活函数(softmax)计算每个像素点属于焊缝的概率,实现焊缝与背景的分割。

      深度学习的图像语义分割除了U-Net算法外,具有代表性的还有全卷积网络(fully convolutional network,FCN)[24]和DeepLab V1~V3系列模型[25]等。图像语义分割本质上是像素级的分类问题。FCN模型的特征提取采用了经典的AlexNet、视觉几何组(visual geometry group,VGG) 和GoogLeNet等网络,以VGG16作为骨干网络的分割效果最好[23]。然而,VGG16网络结构较深和池化操作次数较多,而激光焊接的焊缝宽度狭窄,输入图像的像素宽度为128,在VGG16模型中经过5次池化后宽度变成4个像素,焊缝可能已经失去了原有特征信息,无法通过上采样恢复焊缝区域。DeepLab系列模型以VGG、ResNet和Xception作为骨干网络,采用多尺寸空洞卷积计算提取图像特征,避免了多次池化操作引起的特征丢失的问题,但对焊缝图像宽度为128的图像分割效果很一般。多次调试发现,过深的网络结构不利于激光焊缝图像分割,主要是由于激光焊缝宽度狭窄和焊缝颜色多样性引起的。U-Net算法通过图像拼接同时考虑了低层次和高层次图像的特征信息,通过较少的训练样本也能得到较好的分割效果[14]。依据激光焊缝特点,选择U-Net算法做焊缝图像分割。

      深度学习注意力机制包括:空间注意力和通道注意力。对图像中每个像素的权重处理来调节各个像素点的作用,是空间注意力机制。强化某通道图像的作用,同时弱化其它通道的作用称为通道注意力机制。本文中采用的是空间注意力机制,数组att[ ]是每一层的注意力系数,att[0]是最上层注意力系数,att[3]是最下层注意力系数,整个模型共有4层添加了注意力系数,如图 3所示。对于每一层,最后一次卷积所得到图像乘以本层的注意力系数,再与下层上采样图像拼接,最后进行2次卷积计算提取图像特征。

      引入注意力机制强化了输出特征对低层图像中特定像素点的影响,弱化了图像中不重要的特征,从而提高了计算精度。att[ ]系数的计算是编码器中最后一次卷积计算图像与解码器中同一层特征图像拼接,接着进行2次3×3的卷积,再1×1卷积,这样就得到与图像尺寸一致的注意力系数矩阵[16]

    • 激光焊接过程中产生飞溅凝固在工件表面,或者类似于图 4a中人工标注的C11位置处等,U-Net图像分割算法后可能在这些位置形成噪声,如图 4b所示。分割的好坏会影响颜色识别结果,采用图像处理的方法解决这个问题。先将预测图通过自适应阈值的方法转变成二值图,然后计算图像中每个封闭区域的面积,再将面积小于某个值的区域删除,剩下的面积最大区域就是完整的焊缝区,如图 5所示。由图 5图 4b比较可以看出,后处理图完全过滤了噪声,与图 4c标定图像非常吻合,分割精度明显提高。

      图  4  预测图像的后处理

      Figure 4.  Post-processing of predicted image

      图  5  处理后的二进制图像

      Figure 5.  Binary image after processing

    • 激光焊缝分割本质上是对图像上每一个像素点的二分类预测,采用计算集合相似度度量函数(dice)系数评价分割质量,其范围是[0, 1],0表示没有重合区域,1表示预测区域与标定区域完全一致。本项目是把类似于图 5中预测图处理后的二进制图像与标定图比对,来计算集合相似度度量函数(dice)系数D:

      $ D=\frac{2(A \cap C)}{|A|+|C|} $

      (1)

      式中,A代表预测图像经过后处理的图像, 由于预测图像含有噪声,没有直接代入计算; C是标定的图像。

    • HSV颜色空间中H体现色度大小,其取值范围为,红色、绿色和蓝色对应范围分别为0°、120°和240°,其它颜色通过线性插值获得。SV分别是饱和度和亮度的大小,二者取值范围均为,其值为一个比例值,饱和度表示颜色深浅,饱和度越高颜色越深;V则体现颜色的亮度,数值越接近于1则物体越白。在开源计算机视觉(open source computer vision,OpenCV)软件库中,HSV数值的取值范围分别为[0°, 180°]、[0, 255]和[0, 255],可依据颜色对照表确定具体颜色。

      依据OpenCV官方手册提供的方法,将焊缝模型从RGB转变到HSV颜色空间,如下所示:

      $ V=\max (R, G, B) $

      (2)

      $ S=\left\{\begin{array}{l} \frac{V-\min (R, G, B)}{V}, (V \neq 0) \\ 0, (\text { other }) \end{array}\right. $

      (3)

      $ H=\left\{\begin{array}{l} \frac{60(G-B)}{V-\min (R, G, B)}, (V=R) \\ 120+\frac{60(B-R)}{V-\min (R, G, B)}, (V=G) \\ 240+\frac{60(R-G)}{V-\min (R, G, B)}, (V=B) \\ 0, (R=G=B) \end{array}\right. $

      (4)

      式中,RGB分别表示颜色空间中红色、绿色和蓝色分量的值,S的取值范围为[0,1],在OpenCV算法中,S=255×S,其区间范围变成[0,255]。同理,(4)式中,假如H<0°,则H=H+360°, 对于8位存储图像,H=H/2,使得H的区间变成[0°,180°]。经过计算,焊缝图像从RGB转变到HSV颜色空间,根据颜色对照表中HSV取值范围确定焊缝颜色。

      焊缝表面颜色是判断焊接接头机械性能的重要依据,在HSV颜色空间, 对参数HSV设置合适的取值范围就能识别特定颜色,以此来判断焊接质量。依据实际的光照条件,调节HSV取值范围,能够实现对不同材料焊缝区域不同颜色识别,初步判断焊接质量。例如,对于钛合金材料,焊缝区域为银白色、金黄色和浅黄色时焊接质量合格; 而在不锈钢焊接时,焊缝为银白色时合格,为黑色时表示严重过烧。

    • 焊缝区域语义分割实际上是针对焊缝图像每个像素点的二分类问题,判断像素点是属于焊缝,还是属于背景。焊缝图像分割模型在图像处理单元(graphic processing unit,GPU)上训练,GPU型号NVIDIA Geforce RTX2060,内存6 GB,内存大小决定了图像处理单元(batchsize)的最大值。采用Labelme软件标注。模型训练样本为300张图像,测试图像为50张。模型采用Adam的优化策略求解,初始训练学习率为1×10-3,训练10个周期(epochs)后学习率调整为1×10-4,再训练30 epochs,最后在学习率为1×10-5、训练20 epochs可以达到较好的效果。训练过程中,参数batchsize大小决定搜索方向,batchsize从2开始调整,以2的倍数逐渐增大,在不存在过拟合情况下加大epochs的值,能得到较好的训练模型。

      图 6表 1可知,3种焊缝分割效果良好,对于两端焊缝和中间焊缝,由于Labelme软件标注的原因,靠近图像边界的焊缝区域存在极少焊缝面积没有提取到的情况,虽然dice系数值会略微减小,但对焊缝颜色识别没有影响。attention U-Net模型焊缝dice系数值略高于U-Net模型,这只是对焊缝总体而言的。多次实验表明,对于同一个样本,不能保证添加注意机制的效果一定比没有添加的效果好,表 1所示两端焊缝的焊缝区域分割中U-Net模型的dice系数值高于at-tention U-Net模型,分割效果好坏是在总体样本上评估,不是针对单个样本。U-Net模型焊缝分割推理时间约为36 ms,attention U-Net模型焊缝分割推理时间约为60 ms。与U-Net模型相比,attention U-Net模型只是增加了attention系数矩阵的计算,计算量没有急剧增加。

      图  6  3种焊缝的分割结果

      Figure 6.  Segmentation results of three welds

      表 1  3种焊缝的dice系数值

      Table 1.  Dice values of three welds

      model integrity
      weld/%
      middle
      weld/%
      beginning or
      end of weld/%
      attention U-Net 95.91 94.93 93.2
      U-Net 94.2 91.5 94.9

      激光焊缝表面凝固的飞溅和一些手工标注会影响分割的结果,检测前尽量消除这些不利因素。当然,良好的分割模型可以有效克服这些不利因素,但会增加算法的复杂度。采用训练好的U-Net模型对焊缝做区域分割,分割后的图像后处理之后提取实际焊缝区域,在HSV颜色空间计算焊缝HSV平均值,得到焊缝颜色,并以此初步判断焊缝质量是否合格。

      表 2可以看出,颜色类似的中间焊缝和两端焊缝在HSV颜色模型中计算出来的色度H值都是14°,可以初步判断这两种焊缝属于同样色系,只是饱和度S值和亮度V值略有差别。而完整焊缝的H计算值是49°,与前两种不是一个色系,这一点通过肉眼观察也可以看出。模型是否添加注意力机制对HSV计算值大小影响不是特别明显,但attention U-Net模型分割效果总体要优于U-Net,理论上能得到更好的HSV计算值。

      表 2  焊缝区域HSV的计算值

      Table 2.  Calculated values of H, S and V in the weld zone

      H/(°) S V
      attention
      U-Net
      U-Net attention
      U-Net
      U-Net attention
      U-Net
      U-Net
      integrity weld 49 50 32 32 189 191
      middle weld 14 14 103 112 179 163
      beginning or
      end of weld
      14 14 101 100 154 158

      实际生产中,首先通过有损检测判断某颜色焊缝质量合格,后期生产中利用本文作者提出算法计算焊缝区域HSV值确定焊缝颜色,进而判断焊接质量,而不再需要对工件做破坏性检测。目前,国内大部分工厂采用的是依靠人眼的目视检测方法,但这种方法过于依赖工人的主观判断,由于疲劳和不同工人对于颜色的敏感度差异,对同一焊缝的颜色识别可能会给出不同结果,从而影响焊接质量评估。本文作者提出的焊缝颜色自动检测可以解决这个问题,通过设置不同HSV值可以识别多种颜色,而且适用于其它金属的激光焊接。

    • 由于激光焊缝颜色和形状的多样性,传统的图像处理方法无法分割出完整的焊缝区域,最终影响焊接质量目视检测结果。改进的attention U-Net模型能克服这些不利影响,提取出高质量的焊缝区域,对分割后的图像做后处理,能继续提高语义分割dice系数精度值。在HSV空间进行焊缝颜色自动识别,能够解决人眼疲劳所带来的目视检测误差。焊缝的3种不同形式和Labelme软件标注对分割dice系数值有一定的影响,但不影响焊缝表面颜色识别。焊缝颜色的色度H值确定了焊缝颜色色系,是颜色识别主要参数。焊缝分割和颜色自动识别在制造企业中应用广泛,是实现焊接自动化的重要前提和理论支撑。

参考文献 (25)

目录

    /

    返回文章
    返回