高级检索

ISSN1001-3806CN51-1125/TN 网站地图

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于UMnet的数字全息相位解包裹

陈翠茹 王华英 赵宝群 王学 朱巧芬 王杰宇 王文健 雷家良

引用本文:
Citation:

基于UMnet的数字全息相位解包裹

    作者简介: 陈翠茹(1987-), 女, 硕士研究生, 研究方向为数字全息技术.
    通讯作者: 王华英, pbxsyingzi@126.com
  • 基金项目:

    国家自然科学基金资助项目 62175059

    河北省自然科学基金重点资助项目 F2018402285

  • 中图分类号: TN26

Digital holographic phase unwrapping based on UMnet

    Corresponding author: WANG Huaying, pbxsyingzi@126.com ;
  • CLC number: TN26

  • 摘要: 为了实现高精度的数字全息相位解包裹, 采用基于Unet网络框架中集成MobilenetV3的轻量级深度学习网络, 设计了UMnet网络以实现全息相位的精准解包裹。网络中融和轻量级注意力机制、多尺度卷积来增强网络精度与泛化能力, 同时运用hard-Swish激活函数提高网络学习能力; 运用模拟数据集进行网络训练, 对生成网络模型进行降噪能力测试, 并经过了实际样品全息图的测试验证。结果表明, UMnet比深度学习相位解包裹网络的结构性相似指数值提升了6.6%。UMnet能够简单、快速、高效地实现数字全息相位解包裹。
  • 图 1  UMnet网络操作流程图

    Figure 1.  UMnet network operation flow chart

    图 2  UMnet的整体结构

    Figure 2.  Overall structure of UMnet

    图 3  收缩路径block模块

    Figure 3.  Shrink path block module

    图 4  SE模块

    Figure 4.  SE module

    图 5  马赫-曾德尔光路

    Figure 5.  Mach-Zehnder optical path

    图 6  模型训练结果

    Figure 6.  Model training results

    图 7  模拟测试集测试结果

    Figure 7.  Test results of simulation test set

    图 8  模拟测试集加入不同椒盐密度的椒盐噪声通过DCT-LS, TIE-FFT, DLPU, UMnet数字全息解包裹

    Figure 8.  Salt and pepper noise with different salt and pepper density is added to the analog test set and unpacked by DCT-LS, TIE-FFT, DLPU and UMnet digital holography

    图 9  加入噪声后不同方法相位解包裹SSIM值

    Figure 9.  Different methods of phase unwrapping SSIM value after adding noise

    图 10  血细胞、骨髓癌细胞真实相位图及3维展示

    Figure 10.  Real phase diagram and 3-D display of blood cells and bone marrow cancer cells

    图 11  血细胞加入不同椒盐密度噪声后相位解包裹

    Figure 11.  Phase unwrapping of blood cells after adding noise of different salt and pepper density

    表 1  左侧收缩路径和桥接路径

    Table 1.  Left shrink path and bridge path

    layer input operator output SE AFT stride
    1 8 Conv 2d, 3×3 16 false hard-Swish 2
    2 16 bneck, 3×3 16 false ReLU 1
    2 16 bneck, 3×3 32 ture ReLU 2
    3 32 bneck, 3×3 32 false ReLU 1
    3 32 bneck, 5×5 64 ture ReLU 2
    4 64 bneck, 5×5 64 false ReLU 1
    4 64 bneck, 5×5 64 false ReLU 1
    4 64 bneck, 3×3 128 ture hard-Swish 2
    5 128 bneck, 3×3 128 false hard-Swish 1
    5 128 bneck, 3×3 128 false hard-Swish 1
    5 128 bneck, 3×3 128 false hard-Swish 1
    5 128 bneck, 3×3 128 false hard-Swish 1
    5 128 bneck, 3×3 128 false hard-Swish 1
    5 128 bneck, 5×5 256 ture hard-Swish 2
    6 256 bneck, 5×5 256 ture hard-Swish 1
    6 256 bneck, 5×5 256 ture hard-Swish 1
    6 256 Conv 2d, 1×1 256 false hard-Swish 1
    下载: 导出CSV
  • [1]

    DEPEURDINGE C D, CUCHE E, MARQUET P, et al. Digital holography applied to microscopy[J]. Proceedings of the SPIE, 2002, 4659: 30-34. doi: 10.1117/12.469267
    [2]

    GOLDSTEIN R M, ZEBKER H A, WERNER C L. Satellite radar interferometry: Two dimensional phase unwrapping[J]. Radio Science, 2016, 23(4): 713-720.
    [3]

    AREYALILLO-HERRAEZ M, VILLATORO F R, GDEISAT M A. A robust and simple measure for quality guided 2D phase unwrapping algorithms[J]. IEEE Transactions on Image Processing, 2016, 25(6): 2601-2609. doi: 10.1109/TIP.2016.2551370
    [4] 张睿, 严利平, 张海燕, 等. 基于枝切线和可靠度的区域增长相位解包裹算法[J]. 浙江理工大学学报(自然科学版), 2019, 41(4): 474-481. doi: 10.3969/j.issn.1673-3851(n).2019.04.010

    ZHANG R, YAN L P, ZHANG H Y, et al. Region-growing phase unwrapping algorithm based on branch-cuts and reliability[J]. Journal of Zhejiang Sci-Tech University(Natural Sciences Edition), 2019, 41(4): 474-481 (in Chinese). doi: 10.3969/j.issn.1673-3851(n).2019.04.010
    [5]

    WANG X, FANG S, ZHU X. Weighted least-squares phase unwrapping algorithm based on a non-interfering image of an object[J]. Applied Optics, 2017, 56(15): 4543-4550. doi: 10.1364/AO.56.004543
    [6]

    PATIL P, VYASARAYANI C P, RAMJI M. Linear least squares approach for evaluating crack tip fracture parameters using isochromatic and isoclinic data from digital photoelasticity[J]. Optics and Lasers in Engineering, 2017, 93(1): 182-194.
    [7] 马树军, 方锐. 数字全息显微中的相位像差自动补偿算法[J]. 东北大学学报(自然科学版), 2020, 41(11): 1591-1595. doi: 10.12068/j.issn.1005-3026.2020.11.011

    MA Sh J, FANG R. Automatic compensation algorithm of phase aberration in digital holographic microscopy[J]. Journal of Northeastern University(Natural Science Edition), 2020, 41(11): 1591-1595 (in Chinese). doi: 10.12068/j.issn.1005-3026.2020.11.011
    [8] 王华英, 刘佐强, 廖薇, 等. 基于最小范数的四种相位解包裹算法比较[J]. 中国激光, 2014, 41(2): 209016.

    WANG H Y, LIU Z Q, LIAO W, et al. Compensation of four unwrapping algorithm based on method of minimum norm[J]. Chinese Journal of Lasers, 2014, 41(2): 209016 (in Chinese). 
    [9] 李盛林, 邓小芳, 王华英. 数字全息显微术中三种相位展开算法的比较研究[J]. 光学技术, 2020, 46(1): 56-60.

    LI Sh L, DENG X F, WANG H Y. Comparison of three kinds of phase unwrapping algorithm in digital holographic microscopy[J]. Optical Technique, 2020, 46(1): 56-60 (in Chinese). 
    [10] 李芹, 刘维, 王道档, 等. 基于二阶质量权的四向剪切相位解包裹算法[J]. 光电子·激光, 2018, 29(6): 618-626.

    LI Q, LIU W, WANG D D, et al. Four-direction least-square phase unwrapping algorithm based on shearing interferometry and second derivative of quality weight[J]. Journal of Optoelectronics · Lasers, 2018, 29(6): 618-626 (in Chinese). 
    [11] 左超, 冯世杰, 张翔宇, 等. 深度学习下的计算成像: 现状、挑战与未来[J]. 光学学报, 2020, 40(1): 0111003.

    ZUO Ch, FENG Sh J, ZHANG X Y, et al. Deep learning based computational imaging: Status, challenges, and future[J]. Acta Optica Sinica, 2020, 40(1): 0111003 (in Chinese). 
    [12] 邸江磊, 唐雎, 吴计, 等. 卷积神经网络在光学信息处理中的应用研究进展[J]. 激光与光电子学进展, 2021, 58(16): 1600001.

    DI J L, TANG S, WU J, et al. Research progress in the applications of convolutional neural networks in optical information processing[J]. Laser & Optoelectronics Progress, 2021, 58(16): 1600001 (in Chinese). 
    [13]

    WANG K Q, LI Y, QIAO K, et al. One-step robust deep learning phase unwrapping[J]. Optics Express, 2019, 27(10): 15100-15115.
    [14] 常江, 管声启, 师红宇, 等. 基于改进生成对抗网络和MobileNetV3的带钢缺陷分类[J]. 激光与光电子学进展, 2021, 58(4): 0410016.

    CHANG J, GUAN Sh Q, SHI H Y, et al. Strip defect classification based on improved generative adversarial networks and MobileNetV3[J]. Laser & Optoelectronics Progress, 2021, 58(4): 0410016(in Chinese). 
    [15] 郑少佳, 邱崧, 李庆利, 等. 傅里叶变换通道注意力网络的胆管癌高光谱图像分割[J]. 中国图象图形学报, 2021, 26(8): 1836-1846.

    ZHENG Sh J, QIU S, LI Q L, et al. Fourier transform channel a-ttention network for cholangiocarcinoma hyperspectral image segmentation[J]. Journal of Image and Graphics, 2021, 26(8): 1836-1846 (in Chinese). 
    [16] 吴杰, 周皓, 吴丹, 等. 欠采样下相位解包裹算法的研究[J]. 激光与光电子学进展, 2016, 53(5): 051003.

    WU J, ZHOU H, WU D, et al. Study of phase unwrapping algorithm from the undersampled phase[J]. Laser & Optoelectronics Progress, 2016, 53(5): 051003 (in Chinese). 
    [17]

    PANDEY N, GHOSH A, KHARE K. Two-dimensional phase unwrapping using the transport of intensity equation[J]. Applied Optics, 2016, 55(9): 2418-2425.
    [18]

    CHENG H, DENG H L, SHEN C, et al. Phase retrieval based on transport of intensity equation and image interpolation[J]. Infrared and Laser Engineering, 2018, 47(10): 356-362.
    [19] 陈妮, 左超, Byoungho LEE. 基于深度测量的三维成像技术[J]. 红外与激光工程, 2019, 48(6): 199-233.

    CHEN N, ZUO Ch, LEE B. 3D imaging based on depth measurement[J]. Infrared and Laser Engineering, 2019, 48(6): 199-223 (in Chinese). 
    [20] 刘桂雄, 黄坚, 刘思洋, 等. 面向语义分割机器视觉的AutoML方法[J]. 激光杂志, 2019, 40(6): 1-9.

    LIU G X, HUANG J, LIU S Y, et al. AutoML method for semantic segmentation of machine vision[J]. Laser Journal, 2019, 40(6): 1-9(in Chinese). 
    [21]

    JIA W, XIA W, ZHAO Y, et al. 2D and 3D palmprint and palm vein recognition based on neural architecture search[J]. International Journal of Automation and Computing, 2021, 18(3): 377-409.
    [22] 肖文, 李解, 潘锋, 等. 基于USENet实现数字全息细胞再现相位像超分辨重构[J]. 光子学报, 2020, 49(6): 0610001.

    XIAO W, LI J, PAN F, et al. Super-revolution in digital holographic phase cell image based on USENet[J]. Acta Photonica Sinica, 2020, 49(6): 0610001 (in Chinese). 
    [23] 李宇豪, 吕晓琪, 谷宇, 等. 基于改进S3FD网络的人脸检测算法[J]. 激光技术, 2021, 45(6): 722-728.

    LI Y H, LV X Q, GU Y, et al. Face detection algorithm based on improved S3FD network[J]. Laser Technology, 2021, 45(6): 722-728(in Chinese). 
    [24] 王鑫. 基于深度学习的语义分割算法研究[D]. 上海: 上海海洋大学, 2021: 30-42.

    WANG X. Research on semantic segmentation algorithm based on deep learning[D]. Shanghai: Shanghai Ocean University, 2021: 30-42(in Chinese).
    [25] 吴育民, 宋国庆, 冯云鹏, 等. 数字全息显微在医学影像中的发展与最新应用[J]. 影像科学与光化学, 2016, 34(1): 23-29.

    WU Y M, SONG G Q, FENG Y P, et al. Development and latest application of digital holographic microscopy in medical imaging[J]. Imaging Science and Photochemistry, 2016, 34(1): 23-29(in Chinese). 
  • [1] 李斌钱晓凡李兴华林超 . 基于径向剪切原理的相位解包裹算法. 激光技术, 2013, 37(1): 44-47. doi: 10.7510/jgjs.issn.1001-3806.2013.01.011
    [2] 徐天杰钱晓凡戴欣冉李斌 . 基于分割缩放的欠采样相位图解包裹算法. 激光技术, 2014, 38(1): 39-43. doi: 10.7510/jgjs.issn.1001-3806.2014.01.009
    [3] 郭媛陈小天毛琦 . 相位解包裹中欠采样问题的实验研究. 激光技术, 2015, 39(3): 423-427. doi: 10.7510/jgjs.issn.1001-3806.2015.03.031
    [4] 魏亚运周昕王梦婷呼有军 . 基于光学扫描全息测量相位物体的相位分布. 激光技术, 2016, 40(6): 820-824. doi: 10.7510/jgjs.issn.1001-3806.2016.06.010
    [5] 戴欣冉钱晓凡徐天杰 . 同轴菲涅耳全息中提取相位的算法. 激光技术, 2014, 38(2): 172-176. doi: 10.7510/jgjs.issn.1001-3806.2014.02.006
    [6] 张中恒李重光李靖哲缪正祥刘营 . 无透镜傅里叶变换数字全息中的相位补偿. 激光技术, 2013, 37(5): 596-600. doi: 10.7510/jgjs.issn.1001-3806.2013.05.008
    [7] 姜雨甫周昕王运郭雪帆 . 采用二值化相位光瞳的光学扫描全息方法. 激光技术, 2013, 37(6): 723-727. doi: 10.7510/jgjs.issn.1001-3806.2013.06.004
    [8] 宋艳生季家镕窦文华温昌礼 . 顺电相KTN中反射型全息相位栅的衍射效率分析. 激光技术, 2010, 34(6): 736-738,742. doi: 10.3969/j.issn.1001-3806.2010.06.005
    [9] 李宇豪吕晓琪谷宇张明李菁 . 基于改进S3FD网络的人脸检测算法. 激光技术, 2021, 45(6): 722-728. doi: 10.7510/jgjs.issn.1001-3806.2021.06.008
    [10] 吴家洲刘君施佳文张胜 . 激光焊缝图像分割与颜色识别方法研究. 激光技术, 2023, 47(5): 723-728. doi: 10.7510/jgjs.issn.1001-3806.2023.05.022
    [11] 钱国林李朝明陈新荣邹文龙吴建宏 . 全息拼接光栅的误差研究. 激光技术, 2013, 37(6): 747-751. doi: 10.7510/jgjs.issn.1001-3806.2013.06.009
    [12] 简献忠张晗范建鹏周志刚 . 基于FPGA技术的计算全息研究. 激光技术, 2012, 36(1): 26-28,32. doi: 10.3969/j.issn.1001-3806.2012.01.008
    [13] 周效东汤伟中周文 . 全光纤全息技术的研究与实现. 激光技术, 1995, 19(2): 115-118.
    [14] 简献忠周海乔静远李莹王佳 . 基于全变差重构算法的数字全息研究. 激光技术, 2014, 38(2): 236-239. doi: 10.7510/jgjs.issn.1001-3806.2014.02.019
    [15] 王晓惠刘超陆英仕楼宇丽 . 基于彩色数字全息的透镜焦距检测. 激光技术, 2015, 39(4): 562-565. doi: 10.7510/jgjs.issn.1001-3806.2015.04.030
    [16] 郑小丹刘东陶世荃王大勇 . 正交读出方式体全息光栅通信波长衍射特性. 激光技术, 2009, 33(2): 113-116.
    [17] 程阳 . 1维全息光子晶体的偏振特性. 激光技术, 2010, 34(2): 279-281. doi: 10.3969/j.issn.1001-3806.2010.02.037
    [18] 王霄季进清张惠中刘会霞 . 基于全息技术的激光透射塑料焊接研究. 激光技术, 2008, 32(5): 510-512.
    [19] 向东桂进斌刘超郑立婷楼宇丽宋庆和 . 数字全息波前准确重建的实验研究. 激光技术, 2017, 41(3): 406-410. doi: 10.7510/jgjs.issn.1001-3806.2017.03.020
    [20] 王华英王广俊谢建军赵洁王大勇 . 数字全息显微中的准直光再现. 激光技术, 2008, 32(2): 131-133,136.
  • 加载中
图(11) / 表(1)
计量
  • 文章访问数:  5020
  • HTML全文浏览量:  3917
  • PDF下载量:  22
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-01-06
  • 录用日期:  2022-03-25
  • 刊出日期:  2023-01-25

基于UMnet的数字全息相位解包裹

    通讯作者: 王华英, pbxsyingzi@126.com
    作者简介: 陈翠茹(1987-), 女, 硕士研究生, 研究方向为数字全息技术
  • 1. 河北工程大学 数理科学与工程学院, 邯郸 056038
  • 2. 河北省计算光学成像与光电检测技术创新中心, 邯郸 056038
基金项目:  国家自然科学基金资助项目 62175059河北省自然科学基金重点资助项目 F2018402285

摘要: 为了实现高精度的数字全息相位解包裹, 采用基于Unet网络框架中集成MobilenetV3的轻量级深度学习网络, 设计了UMnet网络以实现全息相位的精准解包裹。网络中融和轻量级注意力机制、多尺度卷积来增强网络精度与泛化能力, 同时运用hard-Swish激活函数提高网络学习能力; 运用模拟数据集进行网络训练, 对生成网络模型进行降噪能力测试, 并经过了实际样品全息图的测试验证。结果表明, UMnet比深度学习相位解包裹网络的结构性相似指数值提升了6.6%。UMnet能够简单、快速、高效地实现数字全息相位解包裹。

English Abstract

    • 离轴数字全息显微(digital holography microscopy, DHM)基于光的干涉原理,用CCD记录干涉全息图,通过计算机相位恢复被测样品的3维形貌,具有非接触、无标定、可定量显微成像的优点,广泛应用于医学测量领域[1]。相干光通过干涉产生携带被测物体的表面轮廓信息的干涉条纹图。干涉条纹中记录物体重要信息是相位信息,因此获取物体相位信息变得尤其重要。全息图相位信息包裹在(-π, π]区间内,被称为包裹相位,将测量到的包裹相位展开到真实相位,这个过程被称作相位解包裹。

      近30年来,人们相继提出多种相位解包裹算法,以实现复杂相位的解包裹运算。这些算法大致分为两类:路径跟踪算法和路径无关算法[2]。路径跟踪算法通过识别残差点或者依靠质量图建立积分路径[3-4],运算速度快,但其缺点也很明显,当残差点较多分布密集导致形成低质量区域时,造成相位展开误差,出现包裹相位空洞或者有不间断区域。路径无关算法的代表为最小二乘算法[5-7],如离散余弦最小二乘算法(discrete cosine transform least square,DCT-LS)[8]、横向剪切最小二乘算法(transverse shear least square,TS-LS)[9]、四向剪切最小二乘算法(four-way shear least squares, FS-LS)[10]等,其运算稳定性好,不需要识别残差点,但是如果相位存在噪点,会将噪声产生的误差进行放大,对全局造成影响。与此同时,由于被测物体不同,测量过程中的干涉因素不同,所选用的解包裹算法也不尽相同。因此,如何选择合适的解包裹算法才能得到最优的结果是所要面临的问题。

      近几年来,相关科研人员将深度学习和光学检测领域进行了结合[11-12]。通过卷积神经网络学习包裹相位到真实相位之间的映射关系,以实现数字全息相位解包裹。WANG等人使用模拟数据对深度学习相位解包裹网络(deep learning phase unwrapping, DLPU)进行训练,实现实验图的相位解包裹[13],DLPU在Unet网络基础上通过内部增加跳跃连接,解决网络深度加深造成学习率和准确率降低的问题,使卷积神经网络(convolutional neural networks, CNN)模型性能提升,同时计算复杂程度增高。为降低计算复杂度,谷歌提出轻量级深度可分离卷积网络MobileNetV3[14],由深度可分离卷积、倒残差模块和轻量级注意力机制组成[15],参数数量和运算成本降低,降低网络计算复杂度,提升网络计算速度。

      本文中在Unet网络框架下融合MobileNetV3的轻量级深度学习网络,选用两种自动机器学习(automated machine learning,AutoML)技术,引入注意力机制(squeeze-and-excitation,SE),调用激活函数hard-Swish,通过重新构建超参数和层配置,删除平均池化层和分类操作,设计UMnet神经网络实现相位解包裹。

    • 基于横向剪切的最小二乘法是对多个数据点上的2维包裹相位建立一个等效的2维复光场,沿x方向平移一个剪切量得到一次剪切观察,将两个光场相除得到新的光场[16],求出x方向的2阶差分,这样2阶差分连续分布,有效避免相位不连续对相位展开的影响。但是在实际物体测量中被测光场局部相位变化率很大时,横向剪切不能解决因相位变换导致的1阶差分不连续的影响。

      光学传输方程(transport of intensity equation, TIE)是一种典型的相位恢复技术,通过已知待测面光强分布和光强轴向微分,运用求解方程直接得到待测面的相位分布[17-18]。TIE利用2阶偏微分方程建立纵向强度导数和相位之间的定量关系[19]。基于TIE相位恢复算法需要对焦和离焦图像,用光学模型描述两幅离焦图和一幅聚焦图的关系,运用插值方法得出新图像和采集的对焦图像计算TIE,从而获得准确的相位关系。测量物体相位变化剧烈,造成轴向导数的非线性误差,影响包裹相位展开。

    • UMnet网络实现相位解包裹分为两部分,训练包裹相位和真实相位的映射关系如图 1a所示,实现从包裹相位到真实相位的相位解包裹运算如图 1b所示。对于网络的训练,橙色部分是准备阶段,模拟生成包裹相位和真实相位,蓝色部分是网络训练,网络训练获得网络输出的最优参数。

      图  1  UMnet网络操作流程图

      Figure 1.  UMnet network operation flow chart

    • UMNet整体网络的设计结构为6层的U形网络结构,如图 2所示。左侧的收缩路径和桥接路径由MobileNetV3改进,选用两种AutoML算法[20],分别为神经架构搜索(neural architecture search,NAS)算法和平台感知NetAdapt算法。运用NAS算法优化网络模块搜索全局网络结构[21],同时使用NetAdapt算法搜索每一层过滤器的数量。NAS和NetAdapt相结合可有效优化网络模型。左侧收缩路径和桥接路径如表 1所示,其中input为输入通道数,bneck为网络的基本结构,SE为是否使用注意力机制,激活函数类型(activation function type,AFT)是ReLU和hard-Swish,output为输出通道数,使用卷积stride进行降采样操作,每一层由多个block组成。block模块是由1×1卷积进行升维、倒残差结构的深度可分离卷积、灵活调用SE模块、1×1降维卷积组成。其中深度可分离卷积将卷积分成深层卷积(depthwise, DW)与逐点卷积(pointwise, PW),与传统卷积网络Unet相比,降低了卷积运算的计算量;与此同时直接调用SE模块会降低网络的运算速度,故本文中将其放在深度可分离卷积之后,扩张层的通道数变为原来的1/4, 在不增加时间消耗的同时提升了网络计算精度。block模块图如图 3所示,当stride为1时,运用shortcut;当stride为2时,不运用shortcut; 运用shortcut可解决网络模型梯度发散问题。

      图  2  UMnet的整体结构

      Figure 2.  Overall structure of UMnet

      表 1  左侧收缩路径和桥接路径

      Table 1.  Left shrink path and bridge path

      layer input operator output SE AFT stride
      1 8 Conv 2d, 3×3 16 false hard-Swish 2
      2 16 bneck, 3×3 16 false ReLU 1
      2 16 bneck, 3×3 32 ture ReLU 2
      3 32 bneck, 3×3 32 false ReLU 1
      3 32 bneck, 5×5 64 ture ReLU 2
      4 64 bneck, 5×5 64 false ReLU 1
      4 64 bneck, 5×5 64 false ReLU 1
      4 64 bneck, 3×3 128 ture hard-Swish 2
      5 128 bneck, 3×3 128 false hard-Swish 1
      5 128 bneck, 3×3 128 false hard-Swish 1
      5 128 bneck, 3×3 128 false hard-Swish 1
      5 128 bneck, 3×3 128 false hard-Swish 1
      5 128 bneck, 3×3 128 false hard-Swish 1
      5 128 bneck, 5×5 256 ture hard-Swish 2
      6 256 bneck, 5×5 256 ture hard-Swish 1
      6 256 bneck, 5×5 256 ture hard-Swish 1
      6 256 Conv 2d, 1×1 256 false hard-Swish 1

      图  3  收缩路径block模块

      Figure 3.  Shrink path block module

      SE模块通过建立卷积特征通道之间的关系来提高网络的精度[22-23],对网络特征进行重新校准,学习使用全局信息,达到强调有效的信息特征抑制无效特征进而提升网络学习能力。SE模块结构如图 4所示。由两个全连接(fully connected, FC)和两个激活函数组成, SERadio是一个缩放参数,用以减少通道数,从而降低网络计算量。

      图  4  SE模块

      Figure 4.  SE module

      桥接路径是由两个MobileNetV3网络block模块和1×1卷积组成,桥接路径最后操作为1×1卷积,可用于更小的特征图,提升了网络的计算速度。扩展路径的每一层是由一个反卷积通过跳跃连接与收缩路径上对应的特征映射相连接,是由3×3卷积、残差块、3×3卷积组成,每个重复的两次卷积特征通道数减半。

    • 收缩路径中激活函数选用ReLU和hard-Swish,在网络的前半段选用ReLU,后半段选用hard-Swish,hard-Swish函数在更深的网络中体现出更多的优势[24]

      $ \operatorname{hard}-\mathrm{Swish}(x)=x \frac{\operatorname{ReLU} 6(x+3)}{6} $

      (1)

      式中,x为输入值,ReLU6函数用于抑制最大值,设备精度高低不影响分辨率。Swish非线性提高网络的精度,同时在量化模式下,用ReLU6代替Sigmoid,可减少网络计算量,提升网络的计算速度。

      SE模块中选用ReLU和hard-Sigmoid, hard-Sigmoid与Sigmoid函数分段性近似,更容易计算,提升了计算的效率,以此提升SE模块的运算速度。

      $ \begin{gathered} \operatorname{hard}-\operatorname{Sigmoid}(x)=\operatorname{clip}\left(\frac{x+1}{2}, 0, 1\right)= \\ \max \left(0, \min \left(1, \frac{2 x+5}{10}\right)\right) \end{gathered} $

      (2)

      式中,x是输入值,clip函数是Python库里面对多维数组执行计算中用于限定固定上下值的函数。

    • 假设φ(xy)是待测的真实相位,ψ(xy)是光学系统提供的包裹相位,它们有以下关系:

      $ \psi(x, y)=\operatorname{angle}\{\exp [\operatorname{i} \varphi(x, y)]\} $

      (3)

      式中,i为虚数单位,angle函数采用复数自变量,将真实相位包裹在(-π, π]区间内。

      选用随机生成相位图作为数据集,由尺寸为2×2~20×20,取值范围0~20的矩阵经过双三次插值扩大为256×256的矩阵组成,随机生成数据为高斯分布和平均分布随机选取,以获得更好的鲁棒性。由(3)式得出相应的包裹相位,同时对其中20%数据集加入噪声,提升网络抗噪声能力,训练集由包裹相位图和真实相位图作为一对输入和标签,其中21579对用于训练,2381对用于测试。

      对于UMnet的实现,使用Pytorch(Python 3.8)框架,主机采用Intel(R)Core(TM)i7-9700, CPU运行主频为3.00 GHz,搭载4G内存NVIDA Geforce RXT 2060 GPU电脑上进行网络训练和测试。网络训练完成后,运用网络(大小为256×256像素)的相位展开时间为0.3 s。

    • 使用Mach-Zender光路获取生物细胞的全息图[25]。如图 5所示,由He-Ne激光器发出的波长为632.8 nm的激光经偏振分束棱镜(patical beam structure, PBS)分为参考光R和物光O,参考光R经准直扩束系统(beam expansion, BE)BE 2形成平行光,经过反射镜M2,物光O经准直扩束系统BE 1形成平行光,经过反射镜M1,分别经过40倍显微物镜(microscopic objective, MO),参考光和物光发生干涉,通过合束棱镜(beam structure, BS)合束,被CCD记录下来。

      图  5  马赫-曾德尔光路

      Figure 5.  Mach-Zehnder optical path

    • 用模拟数据集对网络进行训练,学习包裹相位和真实相位之间的映射关系。为避免网络过拟合,分别对不同迭代次数训练模型进行测试,实验结果如图 6所示。当网络迭代至100次,测试集结构性相似指数(structural similarity,SSIM)值达到最高,而后开始下降,停止训练。黑色折线表示SSIM值在0.95以上所占比例,红色折线表示SSIM值在0.98以上所占比例。

      图  6  模型训练结果

      Figure 6.  Model training results

      测试集随机选取3张图进行网络测试,实验结果如图 7所示。UMnet网络生成相位图和真实相位图SSIM指数分别为0.994,0.995,0.996,表明能够很好地完成相位解包裹工作。第1列为包裹相位,第2列为真实相位,第3列为UMnet网络生成的相位图。

      图  7  模拟测试集测试结果

      Figure 7.  Test results of simulation test set

    • 为验证网络的抗噪声能力,分别选取没有噪声、含有椒盐密度为0.03,0.06,0.09,0.12,0.15,0.18,0.21椒盐噪声模拟数据通过DCT-LS,TIE-FFT,DLPU和UMnet网络进行相位解包裹, 结果如图 8所示。不同方法相位解包裹SSIM变化如图 9所示。DCT-LS方法SSIM值由0.988降至0.369,TIE-FFT方法SSIM值由0.987降至0.497,DLPU方法SSIM值由0.984降至0.858,UMnet方法SSIM值由0.99降至0.924。相比于DCT-LS、TIE-FFT和DLPU方法,本文中生成的真实相位图SSIM分别提升0.55,0.427,0.06,具有良好的降噪声能力。

      图  8  模拟测试集加入不同椒盐密度的椒盐噪声通过DCT-LS, TIE-FFT, DLPU, UMnet数字全息解包裹

      Figure 8.  Salt and pepper noise with different salt and pepper density is added to the analog test set and unpacked by DCT-LS, TIE-FFT, DLPU and UMnet digital holography

      图  9  加入噪声后不同方法相位解包裹SSIM值

      Figure 9.  Different methods of phase unwrapping SSIM value after adding noise

    • 为验证网络泛化能力,分别对血细胞、骨髓癌细胞进行测试,将该方法与DCT-LS、TIE-FFT和DLPU进行比较,实验结果如图 10所示。实验表明,通过DCT-LS和TIE-FFT解包裹,细胞边缘有部分缺失,DLPU网络物体相位高度信息发生改变。通过UMnet方法消除由激光照射产生的散斑噪声的影响。虽然这两种细胞全息图并不在训练集里,仍可以实现相位解包裹运算。UMnet网络不仅能反映模拟包裹和未包裹相位之间的关系,还可以同时获得不同相位的包裹和未包裹相位之间的映射关系。

      图  10  血细胞、骨髓癌细胞真实相位图及3维展示

      Figure 10.  Real phase diagram and 3-D display of blood cells and bone marrow cancer cells

      对网络的抗噪声能力进行测试,分别对血细胞加入0.02,0.03,0.04,0.05,0.06椒盐密度的椒盐噪声,如图 11所示。用DCT-LS,TIE-FFT,DLPU和UMnet实现了相位解包裹,实验证明:在椒盐噪声下,DCT-LS方法背景噪声明显,细胞形态发生改变; TIE-FFT方法相对较好,但细胞边缘有包裹噪声; DLPU网络解包裹细胞背景影响较大;本文中的算法细胞展开较好,受背景噪声影响较小。

      图  11  血细胞加入不同椒盐密度噪声后相位解包裹

      Figure 11.  Phase unwrapping of blood cells after adding noise of different salt and pepper density

    • 基于Unet网络框架设计了UMnet神经网络,通过模拟数据进行网络训练,最终实现真实全息相位解包裹。同时通过血细胞、骨髓癌细胞等生物样品细胞进行测试,证明该网络的泛化能力。对不同椒盐密度噪声的血细胞进行网络测试,和传统方法相比,UMnet网络具有良好的降噪能力,能够快速准确地实现数字全息相位解包裹,可应用于多种生物样品相位展开,具有广泛的实用性。

参考文献 (25)

目录

    /

    返回文章
    返回