网站地图
-
2维材料是指单个或多个原子层晶体结构，具有机械柔性和易于集成等特点，与硅(Si)或砷化镓(GaAs)等3维材料相比，2维材料具有许多独特的光学特性[1-2]。石墨烯作为一种2维等离子体材料，其高导电性和光学高透明度特性适用于透明电极和激光器[3-4]，另一方面可设计为光电探测器、光学传感器等应用[5-6]，其中多层石墨烯结构可实现完美吸收等特性。利用石墨烯根据需求设计光子超材料结构需要通过电磁模拟来解决复杂的逆问题，现阶段的纳米光学器件为实现更强大的功能使得其规模和复杂性不断增加，通常采用迭代运算的传统数值模拟方法, 例如有限元法(finite element method，FEM)、时域有限差分法(finite-difference time-domain，FDTD)等方法[7-9]，依赖于数值模拟软件，如COMSOL, HFSS等。但是由于逆问题的高度非线性，这些数值模拟已难以满足光学结构设计的需求，并且此类方法会造成大量的时间资源和计算资源的消耗。因此，采用优化算法可以解决此类问题，包括拓扑优化[10]、遗传算法[11]、水平集方法[12]等，然而优化算法受到搜索性质的限制，随着问题难度的增加，难以解决逆问题，且易陷入局部最优值。
深度学习使用深层次的神经网络采用非线性转换对模型的抽象化进行数据处理与计算，在计算机视觉、语音识别、数据挖掘[13]等领域不断发展的同时，已成功应用于计算机科学以外的物理研究中，例如频谱预测[14]、天线设计[15]、多层纳米粒子[16]等，形成了革命性和有效性的方法。神经网络的基本思想是由预定义的训练模型来预测当前问题，通过不断地迭代更新权重参数来取得更优的预测效果，其反向传播算法适用于结构繁杂且参数众多的数据集。神经网络已被广泛应用于电磁学的设计及预测问题中，以更高的精度与效率来解决此类问题，如滤波器、传感器、超表面等结构设计中。对于更为复杂的光学结构设计，如光子晶体[17]、超材料[18]、硅光子器件[19]等仍处于起步阶段，由于其性能的复杂性和设计的灵活性还未形成系统化的深度学习解决方案。
在本文中，将神经网络应用于石墨烯和氮化硅的多层交替薄膜超材料结构的预测中，输入为入射角等于85°的多谐振完美吸收光谱，得到输出基于石墨烯的超材料结构参量。神经网络通常采用1阶梯度法训练，存在两个分支：随机梯度下降法(stochastic gradient descent, SGD), 如动量随机梯度法(momentum-SGD)、内斯特罗夫加速梯度法(Nesteroff acceleration gradient, NAG)，以及自适应学习率方法，如自适应法(adaptive method, Adam)、自适应梯度法(adaptive gradient, Adagrad)、自适应约束法(adaptive bound, AdaBound)、均方根传播法(root mean square propogation, RMSProp)等方法。然而相对于文本及图像识别，纳米结构参数预测的采样空间相对较小，且难以获得大量样本，常见的神经网络往往存在陷入局部最优解以及测试集依赖于训练模型的缺陷。采用SGD作为网络的优化器进行训练，无法得到稳定且准确的预测结果，采用多种自适应学习率方法进行训练，并对多种方法的预测结果进行了比对，Adam优化算法的预测结果较为稳定和准确，但预测精度仍然无法达到预期。自适应信念法(adaptive belief, AdaBelief)在图像分类和语言建模等应用场景中比其它方法的收敛速度快、准确率更高，表现出较高的稳定性, 并提高了样本的质量。本文中将AdaBelief优化器运用于石墨烯基超材料的设计中，对采用Adam, AdaBelief, SGD优化算法的神经网络的预测结果进行了对比与评估。预测结果表明，基于AdaBelief优化器的残差神经网络(residual neural network, RESNET)[20]收敛速度更快且预测精度更高，该网络展现了在超材料和超器件设计中的强大能力。
-
构建基于石墨烯的超材料结构来评估该改进型神经网络在结构设计中的能力。如图 1所示，该结构由多个无限宽的石墨烯和氮化硅交替层构成，设计空间为每层氮化硅的厚度，用d1, d2, …, dn来表示从底部至顶部的各层氮化硅厚度。
图 1 Alternating multilayer film structure consisting of graphene and Si3N4
激发光以入射角θ及特定偏振进入半球棱镜与结构体中，电介质的光学厚度控制在可见光与红外区域的亚波长范围内，其目的是产生所需光学响应(如某一波长范围的完美光吸收)。
单层石墨烯光子晶体的介电常数ε为：
$ \varepsilon = {\varepsilon _0} + {\rm{i}}\sigma /\Delta \omega $
(1) 式中, ε0表示真空介电常数，Δω表示入射光的角频率的变化量，石墨烯层表面电导率σ可用Kubo公式计算：
$ \sigma (\omega , {\mu _{\rm{c}}}, \mathit{\Gamma }, T) = {\sigma _{{\rm{intra}}}} + {\sigma _{{\rm{inter}}}} $
(2) $ {\sigma _{{\rm{inter}}}} = - \frac{{{\rm{i}}{e^2}(\omega - {\rm{i}}2\mathit{\Gamma })}}{{\pi {\hbar ^2}}}\int_0^\infty {\frac{{f( - \xi , {\mu _{\rm{c}}}, T) - f(\xi , {\mu _{\rm{c}}}, T)}}{{{{(\omega - {\rm{j}}2\mathit{\Gamma })}^2} - 4{{(\xi /\hbar )}^2}}}} {\rm{d}}\xi $
(3) $ {\sigma _{{\rm{intra}}}} = \frac{{{\rm{i}}{e^2}}}{{\pi {\hbar ^2}(\omega - {\rm{j}}2\mathit{\Gamma })}}\int_0^\infty {\xi \left[ {\frac{{\partial f(\xi , {u_{\rm{c}}}, T)}}{{\partial \xi }} - \frac{{\partial f( - \xi , {\mu _{\rm{c}}}, T)}}{{\partial \xi }}} \right]} {\rm{d}}\xi $
(4) $ f(\xi , {\mu _{\rm{c}}}, T) = {\left\{ {{\rm{exp}}\left[ {\left( {\xi - {\mu _{\rm{c}}}} \right)/{k_{\rm{B}}}T} \right] + 1} \right\}^{ - 1}} $
(5) 式中，σinter和σintra代表带内和带间跃迁的光学电导率，f(ξ, μc, T)为费米-狄拉克分布函数，e为电子电荷，T为开尔文温度，Γ为散射率，μc为化学势，kB为玻尔兹曼常数，ħ为还原普朗克常数，ξ为电子能量。假设单层石墨烯的厚度为0.35nm，棱镜和氮化硅的折射率为2.0和1.46，取T=300K和μc=0.3eV。采用特征矩阵法以获得目标吸收光谱，第i层的特征矩阵如下：
$ {\mathit{\boldsymbol{M}}_i} = \left[ {\begin{array}{*{20}{c}} {{\rm{cos}}{\delta _i}}&{\left( {\frac{i}{{{\eta _i}}}} \right){\rm{sin}}{\delta _i}}\\ {i{\eta _i}{\rm{sin}}{\delta _i}}&{{\rm{cos}}{\delta _i}} \end{array}} \right] $
(6) 式中，δi=2πNidicosθi/λ为入射光的相位因子，其中Ni, di, θi, ηi分别表示第i层石墨烯的复折射率、厚度、入射光角以及倾斜光学导纳, λ为波长。吸收光谱可由底层到空气的光学导纳Z=X/Y来表示，其中Y和X的矩阵如下：
$ \left[ \begin{array}{c} Y\\ X \end{array} \right] = {\mathit{\boldsymbol{M}}_1}{\mathit{\boldsymbol{M}}_2} \cdots {\mathit{\boldsymbol{M}}_{i - 1}}{\mathit{\boldsymbol{M}}_i}\left[ \begin{array}{c} 1\\ {\eta _i} \end{array} \right] $
(7) 因此，吸收光谱可如下表示:
$ A = \frac{{4{\eta _0}{\rm{Re}}(Y{X^*} - {\eta _{\rm{c}}})}}{{({\eta _0}Y + X){{({\eta _0}Y + X)}^*}}} $
(8) 式中, η0和ηc表示空气和棱镜的光学导纳；*表示共轭。
使用改进型残差神经网络实现石墨烯超材料结构的反设计，如图 2所示。通过特征矩阵法根据各项光学参数计算得到的吸收光谱样本集H={hi, i=1, 2, …, n}, 预测结构体的厚度参数D={di, i=1, 2, …, n}。该网络底层映射表示为H(x), 使得堆叠的非线性层适用于F(x)=H(x)-x, 则原始映射被设置为F(x)+x。采用快捷方式跳过多层网络进行连接并执行身份映射，输出被添加到堆叠层的输出中，通过反向传播算法不断更新参数进行端到端的训练，降低了计算的复杂性，有效避免梯度弥散和梯度爆炸的现象。除了改善残差神经网络以更好地实现超材料的反设计，还引入了AdaBelief优化算法以实现网络的快速收敛并保证训练的稳定性，克服神经网络陷入局部最优解的缺陷，AdaBelief优化算法与其它算法如自适应约束法、控制自适应法、自适应权重法等算法进行了广泛的比较，如利用残差神经网络和稠密连接网络等在Cifar数据集进行图像分类与识别，以及在佩恩树库数据集上采用长短期记忆单元网络进行语言建模等实验。结果证明, AdaBelief优化算法的学习曲线的收敛速度和精确度均优于其它优化算法，算法细节如下所示。
图 2 Structural illustration of a residual neural network(the input depicts as the optical response, and the output depicts the material structural parameters)
-
首先定义参数gt, mt和st。
$ \left\{ \begin{array}{l} t \leftarrow t + 1\\ {g_t} \leftarrow \nabla {\theta _t}{f_t}({\theta _{t - 1}})\\ {m_t} \leftarrow {\beta _1}{m_{t - 1}} + (1 - {\beta _1}){g_t}\\ {s_t} \leftarrow {\beta _2}{v_{t - 1}} + (1 - {\beta _2}){({g_t} - {m_t})^2} \end{array} \right. $
(9) 式中，ft(θt)表示第t次优化时需要最小化的损失函数，θt表示损失函数的参数，gt表示ft(θt-1)关于θt的梯度，mt表示梯度预测值，st表示(gt-mt)2的指数移动平均值, ▽为偏导符号, β1和β2为平滑参数，vt为gt2的指数移动平均值，α和ε为无限接近于0的数，保证表达式有意义并对偏差进行校正。mt和st进行偏差估计修正后为：
$ \left\{ \begin{array}{l} {{\hat m}_t} \leftarrow {m_t}/\left( {1 - {\beta _1}} \right)\\ {{\hat s}_t} \leftarrow \left( {{s_t} + \varepsilon } \right)/(1 - {\beta _2}) \end{array} \right. $
(10) θt更新为：
$ {\theta _t} \leftarrow {\theta _{t - 1}} - \alpha {\hat m_t}/\sqrt {{{\hat s}_t} + \varepsilon } $
(11) 相对于Adam优化器，AdaBelief优化器并没有引入额外的参数，在梯度较大而方差小的情况下，Adam需降低学习率匹配2阶动量参数，而Adabelief无需降低学习率也能保证偏差控制在较小的范围内，其梯度更新方向为${m_t}/\sqrt {{s_t}} $。AdaBelief的更新公式:
$ \Delta {\theta _t} = - \alpha {m_t}/\sqrt {{s_t}} $
(12) Adabelief使用损失函数的曲率来改进网络的训练，当gt与mt偏差很大时，优化器采用较短的步长; 当gt接近预测值mt时，优化器采用较大的步长。由以上分析可知, AdaBelief通过梯度的不断变化来更新方向。
-
训练神经网络的目的是获取基于石墨烯的超材料结构参数。以85°入射角s偏振为例，采用特征矩阵法计算了50000个特定范围内的随机厚度参数所对应的吸收光谱训练样本，每个样本共有从t1~t256共256个采样点，额外计算1000个随机厚度的测试样本，定义了吸收光谱的预测误差函数P以评估算法的有效性和精确性，如下所示：
$ P = \frac{{\sum\limits_{i = 1}^n {{{({h_i} - {x_i})}^2}} }}{{\sqrt {\sum\limits_{i = 1}^n {{h_i}^2} } }} $
(13) 式中, n, hi, xi分别代表预测样本总数、目标吸收光谱和预测吸收光谱的离散值，该公式为每个样本所得预测误差，总预测误差值为各个样本预测误差的平均值，以该公式来评估AdaBelief, Adam, SGD 3种优化算法在该实例中的预测结果。
图 3为AdaBelief神经网络、Adam神经网络、SGD神经网络的学习曲线。每时期的预测误差是样本总误差的平均值，在200个时期中，SGD优化器的网络的预测误差曲线在前10个时期下降至25%左右后并无继续下降的趋势，说明在输入吸收光谱预测结构体参数的小采样空间的实例中，SGD优化器的性能较差，无法取得理想的预测结果。Adam优化器在200个时期中，预测误差曲线并未持续下降，始终在5%左右振荡，网络不够稳定；而AdaBelief优化器的预测误差曲线在经过30个时期的振荡之后，呈稳定下降趋势，经过200个时期的训练，预测误差降至2.5%左右，这说明该优化器在超材料结构体逆设计中收敛更快、精度更高。
图 3 Learning curve of AdaBelief, Adam and SGD neural network
对采用AdaBelief优化算法、Adam优化算法、SGD优化算法的网络的预测光谱进行了分析与比较。如图 4所示，采用特征矩阵法所计算的吸收光谱在761nm处的吸收率达到99%以上，采用SGD优化算法的网络预测氮化硅纳米薄膜厚度参数，预测吸收光谱与目标光谱在波段和吸收峰值中均产生了明显偏差，无法实现结构体的精确设计。而Adam优化算法和AdaBelief优化算法的预测结构参数所生成的吸收光谱与目标吸收光谱的重合度较高，并可明显看出，引入偏差校正项的AdaBelief优化算法的精度更高，说明该算法所预测光谱与特征矩阵法获得的目标光谱具有一致性。
图 4 Target absorption spectrum of a single absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks
采用特征矩阵法构造出了在红外波段具有多完美吸收峰的吸收光谱，如图 5和图 6所示。在304nm和1764nm左右达到95%以上的吸收率，在250nm，455nm和2628nm处达到95%以上的吸收率，在双吸收峰光谱和三吸收峰光谱的对比图中，AdaBelief优化算法的吸收光谱曲线和目标吸收光谱曲线的重合度最高，Adam次之，SGD存在显著偏差。
图 5 Target absorption spectrum of double absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks
图 6 Target absorption spectrum of multi absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks
随机抽取了其中一组预测结果进行了分析和比较，如表 1所示。表中给出了薄膜结构体交替层中5层氮化硅的目标厚度与3种算法网络的预测厚度，由表中可以看出, 采用AdaBelief的网络所预测厚度的平均误差低于其它两种算法所预测结果，进一步说明了AdaBelief算法在基于石墨烯的超材料结构体逆设计中的高精度。
表 1 Target structural parameters and prediction structural parameters and average error based on AdaBelief, Adam, SGD networks
target AdaBelief Adam SGD thickness of Si3N4/nm 37.24 38.69 39.09 44.35 31.53 29.57 27.48 19.87 17.53 15.69 16.63 23.62 41.80 42.09 48.67 37.13 6.74 8.79 3.48 8.81 average error/nm 0 1.52 3.39 6.56 -
首先构建了基于AdaBelief优化算法的改进型残差神经网络, 将其运用于基于石墨烯超材料的结构设计中，其次使用特征矩阵法获得多完美吸收峰的目标光谱作为网络的训练集与测试集。基于AdaBelief的神经网络的预测结构参数的平均误差小于其它方法的平均误差，并且所对应光谱表现出与目标光谱的高度一致性，预测结果表明, 基于AdaBelief的神经网络有效地解决了在小采样空间内网络易陷入局部最优解使得预测误差无法持续下降的问题，加快了网络的收敛速度并保证超材料结构参数预测的高精度。该方法为其它基于2维材料的光学结构设计提供了新思路。
基于AdaBelief残差神经网络的超材料结构逆设计
Inverse design of metamaterial structure based on AdaBelief residual neural network
-
摘要: 基于深度学习的超材料器件设计得到了前所未有的发展, 但在基于2维材料的反设计中, 传统的人工神经网络难以解决在小采样空间内陷入局部最优值的问题, 且随着结构的复杂性增加, 需要耗费大量的计算成本。针对这些缺陷提出了一种基于AdaBelief优化算法的残差神经网络, 选择基于石墨烯的多层交替薄膜结构的设计来验证该网络的有效性, 采用特征矩阵法构造出结构参数所对应的多谐振完美吸收光谱样本。结果表明, 该网络模型在较短的训练时间内达到了97%以上的预测精度; 通过与其它神经网络预测结果的对比, 该网络展现出了预测精度高、收敛速度快等优势。该研究实现了基于石墨烯的完美吸收超材料结构的设计目标。
-
关键词:
- 光学设计 /
- 超材料 /
- AdaBelief优化算法 /
- 石墨烯
Abstract: In recent years, the design of metamaterial devices based on deep learning has made unprecedented development. However, for the reverse design of two-dimensional materials, it is difficult to solve the problems of falling into the local optimal value in a small sample space by using the traditional artificial neural network. Meanwhile, a lot of computational cost will be needed with the increase of the complexity of the structure. To solve these defects, a residual neural network based on AdaBelief optimization algorithm was proposed. The validity of the network was verified by choosing the design of multilayer alternating thin film structure based on graphene. The structure parameters of the multi-resonant perfect absorption spectra of samples were constructed by using the characteristic matrix method. The results show that the network model reaches 97% of prediction accuracy within a shorter training time. Compared with the prediction results of other neural networks, this network shows the advantages of high prediction accuracy and fast convergence rate, and achieves the design goal of perfect absorption metamaterial structure based on graphene.-
Key words:
- optical design /
- metamaterials /
- AdaBelief optimization algorithm /
- graphene
-
图 2 Structural illustration of a residual neural network(the input depicts as the optical response, and the output depicts the material structural parameters)
图 4 Target absorption spectrum of a single absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks
图 5 Target absorption spectrum of double absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks
图 6 Target absorption spectrum of multi absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks
表 1 Target structural parameters and prediction structural parameters and average error based on AdaBelief, Adam, SGD networks
target AdaBelief Adam SGD thickness of Si3N4/nm 37.24 38.69 39.09 44.35 31.53 29.57 27.48 19.87 17.53 15.69 16.63 23.62 41.80 42.09 48.67 37.13 6.74 8.79 3.48 8.81 average error/nm 0 1.52 3.39 6.56 
下载: 导出CSV
-
[1] TAN T, JIANG X, WANG C, et al. 2D material optoelectronics for information functional device applications: Status and challenges[J]. Advanced Science, 2020, 7(11): 2000058. doi: 10.1002/advs.202000058 [2] RESERBAT-PLANTEY A, EPSTEIN I, TORRE I, et al. Quantum nano-photonics in two-dimensional materials[J]. ACS Photonics, 2021, 8(1): 85-101. doi: 10.1021/acsphotonics.0c01224 [3] LI X, SUN T, ZHOU K, et al. Broadband InSb/Si hetero junction photodetector with graphene transparent electrode[J]. Nanotechnology, 2020, 31(31): 315204. doi: 10.1088/1361-6528/ab884c [4] STANFORD M G, ZHANG C, FOWLKES J D, et al. High-resolution laser-induced graphene. Flexible electronics beyond the visible limit[J]. ACS Applied Materials & Interfaces, 2020, 12(9): 10902-10907. [5] TAN T, YUAN Zh Y, CHEN Y F. Graphene-based fiber functional sensors and laser devices[J]. Laser & Optoelectronics Progress, 2019, 56(17): 170613(in Chinese). [6] NIU H S, ZHU L Q, LIU K M. Design method of bernal-stacked bilayer graphene 1.06μm resonance-enhanced photodetector[J]. Journal of Infrared and Millimeter Waves, 2019, 38(1): 93-98(in Chinese). [7] POLYCARPOU A C. Introduction to the finite element method in electromagnetics[J]. Synthesis Lectures on Computational Electromagnetics, 2005, 1(1): 1-126. [8] GEDNEY S D. Introduction to the finite-difference time-domain (FDTD) method for electromagnetics[J]. Synthesis Lectures on Computational Electromagnetics, 2011, 6(1): 1-250. doi: 10.2200/S00316ED1V01Y201012CEM027 [9] ZHAN T, SHI X, DAI Y, et al. Transfer matrix method for optics in graphene layers[J]. Journal of Physics, 2013, 25(21): 215301. [10] KAYA M, HAJIMIRZA S. Nonparametric design of nanoparticles with maximum scattering using evolutionary topology optimization[J]. International Journal of Heat and Mass Transfer, 2021, 166: 120738. doi: 10.1016/j.ijheatmasstransfer.2020.120738 [11] SONG Y, WANG F, CHEN X. An improved genetic algorithm for numerical function optimization[J]. Applied Intelligence, 2019, 49(5): 1880-1902. doi: 10.1007/s10489-018-1370-4 [12] KAO C Y, OSHER S, YABLONOVITCH E. Maximizing band gaps in two-dimensional photonic crystals by using level set methods[J]. Applied Physics, 2005, B81(2): 235-244. [13] GUAN Sh H, YANG G, LI H, et al. Hyperspectral image classification based on 3-D convolutional recurrent neural network[J]. Laser Technology, 2020, 44(4): 91-97(in Chinese). [14] ZHANG C P, MA Y, MAO T, et al. Leukocyte recognition oriented to computer micro-vision system[J]. Laser Technology, 2020, 44(1): 125-129(in Chinese). [15] MORABITO A F, IERACITANO C, MORABITO F C. A machine-learning and compressive-sensing inspired approach to the optimal array pattern synthesis[C]//2019 PhotonIcs & Electromagnetics Research Symposium-Spring (PIERS-Spring). New York, USA: IEEE, 2019: 2891-2898. [16] LIU D, TAN Y, KHORAM E, et al. Training deep neural networks for the inverse design of nanophotonic structures[J]. ACS Photonics, 2018, 5(4): 1365-1369. doi: 10.1021/acsphotonics.7b01377 [17] SEIF-DARGAHI H. Ultra-fast all-optical encoder using photonic crystal-based ring resonators[J]. Photonic Network Communications, 2018, 36(2): 272-277. doi: 10.1007/s11107-018-0779-3 [18] MA W, CHENG F, LIU Y. Deep-learning-enabled on-demand design of chiral metamaterials[J]. ACS Nano, 2018, 12(6): 6326-6334. doi: 10.1021/acsnano.8b03569 [19] BOR E, ALPARSLAN O, TURDUEV M, et al. Integrated silicon photonic device design by attractor selection mechanism based on artificial neural networks: Optical coupler and asymmetric light transmitter[J]. Optics Express, 2018, 26(22): 29032-29044. doi: 10.1364/OE.26.029032 [20] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2016: 770-778. -
点击查看大图
图(6) / 表(1)
计量
- 文章访问数: 2707
- HTML全文浏览量: 1682
- PDF下载量: 19
- 被引次数: 0
