祝贺刘逸丰在期刊《Intelligent Computing》上发表了题为“Slimmed Optical Neural Networks with Multiplexed Neuron Sets and a Corresponding Backpropagation Training Algorithm ”的研究论文

2024年2月,刘逸丰在期刊《Intelligent Computing》上发表了题为“Slimmed Optical Neural Networks with Multiplexed Neuron Sets and a Corresponding Backpropagation Training Algorithm ”的研究论文。

研究背景与概述

    在过去的十年内,对算力的需求随着人工智能的发展正呈现指数级增长,数据中心相关的应用亟需更大带宽、更低功耗的方案。由于光学系统的信息承载能力远高于传统电学系统,使得其在信息传输与光学计算领域相比电学系统有着得天独厚的优势,光学神经网络(ONN)相关的器件与系统也凭借此优势逐渐成为了学术和产业的热点。

图1. 大模型时代,算力发展与需求对比

然而,在面向光学神经网络的非线性运算部分的方案中,均只能使用一个器件(模块)实现单输入、单输出的非线性运算,即一个神经元对应一个器件(模块)。这对于系统的集成非常不利,尤其是在光学器件规模整体远大于目前主流电学器件的前提下,这也成为了光计算网络进入实际应用的一大阻碍。

研究亮点

(1)多神经元复用模块(Multiplexed Neuron Sets,MNS)

作者团队面向光学神经网络的非线性运算部分提出多神经元复用模块(MNS)的结构,MNS基于波分复用(WDM)技术将多个神经元的非线性运算编码在不同的波长上,从而压缩进一个多波长的非线性器件中。

图2. 多神经元服用模块的原理示意图

多神经元复用模块这一结构的提出,解决了目前光学神经网络架构中非线性运算部分缺乏高并行度方案的问题。基于多神经元复用模块所构建的光学神经网络架构具有更小的规模和更低的系统复杂度,而实现的神经网络规模和性能不变。

(2)信道串扰相关的训练算法

团队成员面向多神经元复用模块和相应的光学神经网络架构,提出一种与多神经元复用模块中的信道串扰相关的训练算法,该算法基于非线性器内的串扰的抽象表达式而建立,并且耦合了串扰相关项,从而减小甚至消除了在多层的光学神经网络系统中串扰导致的误差叠加,从而减小甚至消除了由于多神经元复用模块的应用导致的准确率的下降。

图3. 考虑串扰的反向传播算法的训练示意图,误差在隐藏层和输出层中的传播过程

总结

作者团队提出了一种通用的波分复用结构,称为多神经元复用模块(MNS),它将波分复用技术应用于光学神经元,并使光学神经网络能进一步压缩。为了缓解甚至消除基于多神经元复用模块的WDM-ONN中的通道间串扰影响,作者团队提出了相应的反向传播(BP)训练算法。此外,简单起见,作者团队以半导体光放大器(SOA)为例,构建了一个使用新算法训练的 WDM-ONN。结果表明,多神经元复用模块与相应训练算法的结合明显缩小了系统规模,并在提供与传统g光学神经网络相似性能的同时将能效提高了10倍。