相关文章推荐
纯真的哑铃  ·  【BLE】CC2541之解析simpleBL ...·  1 年前    · 
酒量小的小虾米  ·  android:使用audiotrack ...·  2 年前    · 
奔跑的足球  ·  根据Cron表达式，通过Spring自带的C ...·  2 年前    · 
星星上的企鹅  ·  只需一行代码，就能导入所有的Python库？ ...·  2 年前    · 
礼貌的电影票  ·  jQuery Cookie 插件 | 菜鸟教程·  2 年前    · 
Code  ›  类脑脉冲神经网络及其神经形态芯片研究综述 - PMC
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC9927433/
心软的钥匙扣
2 年前
The .gov means it’s official. Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site. The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely. As a library, NLM provides access to scientific literature. Inclusion in an NLM database does not imply endorsement of, or agreement with, the contents by NLM or the National Institutes of Health. Learn more about our disclaimer.
Sheng Wu Yi Xue Gong Cheng Xue Za Zhi. 2021 Oct 25; 38(5): 986–994.
Chinese. doi: 10.7507/1001-5515.202011005
PMCID: PMC9927433
PMID: 34713667

Language: Chinese | English

类脑脉冲神经网络及其神经形态芯片研究综述

A review of brain-like spiking neural network and its neuromorphic chip research

慧港 张 , 1, 2, 3 桂芝 徐 , corresponding author 1, 2, 3, * 嘉荣 郭 , 1, 2, 3 and 磊 郭 1, 2, 3

慧港 张

河北工业大学 省部共建电工装备可靠性与智能化国家重点实验室（天津 300130）, State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University of Technology, Tianjin 300130, P.R.China 河北工业大学 天津市生物电工与智能健康重点实验室（天津 300130）, Tianjin Key Laboratory of Bioelectromagnetic Technology and Intelligent Health, Hebei University of Technology, Tianjin 300130, P.R.China 河北工业大学 河北省生物电磁与神经工程重点实验室（天津 300130）, Hebei Key Laboratory of Bioelectromagnetics and Neuroengineering, Hebei University of Technology, Tianjin 300130, P.R.China

Find articles by 慧港 张

桂芝 徐

河北工业大学 省部共建电工装备可靠性与智能化国家重点实验室（天津 300130）, State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University of Technology, Tianjin 300130, P.R.China 河北工业大学 天津市生物电工与智能健康重点实验室（天津 300130）, Tianjin Key Laboratory of Bioelectromagnetic Technology and Intelligent Health, Hebei University of Technology, Tianjin 300130, P.R.China 河北工业大学 河北省生物电磁与神经工程重点实验室（天津 300130）, Hebei Key Laboratory of Bioelectromagnetics and Neuroengineering, Hebei University of Technology, Tianjin 300130, P.R.China

Find articles by 桂芝 徐

嘉荣 郭

河北工业大学 省部共建电工装备可靠性与智能化国家重点实验室（天津 300130）, State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University of Technology, Tianjin 300130, P.R.China 河北工业大学 天津市生物电工与智能健康重点实验室（天津 300130）, Tianjin Key Laboratory of Bioelectromagnetic Technology and Intelligent Health, Hebei University of Technology, Tianjin 300130, P.R.China 河北工业大学 河北省生物电磁与神经工程重点实验室（天津 300130）, Hebei Key Laboratory of Bioelectromagnetics and Neuroengineering, Hebei University of Technology, Tianjin 300130, P.R.China

Find articles by 嘉荣 郭

磊 郭

河北工业大学 省部共建电工装备可靠性与智能化国家重点实验室（天津 300130）, State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University of Technology, Tianjin 300130, P.R.China 河北工业大学 天津市生物电工与智能健康重点实验室（天津 300130）, Tianjin Key Laboratory of Bioelectromagnetic Technology and Intelligent Health, Hebei University of Technology, Tianjin 300130, P.R.China 河北工业大学 河北省生物电磁与神经工程重点实验室（天津 300130）, Hebei Key Laboratory of Bioelectromagnetics and Neuroengineering, Hebei University of Technology, Tianjin 300130, P.R.China 河北工业大学 省部共建电工装备可靠性与智能化国家重点实验室（天津 300130）, State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University of Technology, Tianjin 300130, P.R.China 河北工业大学 天津市生物电工与智能健康重点实验室（天津 300130）, Tianjin Key Laboratory of Bioelectromagnetic Technology and Intelligent Health, Hebei University of Technology, Tianjin 300130, P.R.China 河北工业大学 河北省生物电磁与神经工程重点实验室（天津 300130）, Hebei Key Laboratory of Bioelectromagnetics and Neuroengineering, Hebei University of Technology, Tianjin 300130, P.R.China

corresponding author Corresponding author.
徐桂芝，Email： nc.ude.tubeh@uxzg

其中参数 equation M1 和 equation M2 表示突触前至突触后间隔的大小，在此范围内发生突触连接增强或减弱， equation M3 和 equation M4 表示权重增强和减弱的增益 [ 14 ] 。为提高无监督学习算法在实际问题中的分类准确率，可以对 STDP 规则进行改进，例如在 STDP 规则中加入事件驱动环节或自适应阈值策略来优化分类效果 [ 16 - 17 ] 。

研究表明，以无监督 STDP 算法为核心的 SNN 浅层网络在分类任务中的表现远不如卷积神经网络（convolutional neural networks，CNN）等传统 ANN。CNN 在模式识别、图像分类等各个领域广泛应用，尤其是深层 CNN 在提取关键特征上有良好表现，但 CNN 中的权重连接方式没有生物学依据，因此学者趋向于将 STDP 规则和 CNN 结合起来，更全面地发挥 CNN 在计算准确率上和 SNN 在计算效率上的优势。例如 Lee 等 [ 18 - 19 ] 提出了一种深度脉冲卷积神经网络（deep spiking convolutional neural network，SpiCNN），使用基于 STDP 规则的无监督方法训练两个卷积层。Srinivasan 等 [ 20 ] 提出基于 STDP 规则的概率学习算法，称为混合 STDP 算法（hybrid-STDP，HB-STDP），该算法结合 STDP 和 anti-STDP 学习机制，以分层无监督学习方式训练由二进制核组成的剩余随机多层卷积脉冲神经网络（residual stochastic multilayer convolutional spiking neural network，ReStoCNet）。综合来看，结合卷积和 STDP 学习规则的 SNN 无监督学习算法能够发挥 CNN 和 SNN 各自的特点，兼具计算高效性和仿生性。

2.2. 监督学习算法

2.2.1. 基于 STDP 规则的监督学习算法

STDP 规则学习首先应用于无监督学习算法中，但无监督学习算法只适用于聚类问题，解决问题单一且自适应性不强。因此，Ponulak 等 [ 21 ] 在 STDP 学习规则基础上进行修正，提出远程监督算法（remote supervised method，ReSuMe），该算法将 STDP 规则和远程监督结合起来，在不计算梯度的情况下最小化输出和目标脉冲间的差值来更新权重。Taherkhani 等 [ 22 ] 利用 STDP、anti-STDP 和延迟学习规则并行学习隐含层和输出层的学习参数，使得权重和延迟学习相互作用，大幅提高了算法的学习精度并且更具有生物特性。此外，有学者提出奖励调节 STDP 规则（reward-modulated STDP，R-STDP），R-STDP 规则受神经调节剂如多巴胺和乙酰胆碱在 STDP 调节中的作用启发，是 STDP 监督学习中依据的重要规则 [ 23 - 24 ] 。Mozafari 等 [ 25 ] 将 STDP 规则和 R-STDP 规则同时应用于深度卷积 SNN 中，在第一层网络中使用 STDP 规则，在后两层中使用 R-STDP 规则，最终在 MNIST 数据集 [ 26 ] 上的识别率可达 97.2%。基于 STDP 规则的监督学习算法在保证仿生性的基础上提高了分类任务的准确率，近几年基于 STDP 学习规则的 SNN 监督学习算法总结对比如 表 2 所示。

表 2

Supervised learning algorithm of spiking neural network based on STDP learning rules

基于 STDP 学习规则的脉冲神经网络监督学习算法

算法 网络结构 神经元模型 脉冲形式 处理方式 特点
ReSuMe 单层 LIF/H-H 脉冲序列 离线/在线 自适应性强
Taherkhani 等 多层前馈 LIF 脉冲序列 在线 仿生性强
Mozafari 等 多层前馈 LIF 脉冲序列 在线 数据量少

2.2.2. 基于 ANN 思想的直接、间接学习算法

（1）基于反向传播的直接训练算法：

反向传播和梯度下降是神经网络中实现优化的重要手段，在权重更新上采用合适的反向传播和梯度下降思想，可解决 SNN 的不可微性问题。

Bohte 等 [ 27 ] 最早将反向传播和梯度下降思想应用于 SNN，其提出的监督学习算法 SpikeProp 引入反向传播过程，根据误差最小原则来计算梯度下降，更新突触权重以获得最优解。反向传播算法具有传统学习算法的背景，因此在许多方面存在问题，例如：梯度问题会使学习过程效率低下；在学习过程中融入的全局错误信息缺乏生物学支持；为了提高算法的准确度需要增加隐含层数量，但是隐含层数量过多会产生过拟合问题，使学习过程对干扰不具有鲁棒性。Hong 等 [ 28 ] 提出一种改进的 SpikeProp 学习算法，设计了一种脉冲梯度阈值规则来解决 SNN 训练中的梯度爆炸问题，为了控制训练过程中的网络活跃度，还加入了脉冲发射率和连接权重的调节规则。此外，学者们通过考虑反向传播中的各项影响因素，例如轴突延迟 [ 29 ] 、局部传播形式 [ 30 ] 、空间域时间域协同性 [ 31 ] 、宏观微观多样性 [ 32 ] 、近似激活函数 [ 33 ] 以及代理梯度 [ 34 ] 等，逐渐提高算法的分类精度。已知最优情况下，在 MNIST 数据集上的分类准确率可达 99.49%。近几年基于反向传播思想的 SNN 算法总结对比如 表 3 所示。

表 3

Supervised learning algorithm of spiking neural network based on back propagation

基于反向传播思想的脉冲神经网络监督学习算法

算法 网络结构 神经元模型 脉冲形式 处理方式 特点
Bohte 等（SpikeProp） 多层前馈 SRM 单脉冲 在线 首次使用反向传播
Hong 等 多层前馈 LIF 脉冲序列 在线 梯度阈值，仿生性强
Kim 等（LbAP） [ 29 ] 多层前馈 SRM 脉冲序列 在线 动态网络，容错性高
Shrestha 等（SLAYER） [ 30 ] 多层前馈 SRM 脉冲序列 离线 结合 STDP 和 BP
Wu 等 [ 31 ] 多层前馈 LIF 脉冲序列 离线 时空 BP，处理动态数据流
Jin 等 [ 32 ] 多层前馈 LIF 脉冲序列 在线 微、宏观结合

（2）基于卷积的直接训练算法：

Widrow-Hoff 规则 [ 35 ] 是线性神经网络中常用的调整权重的算法之一，适用于模拟信号，但脉冲序列是离散性信号，无法直接应用 Widrow-Hoff 规则。因此学者们利用卷积的思想处理离散数据，使其具有连续特征。通常采用加入卷积核的方式，把脉冲向量的元素相对应地转化为连续函数：

Mohemmed 等 [ 36 ] 提出的脉冲模式联合神经元算法（spike pattern association neuron，SPAN）通过核函数将脉冲序列（输入脉冲序列、神经元目标和实际输出脉冲序列）变为连续函数信号，然后应用 Widrow-Hoff 规则调节突触权重。Yu 等 [ 37 ] 提出的精准脉冲驱动可塑性算法（precise-spike-driven，PSD）只利用核函数将输入脉冲序列转换为卷积信号，通过目标输出脉冲与实际输出脉冲之间的误差驱动突触实现自适应。基于卷积思想的算法核心集中在卷积核的选择上，蔺想红等 [ 38 ] 从卷积核内核函数出发，提出针对脉冲神经元的脉冲训练卷积核学习规则（spike train kernel learning rule，STKLR），在 STKLR 算法中测试了各种内核函数。基于脉冲序列卷积的 SNN 算法总结对比如 表 4 所示。

表 4

Supervised learning algorithm of spiking neural network based on convolution

基于脉冲序列卷积的脉冲神经网络监督学习算法

算法 网络结构 神经元模型 脉冲形式 处理方式 特点
SPAN 单层 LIF 脉冲序列 离线/在线 卷积核转化脉冲序列
PSD 单层 LIF/IM 脉冲序列 离线/在线 仅卷积输入序列
STKLR 单层 SRM 脉冲序列 离线/在线 多种卷积核的利用

（3）基于 ANN 的间接训练算法：

ANN 的发展已经进入成熟期，广泛应用于图像识别、目标识别、无人驾驶、生物信息学等领域，如果将传统 ANN 的成熟算法间接应用于 SNN，或许可获得良好效果。因此众多学者不再直接训练 SNN 参数，而是通过将 ANN 中训练好的参数转化到相同结构的 SNN 中。为实现近无损的 ANN-SNN 转换，需要对原始的 ANN 模型做一定约束，例如对网络的不同层进行归一化。Sengupta 等 [ 39 ] 对每一层接收到的最大输入进行加权归一化，提高了该算法在分类任务中的识别率。Srinivasan 等 [ 40 ] 提出一种 ANN 转化到 SNN 的方法，先对 ANN 进行约束训练，包括删除批处理规范化层和偏向神经元，再将训练后的权重从 ANN 转移到 SNN，最后在 SNN 网络中使用基于 IF 神经元近似导数的反向传播算法进行训练。

ANN 转化到 SNN 的间接训练算法的优势在于权重训练方法相对成熟，在传统数据集上的分类效果理想，可以达到深度学习的水平。但对 ANN 采取约束会造成 SNN 性能下降，而且转化 SNN 训练时需要长时间的步长模拟，效率远低于直接训练的方式。另外，间接训练算法的特征提取步骤在 ANN 中完成，很难提取输入信息在时间维度上的特征，不适用于时空数据的分类。

3. 脉冲神经网络类脑神经形态计算平台

类脑 SNN 在处理稀疏和离散数据上表现出巨大潜力，不但能处理编码后的图像信息，还能从时间维度上挖掘语音、脑电等时空数据的特征，目前大部分 SNN 算法的实现仍基于 CPU、GPU 处理器，但这类数据处理模块和存储模块分离的计算平台无法发挥 SNN 并行程度高、计算速度快的优势。因此近十几年来，一系列面向 SNN 的专用硬件计算平台出现，成为类脑计算的一大分支。基于 SNN 的类脑神经形态计算平台必须满足：稀疏事件驱动性质，即信息传递以脉冲方式实现；可实现复杂的动力学功能，如实现神经元和突触组成的神经核、实现 STDP 学习规则；神经核之间可实现大规模并行连接，通过片上网络（network-on-chip，NoC）等通信。类脑神经形态计算平台主要通过模仿轴突、突触、树突、细胞体等结构完成信息输入、权重储存、信息加权、控制脉冲发放等功能，且通过配置路由功能实现不同计算核之间的数据传递。现有的 SNN 类脑神经形态计算平台可以从电路技术上分为数模混合计算平台和全数字计算平台。模拟电路能够精确地模拟神经元的动态特性，实现相对复杂的动力学模型，但是模拟电路容易受外界因素的影响且可编程性较弱，因此众多研究趋向于采用数模混合电路或纯数字电路。硬件材料的选取上，通常采用亚阈值或超阈值下的硅晶体管，实现技术包括互补金属氧化物半导体技术（complementary metal-oxide-semiconductor，CMOS）和全耗尽硅技术（fully depleted-silicon-on-insulator，FDSOI）等。类脑神经形态计算平台在体积上、能耗上明显优于其他硬件系统，有望在未来解决摩尔定律失效及冯·诺依曼体系局限性问题。

3.1. 脉冲神经网络数模混合计算平台

数模混合计算平台中，模拟电路部分能够直观地表现神经元动力学特性，实现神经元及突触的功能；由于路由部分需要完成稳定的数据传输，因此通常采用稳定性好和可靠性高的数字电路来实现。斯坦福大学的 Neurogrid 系统是最典型的数模混合类脑神经形态计算平台。

斯坦福大学的 Neurogrid 系统 [ 41 ] 是一个由 16 个芯片组成的百万级神经元神经形态系统，能耗仅为 3.1 W，使用的晶体管在亚阈值范围内运行。16 个芯片间的通信通过树状路由网络连接，可实现突触连接数量的最大化。Braindrop [ 42 ] 是斯坦福大学的另一款类脑神经形态芯片，也采用数模混合设计。两者对比，Neurogrid 系统在神经突触级别进行编程，需要使用硬件方面的专业知识，Braindrop 采用耦合的非线性动力学计算方式，并通过自动化程序综合到硬件中，提供一种高度抽象的编程方式以降低对使用者的技术要求。未来，斯坦福大学将集成多个 Braindrop 内核以构建更大的 Brainstorm 芯片。

ROLLs [ 43 ] 也采用亚阈值数模混合电路实现神经元和突触动力学，网络规模略小但对突触学习机制的仿生效果较好，可实现基于双稳态脉冲的可塑性机制，经历长时程增强（long-term potentiation，LTP）或长时程抑制（long-term depression，LTD）。此外 ROLLs 可实时更新突触连接强度实现片上在线学习，能耗仅为 4 mW。

与以上三者不同的是，BrainScaleS 采用超阈值数模混合电路来进行神经元动力学仿真，可实现短时程抑制和促进以及 STDP 两种学习规则 [ 44 - 45 ] 。2018 年，第二代 BrainScaleS 系统（简称 BrainScaleS-2）面世，BrainScaleS-2 使用支持非线性树突和结构化神经元的复杂模型，添加了混合可塑性方案 [ 46 ] 。与 BrainScaleS 中基于 STDP 的固定学习算法相比，BrainScaleS-2 中的学习算法可在软件中自由编程并在嵌入式微处理器上执行，可支持 SNN 算法和传统 ANN 算法 [ 47 ] 。

瑞士苏黎世大学设计的 DYNAPs 神经形态处理系统和 DYNAP-SEL 芯片同样采用超阈值数模混合电路。DYNAPs 和 DYNAP-SEL 采用两级路由方案以最小化内存使用，将 2D 网格与树状路由相结合，芯片间通过 2D 网格路由通信，神经处理核心间通过树状路由通信，并采用了点对点源地址路由和多点组合广播目标地址路由 [ 48 - 49 ] 。这种新型的路由方案适合开发新兴的储存技术，例如电阻随机存取存储器（resistive random-access memory，RRAM）、相变储存器（phase-change memory，PCM）。

Neurogrid 系统使用树突共享结构和多播树路由器，同层相邻神经元具有相同输入，不同层相应位置处神经元具有平移不变的连接，可达到吞吐量最大化，但 Neurogrid 系统未体现突触可塑性机制，也无法片上调整参数。BrainScaleS 可实现 STDP 规则，BrainScaleS-2 系统在此基础上增加了混合可塑性方案，通过软-硬件协同，可实现片上调整参数。DYNAPs 可实现 STDP 规则和片上学习，而且在通信方案上选择了分层、网状路由结合，提高了信息流传输效率。ROLLS 可以实现多种突触可塑性规则和多种网络结构（前馈结构、循环结构），但 ROLLS 规模较小，无法满足大规模网络需要。基于数模混合电路的类脑神经形态芯片参数和优缺点对比如 表 5 所示。

表 5

Comparison of neuromorphic chips based on digital analog hybrid circuit

数模混合电路类脑神经形态芯片对比

系统名称 制造工艺 神经元规模 突触规模 神经元模型 学习算法 优点 缺点
Neurogrid 180 nm CMOS 1 048 576 个 数亿个 QIF \ 吞吐量大 未体现突触可塑性
ROLLS 180 nm CMOS 256 个 128 000 个 AdExp-I&F STDP 多种突触可塑性规则，
多种网络结构 		规模小
BrainScaleS-2 65 nm CMOS 196 608 个 50 331 648 个 AdExp-I&F STDP 混合可塑性规则 未体现处理实际任务的能力
DYNAPs 180 nm CMOS 9 216 个 589 824 个 AdExp-I&F STDP 通信速度快 神经元核心密度小

3.2. 脉冲神经网络全数字计算平台

模拟电路的固有异质性和可变性导致难以在单个神经元和突触的维度上进行编程，但全数字式电路的实施方案可以通过兼容编程软件灵活调整 SNN 结构和参数。在全数字计算平台上，IBM 和英特尔等大公司以及曼彻斯特大学、清华大学、浙江大学等顶尖大学都已有突出成果。

IBM 公司从 2008 年开始致力于神经形态处理器的研究，先后有 Golden Gate 芯片 [ 50 ] 和 TrueNorth 处理器 [ 51 ] 两项成果。2018 年，IBM 发布了多核处理器 NS16e-4 TrueNorth 系统，该系统由 TrueNorth 处理器构成，包含 6 400 万个神经元和 160 亿个突触。TrueNorth 系列神经形态处理器已经应用于各种复杂任务，例如：无人机或自动驾驶任务中的动态图像识别、生物医学图像分割及脑电信号分类 [ 52 - 54 ] 。

曼彻斯特大学的 SpiNNaker 系统包含多达 1 036 800 个精简指令集计算机处理器（advanced RISC machine，ARM）和 7 太字节的片外动态随机存取存储器（dynamic random access memory，DRAM） [ 55 - 56 ] ，可模拟的神经元数量为人脑的 1%。该团队计划扩大神经元规模，模拟人的整个大脑，研发 SpiNNaker 二代系统（简称 SpiNNaker2）。SpiNNaker2 系统计划在第一代的基础上实现动态电源管理、储存器共享、多重累加加速器、神经形态加速器、片上网络等功能 [ 57 ] 。

相较于 TrueNorth 和 SpiNNaker，ODIN 是小型的在线数字神经形态芯片，可以实现 LIF 神经元和 20 种不同的 Izhikevich 放电模式 [ 58 ] 。MorphIC 是该团队提出的第二个版本的神经形态芯片，实现规模上优于 ODIN，而且采用了 STDP 规则的随机版本和分层路由结构，处理实际任务的准确率有所提升 [ 59 ] 。

Loihi [ 60 ] 是英特尔发布的数字型神经形态处理器，专长于实现各种突触学习规则，不仅支持简单的成对 STDP 规则，也支持复杂的三重 STDP 规则、带有突触标签分配的强化学习规则以及利用平均速率和脉冲定时轨迹的 STDP 规则 [ 61 ] 。在此基础上，配有 64 个 Loihi 芯片、能够模拟 800 多万个神经元的 Pohoiki Beach 系统和配有 768 个 Loihi 芯片、能够模拟 1 亿多个神经元的 Pohoiki Springs 系统已经基本成型。

浙江大学和杭州电子科技大学合作研究的达尔文神经处理单元支持可配置数量的神经元、突触和突触延迟，是一款高度可配置的神经形态芯片 [ 62 - 63 ] 。清华大学类脑计算研究中心提出的天机芯是第一款异构融合的神经形态计算芯片，同时支持基于计算机科学的机器学习算法和基于神经科学的生物启发模型。天机芯可以自由集成各种神经网络和混合编码方案，从而允许多个网络（包括 SNN 和 ANN）之间进行无缝通信 [ 64 ] 。该团队已经在天机芯上构建了用于语音命令识别的 SNN、用于图像处理和目标检测的 CNN、用于人类目标跟踪的连续吸引子神经网络（continuous attractor neural network，CANN）、用于自然语言识别的长短时记忆网络（long short-term memory，LSTM）和用于姿态平衡和方向控制的多层感知器（multilayer perceptron，MLP） [ 65 ] 。天机芯能够解决计算型 ANN 和类脑型 SNN 在硬件上不兼容的问题，推动了 SNN 在解决实际问题中的发展。

TrueNorth 神经形态处理器的神经核心参数和连接方式是高度可配置的，软-硬件完全对应可实现在模拟器和芯片上运行相同的程序，但参数的更新只能在软件上实现，无法片上学习。SpiNNaker 处理器、Loihi 处理器能够实现片上调整神经元、突触参数及学习规则，尤其 Loihi 处理器可配置突触延迟、自适应阈值、随机噪声及神经元分级连接等多项参数。ODIN 处理器和达尔文处理器均只实现了单芯片，规模较小，但 ODIN 处理器能够实现多种神经元模型，且神经元和突触密度已知为最高，达尔文处理器具有高配置性，能够满足实际任务的需要。天机芯的特点在于异构融合的思想，可以集成各种神经网络，并实现不同网络间的通信。基于数字电路的类脑神经形态芯片参数和优缺点对比如 表 6 所示。

表 6

Comparison of neuromorphic chips based on digital circuit

数字电路类脑神经形态芯片对比

系统名称 制造工艺 神经元规模 突触规模 神经元模型 学习算法 优点 缺点
TrueNorth 28 nm CMOS 100 万个 2.56 亿个 LIF \ 高度可配置 仅片外学习
SpiNNaker 130 nm CMOS 约 10 亿个 约 10 000 亿个 LIF，Izhikevich STDP 片上学习 体积相对较大
ODIN 28 nm CMOS 256 个 264 000 个 LIF，Izhikevich STDP 神经元核心密度大 单芯片，规模小
Loihi 14 nm CMOS 131 072 个 约 1.3 亿个 LIF STDP 片上学习，高度可配置 未体现处理实际任务的能力
达尔文芯片 180 nm CMOS 2 048 个 4 194 304 个 LIF \ 高度可配置 单芯片，规模小
天机芯片 28 nm CMOS 4 万个 1 000 万个 LIF STDP 异构融合 \

4. 总结与展望

本文总结了 SNN 网络构建中常用的五种神经元模型，即 H-H 模型、IF 模型、LIF 模型、SRM 模型和 Izhikevich 模型，对五种模型的电路、数学形式以及优缺点进行分析；概述了五种网络拓扑结构，即前馈型 SNN、递归型 SNN、循环型 SNN、进化型 SNN 和混合型 SNN，对五种网络拓扑结构的特点进行总结。在此基础上，综述了 SNN 学习算法及 SNN 神经形态计算平台，首先从无监督学习和监督学习两个角度，总结了近几年 SNN 算法实现和改进中的几个思考方向；然后对已经初具规模的 SNN 神经形态计算平台进行总结分析，对比了各计算平台的优缺点。通过对当前 SNN 各方面研究进展的分析，可以看出 SNN 作为新一代神经网络，算法和计算平台等均未成熟，正处于高速发展的阶段，面临着众多挑战，目前亟待解决的问题和发展趋势可能包括以下几个方面：

（1）在 SNN 神经元模型和网络结构方面：目前 SNN 网络多数基于这五种神经元模型，尤其是 LIF 神经元模型。研究者在选择神经元模型时，主要考虑两方面：一是模型的计算量，二是模型的仿生程度，LIF 神经元模型目前最能平衡这两个要求。但 LIF 神经元仅仅体现了神经元膜电位的泄露、积累和阈值激发过程，与真实神经元放电特征相差许多，因此在保证计算速度的基础上加入更多生物学特征是未来的发展方向。SNN 网络结构种类较多，但实际应用中只局限于前馈神经网络。虽然网络越复杂可能越影响计算效率，但仍要考虑其在计算精度提升上的作用，因此在网络构建中，要考虑加入循环、反馈等机制。

（2）在 SNN 学习算法方面：学习算法是网络更新迭代的命脉，SNN 目前在模式识别、目标检测等领域的应用远不如传统 ANN。基于 STDP 规则的无监督学习算法能够反映大脑中神经元和突触的连接规律，但在处理大规模任务上的潜力仍需挖掘；几类监督学习算法主要从反向传播和卷积的角度出发，虽然在仿生性上远不如 STDP 规则，但在利用深层网络分类的准确性上已经可以达到传统 ANN 的水平。目前 SNN 算法还面临众多挑战，具体体现为：基于 STDP 规则的学习算法如何应用在深层网络中，满足识别任务的需要；基于反向传播的算法如何解决神经元模型不可微问题，在深层网络中解决过拟合和鲁棒性问题；ANN 转化到 SNN 的算法，要保证转化前后分类精度无损。此外，如何将 SNN 真正地应用于分类、检测任务是最亟待解决的问题，尤其 SNN 的特点非常适合处理时空数据，例如动态视觉信息、语音、视频、脑电、心电等，要充分挖掘 SNN 处理动态信息的潜能。

（3）在 SNN 神经形态计算平台方面：SNN 神经形态计算平台为解决摩尔定律失效问题、计算存储分离的“冯·诺依曼”架构体系的能效低下问题提供了新思路，也正面临着许多问题。一是要确保神经元核心内部、单芯片内神经元核心间以及芯片间高效通信，路由方案的选择影响信息传递的效率，要选择合适的通信方案；二是实现系统参数的高度可配置性，多数芯片还未实现可配置参数多样化，包括神经元模型、网络拓扑、学习规则等宏观结构以及突触延迟、自适应阈值、随机噪声等微观调整；三是最大程度地利用神经形态芯片在效率和能耗上的优势实现片上学习；四是实现片上 ANN 转化到 SNN 或 ANN、SNN 并行计算，使芯片具有普适性。

总体而言，SNN 是从生物智能中得到的重要启示，将成为类脑人工智能实现的基本依据。通过对 SNN 神经形态处理器的总结，目前的处理器必须和软件协同作用才能更新参数，主要的学习功能均需在软件上实现，多数处理器还不具有处理复杂任务的能力。不过，在人工智能快速发展的热潮下，SNN 算法的准确度在逐步提高，SNN 类脑神经形态芯片的功能也逐渐增加。期待 SNN 在模式识别、目标检测等领域被广泛应用，在处理时空数据上的潜力被逐步挖掘。

利益冲突声明：本文全体作者均声明不存在利益冲突。

Funding Statement

国家自然科学基金资助项目（51977060，51737003）

Funding Statement

The National Natural Science Foundation of China

References

1. 蒲慕明, 徐波, 谭铁牛 脑科学与类脑研究概述 中国科学院院刊 2016; 31 (7):725–736, 714. [ Google Scholar ]
2. 蒲慕明 脑科学的未来 心理学通讯 2019; 2 (2):80–83. [ Google Scholar ]
3. 张荣, 李伟平, 莫同 深度学习研究综述 信息与控制 2018; 47 (4):385–397, 410. [ Google Scholar ]
4. Maass W Networks of spiking neurons: the third generation of neural network models. Neural Netw. 1997; 10 (9):1659–1671. doi: 10.1016/S0893-6080(97)00011-7. [ CrossRef ] [ Google Scholar ]
5. Hodgkin A L, Huxley A F A quantitative description of membrane current and its application to conduction and excitation in nerve. J Physiol. 1952; 117 (4):500–544. doi: 10.1113/jphysiol.1952.sp004764. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
6. Abbott L F Lapicque's introduction of the integrate-and-fire model neuron. Brain Res Bull. 2000; 50 (5/6):303–304. [ PubMed ] [ Google Scholar ]
7. Burkitt A N A review of the integrate-and-fire neuron model: I. homogeneous synaptic input. Biol Cybern. 2006; 95 (1):1–19. [ PubMed ] [ Google Scholar ]
8. Gerstner W, Kistler W. Spiking neuron models: single neurons, populations, plasticity. Cambridges: Cambridge University Press, 2002: 1-477.
9. Gerstner W A framework for spiking neuron models: the spike response model. North-Holland: Handbook of Biological Physics. 2001; 4 :469–516. [ Google Scholar ]
10. Izhikevich E M Simple model of spiking neurons. IEEE Trans Neural Netw. 2003; 14 (6):1569–1572. doi: 10.1109/TNN.2003.820440. [ PubMed ] [ CrossRef ] [ Google Scholar ]
11. Valadez-Godínez S, Sossa H, Santiago-Montero R On the accuracy and computational cost of spiking neuron implementation. Neural Netw. 2020; 122 :196–217. doi: 10.1016/j.neunet.2019.09.026. [ PubMed ] [ CrossRef ] [ Google Scholar ]
12. Zuo L, Chen Y, Zhang L, et al A spiking neural network with probability information transmission. Neurocomputing. 2020; 408 :1–12. doi: 10.1016/j.neucom.2020.01.109. [ CrossRef ] [ Google Scholar ]
13. Rumelhart D E, Hinton G E, Williams R J Learning representations by back propagating errors. Nature. 1986; 323 (6088):533–536. doi: 10.1038/323533a0. [ CrossRef ] [ Google Scholar ]
14. Song S, Miller K D, Abbott L F Competitive Hebbian learning through spike-timing-dependent synaptic plasticity. Nat Neurosci. 2000; 3 (9):919–926. doi: 10.1038/78829. [ PubMed ] [ CrossRef ] [ Google Scholar ]
15. Hebb D O. The organization of behavior: a neuropsychological theory. London: Psychology Press, 2005: 1-365.
16. Liu D, Yue S Event-driven continuous STDP learning with deep structure for visual pattern recognition. IEEE Trans Cybern. 2019; 49 (4):1377–1390. doi: 10.1109/TCYB.2018.2801476. [ PubMed ] [ CrossRef ] [ Google Scholar ]
17. Liu D, Bellotto N, Yue S Deep spiking neural network for video-based disguise face recognition based on dynamic facial movements. IEEE Trans Neural Netw Learn Syst. 2020; 31 (6):1843–1855. doi: 10.1109/TNNLS.2019.2927274. [ PubMed ] [ CrossRef ] [ Google Scholar ]
18. Lee C, Srinivasan G, Panda P, et al Deep spiking convolutional neural network trained with unsupervised spike timing dependent plasticity. IEEE Trans Cogn Dev Syst. 2019; 11 (3):384–394. doi: 10.1109/TCDS.2018.2833071. [ CrossRef ] [ Google Scholar ]
19. Lee C, Panda P, Srinivasan G, et al Training deep spiking convolutional neural networks with STDP-based unsupervised pre-training followed by supervised fine-tuning. Front Neurosci. 2018; 12 :435. doi: 10.3389/fnins.2018.00435. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
20. Srinivasan G, Roy K ReStoCNet: residual stochastic binary convolutional spiking neural network for memory-efficient neuromorphic computing. Front Neurosci. 2019; 13 :189. doi: 10.3389/fnins.2019.00189. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
21. Ponulak F, Kasinski A A supervised learning in spiking neural networks with ReSuMe: sequence learning, classifification, and spike shifting. Neural Comput. 2010; 22 (2):467–510. doi: 10.1162/neco.2009.11-08-901. [ PubMed ] [ CrossRef ] [ Google Scholar ]
22. Taherkhani A, Belatreche A, Li Y, et al A supervised learning algorithm for learning precise timing of multiple spikes in multilayer spiking neural networks. IEEE Trans Neural Netw Learn Syst. 2019; 29 (11):5396–5407. [ PubMed ] [ Google Scholar ]
23. Frémaux N, Wulfram G Neuromodulated spike-timing-dependent plasticity, and theory of three-factor learning rules. Front Neural Circuits. 2016; 9 :85. [ PMC free article ] [ PubMed ] [ Google Scholar ]
24. Brzosko Z, Zannone S, Schultz W, et al Sequential neuromodulation of Hebbian plasticity offers mechanism for effective reward-based navigation. Elife. 2017; 6 :e27756. doi: 10.7554/eLife.27756. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
25. Mozafari M, Ganjtabesh M, Nowzari-Dalini A, et al Bio-inspired digit recognition using reward-modulated spike-timing-dependent plasticity in deep convolutional networks. Pattern Recognit. 2019; 94 :87–95. doi: 10.1016/j.patcog.2019.05.015. [ CrossRef ] [ Google Scholar ]
26. LeCun Y, Bottou L, Bengio Y, et al Gradient-based learning applied to document recognition. Proc IEEE. 1998; 86 (11):2278–2324. doi: 10.1109/5.726791. [ CrossRef ] [ Google Scholar ]
27. Bohte S, Kok J, Poutre H Error-backpropagation in temporally encoded networks of spiking neurons. Neurocomputing. 2002; 48 (1-4):17–37. doi: 10.1016/S0925-2312(01)00658-0. [ CrossRef ] [ Google Scholar ]
28. Hong C, Wei X, Wang J, et al Training spiking neural networks for cognitive tasks: a versatile framework compatible with various temporal codes. IEEE Trans Neural Netw Learn Syst. 2020; 31 (4):1285–1296. doi: 10.1109/TNNLS.2019.2919662. [ PubMed ] [ CrossRef ] [ Google Scholar ]
29. Kim D, Kornijcuk V, Hwang C S, et al SPSNN: nth order sequence-predicting spiking neural network. IEEE Access. 2020; 8 :110523–110534. doi: 10.1109/ACCESS.2020.3001296. [ CrossRef ] [ Google Scholar ]
30. Shrestha S B, Orchard G. SLAYER: spike layer error reassignment in time// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Vancouver: Curran Associates Inc, 2018: 1412-1421.
31. Wu Y J, Deng L, Li G Q, et al Spatio-temporal backpropagation for training high-performance spiking neural networks. Front Neurosci. 2018; 12 :331. doi: 10.3389/fnins.2018.00331. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
32. Jin Y, Zhang W, Li P. Hybrid macro/micro level backpropagation for training deep spiking neural networks// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Vancouver: Curran Associates Inc, 2018: 7005-7015.
33. Lee C, Sarwar S S, Panda P, et al Enabling spike-based backpropagation for training deep neural network architectures. Front Neurosci. 2020; 14 :119. doi: 10.3389/fnins.2020.00119. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
34. Martinelli F, Dellaferrera G, Mainar P, et al. Spiking neural networks trained with backpropagation for low power neuromorphic implementation of voice activity detection// International Conference on Acoustics, Speech and Signal Processing (ICASSP). Barcelona: IEEE, 2020: 8544-8548.
35. Widrow B, Hoff M E Adaptive switching circuits. Neurocomputing. 1960; 4 :126–134. [ Google Scholar ]
36. Mohemmed A, Schliebs S SPAN: spike pattern association neuron for learning spatio-temporal spike patterns. Int J Neural Syst. 2012; 22 (4):1250012. doi: 10.1142/S0129065712500128. [ PubMed ] [ CrossRef ] [ Google Scholar ]
37. Yu Q, Tang H, Tan K C, et al Precise-spike-driven synaptic plasticity: learning hetero-association of spatiotemporal spike patterns. PloS ONE. 2013; 8 (11):e78318. doi: 10.1371/journal.pone.0078318. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
38. 蔺想红, 王向文, 党小超 基于脉冲序列核的脉冲神经元监督学习算法 电子学报 2016; 44 (12):2877–2886. doi: 10.3969/j.issn.0372-2112.2016.12.010. [ PubMed ] [ CrossRef ] [ Google Scholar ]
39. Sengupta A, Ye Y, Wang R, et al Going deeper in spiking neural networks: VGG and residual architectures. Front Neurosci. 2019; 13 :95. doi: 10.3389/fnins.2019.00095. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
40. Srinivasan G, Lee C, Sengupta A, et al. Training deep spiking neural networks for energy-efficient neuromorphic computing// International Conference on Acoustics, Speech and Signal Processing (ICASSP). Barcelona: IEEE, 2020: 8549-8553.
41. Merolla P A, Arthur J V, Alvarez-Icaza R, et al A million spiking-neuron integrated circuit with a scalable communication network and interface. Science. 2014; 345 (6197):668–673. doi: 10.1126/science.1254642. [ PubMed ] [ CrossRef ] [ Google Scholar ]
42. Neckar A, Fok S, Benjamin B V, et al Braindrop: a mixed-signal neuromorphic architecture with a dynamical systems-based programming model. Proc IEEE. 2018; 107 (1):144–164. [ Google Scholar ]
43. Qiao N, Mostafa H, Corradi F, et al A reconfigurable on-line learning spiking neuromorphic processor comprising 256 neurons and128K synapses. Front Neurosci. 2015; 9 :141. [ PMC free article ] [ PubMed ] [ Google Scholar ]
44. Schemmel J, Brüderle D, Grübl A, et al. A wafer-scale neuromorphic hardware system for large-scale neural modeling// 2010 IEEE International Symposium on Circuits and Systems (ISCAS). Paris: IEEE, 2010: 1947-1950.
45. Schmitt S, Klaehn J, Bellec G, et al. Neuromorphic hardware in the loop: training a deep spiking network on the BrainScaleS wafer-scale system// 2017 International Joint Conference on Neural Networks (IJCNN). Alaska: IEEE, 2017: 2227-2234.
46. Schemmel J. Towards the second generation brainscales system[R/OL]. (2018-2-27) [2021-8-17]. https://niceworkshop.org/nice-2018-agenda/.
47. Andreas G, Billaudelle S, Cramer B, et al Verification and design methods for the BrainScaleS neuromorphic hardware system. J Signal Process Syst. 2020; 92 (11):1277–1292. doi: 10.1007/s11265-020-01558-7. [ CrossRef ] [ Google Scholar ]
48. Moradi S, Qiao N, Stefanini F, et al A scalable multicore architecture with heterogeneous memory structures for dynamic neuromorphic asynchronous processors (DYNAPs) IEEE Trans Biomed Circuits Syst. 2018; 12 (99):106–122. [ PubMed ] [ Google Scholar ]
49. Thakur C S, Molin J L, Cauwenberghs G, et al Large-scale neuromorphic spiking array processors: a quest to mimic the brain. Front Neurosci. 2018; 12 :891. doi: 10.3389/fnins.2018.00891. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
50. DeBole M V, Taba B, Amir A, et al TrueNorth: accelerating from zero to 64 million neurons in 10 years. Computer. 2019; 52 (5):20–29. doi: 10.1109/MC.2019.2903009. [ CrossRef ] [ Google Scholar ]
51. Akopyan F, Sawada J, Cassidy A, et al TrueNorth: design and tool flow of a 65 mW 1 million neuron programmable neurosynaptic chip. IEEE Trans Comput-Aid Des Integr Circuits Syst. 2015; 34 (10):1537–1557. doi: 10.1109/TCAD.2015.2474396. [ CrossRef ] [ Google Scholar ]
52. Haessig G, Cassidy A, Alvarez R, et al Spiking optical flow for event-based sensors using IBM's TrueNorth neurosynaptic system. IEEE Trans Biomed Circuits Syst. 2018; 12 (4):860–870. doi: 10.1109/TBCAS.2018.2834558. [ PubMed ] [ CrossRef ] [ Google Scholar ]
53. Palit I, Yang L, Ma Y, et al. Biomedical image segmentation using fully convolutional networks on TrueNorth// 2018 IEEE 31st International Symposium on Computer-Based Medical Systems (CBMS). Karlstad: IEEE, 2018: 375-380.
54. Kiral-Kornek I, Mendis D, Nurse E S, et al. TrueNorth-enabled real-time classification of EEG data for brain-computer interfacing// 2017 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Korea: IEEE, 2017: 1648-1651.
55. Furber S B, Lester D R, Plana L A, et al Overview of the SpiNNaker system architecture. IEEE Trans Comput. 2013; 62 (12):2454–2467. doi: 10.1109/TC.2012.142. [ CrossRef ] [ Google Scholar ]
56. Barchi F, Urgese G, Siino A, et al Flexible on-line reconfiguration of multi-core neuromorphic platforms. IEEE Trans Emerg Top Comput. 2019; 9 (2):915–927. [ Google Scholar ]
57. Hoppner S. Spinnaker2—Towards extremely efficient digital neuromorphics and multi-scale brain emulation[R/OL]. (2018-2-27) [2021-8-17]. https://niceworkshop.org/nice-2018-agenda/.
58. Charlotte F, Martin L, Jean-Didier L, et al A 0.086-mm 2 12.7-pJ/SOP 64k-synapse 256-neuron online-learning digital spiking neuromorphic processor in 28-nm CMOS. IEEE Trans Biomed Circuits Syst. 2019; 13 (1):145–158. [ PubMed ] [ Google Scholar ]
59. Charlotte F, Jean-Didier L, David B MorphIC: A 65-nm 738k-synapse/mm 2 quad-core binary-weight digital neuromorphic processor with stochastic spike-driven online learning. IEEE Trans Biomed Circuits Syst. 2019; 13 (5):999–1010. doi: 10.1109/TBCAS.2019.2928793. [ PubMed ] [ CrossRef ] [ Google Scholar ]
60. Davies M, Srinivasa N, Lin T H, et al Loihi: A neuromorphic manycore processor with on-chip learning. IEEE Micro. 2018; 38 (1):82–99. doi: 10.1109/MM.2018.112130359. [ CrossRef ] [ Google Scholar ]
61. Blouw P, Choo X, Hunsberger E, et al. Benchmarking keyword spotting efficiency on neuromorphic hardware// Proceedings of the 7th Annual Neuro-inspired Computational Elements Workshop. New York: Association for Computing Machinery, 2019: 1-8.
62. Shen J, Ma D, Gu Z, et al Darwin: a neuromorphic hardware co-processor based on spiking neural networks. Sci China Inf Sci. 2016; 59 (2):1–5. [ Google Scholar ]
63. Ma D, Shen J, Gu Z, et al Darwin: a neuromorphic hardware co-processor based on spiking neural networks. J Syst Architect. 2017; 77 :43–51. doi: 10.1016/j.sysarc.2017.01.003. [ CrossRef ] [ Google Scholar ]
64. Deng L, Wang G, Li G, et al Tianjic: a unified and scalable chip bridging spike-based and continuous neural computation. IEEE J Solid-State Circuits. 2020; 55 (8):2228–2246. doi: 10.1109/JSSC.2020.2970709. [ CrossRef ] [ Google Scholar ]
65. Pei J, Deng L, Song S, et al Towards artificial general intelligence with hybrid Tianjic chip architecture. Nature. 2019; 572 (7767):106. doi: 10.1038/s41586-019-1424-8. [ PubMed ] [ CrossRef ] [ Google Scholar ]
Articles from Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering are provided here courtesy of West China Hospital of Sichuan University
 
推荐文章
纯真的哑铃  ·  【BLE】CC2541之解析simpleBLECentralEventCB_cc2541 解析扫描响应-CSDN博客
1 年前
酒量小的小虾米  ·  android:使用audiotrack 类播放wav文件_android 播放wav_彩云的笔记的博客-CSDN博客
2 年前
奔跑的足球  ·  根据Cron表达式，通过Spring自带的CronSequenceGenerator类获取下次执行时间 - ____Peanut - 博客园
2 年前
星星上的企鹅  ·  只需一行代码，就能导入所有的Python库？_腾讯新闻
2 年前
礼貌的电影票  ·  jQuery Cookie 插件 | 菜鸟教程
2 年前
今天看啥   ·   Py中国   ·   codingpro   ·   小百科   ·   link之家   ·   卧龙AI搜索
删除内容请联系邮箱 2879853325@qq.com
Code - 代码工具平台
© 2024 ~ 沪ICP备11025650号