本文基于普渡大学在2019年发表的综述文章[1]，简要讲述脉冲神经网络的机理及特点。脉冲神经网络与现在普遍应用的人工神经网络相比最大的特点就是它更接近生物神经元真实的工作状态，因此首先我将回顾人们在神经科学上所做的工作，即如何建立神经系统的模型。紧接着由该模型自然地引申出脉冲神经网络的结构。
神经元模型是神经科学中一个基本单元。对于生物的神经系统，从局部来看信息的传递可以简化为神经元对电信号的单向传递：前一个神经元通过突触将自己的膜电位传递给后一个神经元。人体身上的每个神经元平均有一万个连接，这些连接所传递的信号有的为激励，即会鼓励下一个神经元电位上升；有的信号会抑制下一个神经元电位上升。有的突触是强连接，即它的激励或抑制效果要更显著；有的是弱连接，它的作用更微弱。错综复杂、强弱不同的连接构成了一个三维的网络。基于这个朴素的机理，人们提出了感知器模型，其结构非常简明：N个数值作为输入，与N个增益权重作矩阵点积，其中权重模拟的就是突触连接的强弱。结果经由一个激活函数再得到输出。然而，感知器模拟了神经元的工作过程，但与真实过程有较大出入的。最明显的一点是，神经元的输入是一串脉冲，而不是一个模拟的连续的数值。
因此，神经元的输入和输出都是脉冲，而非如今神经网络普遍应用的连续模拟量。尽管近十年神经网络取得了令人兴奋的进展，但我们仍能从真实的神经元工作模式中探索新的可能性。一个被广泛应用的神经元模型是Leaky-Integrated-Firing (LIF) 模型，它描述了神经元的三种特性，漏电、累加、激活。当神经元接手到一个激励的脉冲时，它的电位会迅速上升，后又缓慢下降，这个过程像极了电容的充放电。当接收到足够密集的激励后，电位达到阈值，神经元进入活跃状态，输出一个脉冲，并迅速进入不应期。其中充电漏电的过程可以用这样一个微分方程表示。
学习过程是调整突触权重及建立新突触的过程，在机器学习中，该过程是通过迭代来取得对分类/回归函数的优化参数，其本质上是一个优化问题。在反向传播中，通过计算误差对于权重的梯度，我们可以找到梯度下降最快的曲线，以此来更新权重。但这在脉冲神经网络中是不适用的，离散的输出是不可导的，也就无法使用反向传播算法来学习。因此，应用在脉冲神经网络的最常见的学习方法是依赖脉冲时间的可塑性(Spiking Time Dependency Plastic)，以下简称STDP。这是一种解释神经细胞的突触如何建立的理论，STDP理论认为，突触的权重改变量依赖输入输出脉冲时间间隔。
此外，除了STDP外，还有一种广泛的应用是将训练好的模型（如深度神经网络）转换为脉冲神经网络，这可以避开脉冲神经网络的学习问题。脉冲神经网络将产生与深度神经网络相同的输入输出映射。使用权重调整和归一化方法将训练有素的深度神经网络转换为脉冲神经网络，将深度神经元的特征和尖峰神经元的泄漏时间常数、不应期、膜阈值等功能相匹配。除了STDP外，还可以在反向传播算法中动手脚，创造一个函数去逼近梯度，只要符号是对的，我们的梯度下降的方向就是对的，尽管不一定能最速下降，但好歹也能下降。
软件模拟和硬件加速也是脉冲神经网络研究中不可忽视的部分。因为生物系统是并行运作的，而计算机基于冯诺依曼架构串行处理任务，因此软件平台在计算效率会有劣势。在硬件上实现神经网络能够充分利用其固有的并行性，运行速度比CPU快几个数量级。此外随着神经网络的规模不断增大，其功耗也随之爆炸性增长。运算效率和功耗的瓶颈促使对硬件加速器的研究，一些加速器摒弃了集成数字电路器件，提出了基于光学或模拟电路阵列的结构。然而基于物理结构的神经网络加速器难以对权重矩阵进行训练，一方面反向传播算法中涉及很多偏导计算，很难在物理系统中执行；其次，权重需要不断迭代更新，需要作为突触的器件能够同时满足记忆、受控和计算的功能。因此制作硬件神经网络的难点在于，如何实现突触的功能。
目前被广泛用作人工突触的方案是利用忆阻阵列网络进行突触计算。忆阻器被认为是电阻、电容、电感外的第四种电子器件。其阻值由磁通量和电荷量定义，通过观察阻容感的定义式，可以发现非常和谐的规律，电阻是电压的电流微分，电感是磁通的电流微分，电容的倒数是电压的电荷微分。因此早在1971年，人们就猜测存在电学特性符合式(2)的器件。其阻值取决于流经忆阻器的电流的积分。相比于逻辑电路使用的存储单元，忆阻器具备存算一体的特点，其本身的阻值可以存储信息，同时其也能够通过欧姆定律直接参与运算。因此忆阻器作为人工突触可以在不降低神经网络准确度的前提下，大幅提升其算力，同时显著降低功耗。然而，忆阻器目前仍然只是实验室的产物，其高昂的制造成本使得这种方案的人工突触制备不易。此外其稳定性也难以保证，阻变曲线的变化、阈值电压和高低阻值的分散性可能造成错误的读写操作甚至器件失效。
温馨提示：答案为网友推荐，仅供参考