图5.3给出了第j个基本BP神经元（节点），它只模仿了生物神经元所具有的三个最基本也是最重要的功能：加权、求和与转移。其中x1、x2…xi…xn分别代表来自神经元1、2…i…n的输入；wj1、wj2…wji…wjn则分别表示神经元1、2…i…n与第j个神经元的连接强度，即权值；bj为阈值；f(·)为传递函数；yj为第j个神经元的输出。
第j个神经元的净输入值 为：
（5.12） 其中：
若视 ， ，即令 及 包括 及 ，则
于是节点j的净输入 可表示为：
（5.13）
净输入 通过传递函数（Transfer Function）f (·)后，便得到第j个神经元的输出 :
（5.14）
式中f(·)是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能无限增加，必有一最大值。
5.4.2 BP网络
BP算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层→隐层→输出层，每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出，则转向误差信号的反向传播流程。通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。
5.4.2.1正向传播
设 BP网络的输入层有n个节点，隐层有q个节点，输出层有m个节点，输入层与隐层之间的权值为 ，隐层与输出层之间的权值为 ，如图5.4所示。隐层的传递函数为f1(·)，输出层的传递函数为f2(·)，则隐层节点的输出为（将阈值写入求和项中）：
k=1,2,……q （5.15）
输出层节点的输出为：
j=1,2,……m （5.16）
至此B-P网络就完成了n维空间向量对m维空间的近似映射。
5.4.2.2反向传播
1) 定义误差函数
输入 个学习样本，用 来表示。第 个样本输入到网络后得到输出 （j=1,2,…m）。采用平方型误差函数，于是得到第p个样本的误差Ep：
（5.17）
式中： 为期望输出。
对于 个样本，全局误差为：
（5.18）
2）输出层权值的变化
采用累计误差BP算法调整 ，使全局误差 变小，即
（5.19）
式中： —学习率
定义误差信号为：
（5.20）
其中第一项：
（5.21）
第二项：
是输出层传递函数的偏微分。
于是：
（5.23）
由链定理得：
于是输出层各神经元的权值调整公式为：
（5.25）
3）隐层权值的变化
（5.26）
：
（5.22）
