从ReLU到GELU，一文概览神经网络的激活函数

前一篇文章地址：https://mlfromscratch.com/neural-networks-explained/

• 概述

• sigmoid 函数是什么？

• 梯度问题：反向传播

• 梯度消失问题

• 梯度爆炸问题

• 梯度爆炸的极端案例

• 避免梯度爆炸：梯度裁剪/范数

• 整流线性单元（ReLU）

• 死亡 ReLU：优势和缺点

• 指数线性单元 （ELU）

• 渗漏型整流线性单元（Leaky ReLU）

• 扩展型 指数线性单元 （SELU）

• SELU：归一化的特例

• 权重初始化+dropout

• 高斯误差线性单元（GELU）

• 代码：深度神经网络的超参数搜索

• 扩展阅读：书籍与论文

激活函数是神经网络中一个至关重要的部分。在这篇长文中，我将全面介绍六种不同的激活函数，并阐述它们各自的优缺点。我会给出激活函数的方程和微分方程，还会给出它们的图示。本文的目标是以简单的术语解释这些方程以及图。