深度学习深度前馈网络（三）—— 隐藏单元（激活函数）（二十五）

1. 定位导航第 23 篇通过 XOR 理解了"非线性激活"的必要性。第 24 篇详解了输出单元的选择。本篇专攻隐藏单元——网络中间层用的激活函数。核心争议：激活函数的选择是深度学习中最少有"理论指导"、最多依赖经验和直觉的领域之一。Goodfellow 自己说：“设计过程充满了试验和错误。”但近 10 年来已经形成清晰的实践共识：“ReLU 是默认选择，特殊场景换更先进的激活函数。”本篇按场景驱动梳理 8 个主流激活函数。2. 设计激活函数的核心原则2.1 大多数隐藏单元的统一形式绝大多数隐藏单元都可以描述为：h=g(W⊤x+b)\mathbf{h} = g(\mathbf{W}^\top \mathbf{x} + \mathbf{b})