这是"激活函数"系列的第一篇。这篇文章不需要你有任何数学或编程基础,只要你听说过"神经网络"就够了。我们从最朴素的直觉出发,搞清楚激活函数到底在干什么、为什么重要。一、为什么需要激活函数?1.1 从一个具体问题说起​ 假设你要教一个神经网络区分猫和狗的图片。你可能听说过,神经网络是"一层一层"堆起来的。那问题来了:堆更多层,网络就更强吗?​ 答案是:不一定。如果每一层都只做线性变换,那堆再多层也没用。1.2 什么是线性变换?​ 先别被这个词吓到。线性变换就是"乘一个数再加一个数",也就是你初中学过的:y=wx+b y = wx + by=wx+b​ 一个神经元做的事情,本质就是这样:拿到输入xxx,乘以权重www,加上偏置bbb,得到输出yyy。如果我们把两层这样的操作叠起来呢?y=W2(W1x+b1)+b2=W2W1x+W2b1+b2 y = W_2(W_1 x + b_1) + b_2 = W_2 W_1 x + W_2 b_1 + b_2y=W2​(W1​x+b1​)+b2​=