2.3 激活函数
详解激活函数以及它们的导数！
创建日期: 2025-04-14
2.3.1 Sigmoid
Sigmoid 这个词来自于其 S 型曲线的形状，源自于拉丁语 sigmoides ，意思是像字母 S 的形状。 Sigmoid 函数 是一种常用的激活函数，尤其是在输出层进行二分类任务时。它的数学表达式如下：
\(f(x) = \frac{1}{1 + e^{-x}}\) 或 \(f(x) = \frac{e^x}{1 + e^x}\)
Sigmoid 函数的输出值在 (0,1) 之间，对于任何输入 x ，都将其映射导这个区间。
当 \(x \rightarrow +\infty\) ，输出接近于 1；
当 \(x \rightarrow +\infty\) ，输出接近于 0；
当 \(x = 0\) ，输出为 0.5 。