sigmoid函数

sigmoid函数可以将元素的值变换到0和1之间：

$$ \operatorname{sigmoid}(x)=\frac{1}{1+\exp (-x)} $$

sigmoid函数在早期的神经网络中较为普遍，但它目前逐渐被更简单的ReLU函数取代。

依据链式法则，sigmoid函数的导数为：

$$ \text { sigmoid }^{\prime}(x)=\operatorname{sigmoid}(x)(1-\operatorname{sigmoid}(x)) $$