最后更新于4年前
这有帮助吗？
tanh函数是一个与sigmoid激活函数比较类似的激活函数, 公式如下:
tanh(x)=ex−e−xex+e−x=21+e−2x−1\tanh (x)=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}=\frac{2}{1+e^{-2 x}}-1tanh(x)=ex+e−xex−e−x=1+e−2x2−1
从最后一项中可以看出tanh是对sigmoid函数进行拉伸, 平移操作得到的.
对应的导数表达式为:
tanh′(x)=1−(tanh(x))2\tanh^{'}(x) = 1-(\tanh (x))^{2}tanh′(x)=1−(tanh(x))2
相应的函数图像和导数图像为:
类似于sigmoid函数, 梯度平滑
其导数的极大值为1, 相比于sigmoid函数的0.25的极大值, 梯度消失问题有所减缓
解决了sigmoid非zero-centered的问题, 训练时收敛的更快一些
sigmoid的大部分缺点仍然存在
计算量大(幂计算, 除法)
梯度消失问题仍然没有解决
