シグモイド関数

シグモイド関数（ゲイン5）

シグモイド関数（シグモイドかんすう、英: sigmoid function）は、次の式

$\varsigma _{a}(x)={\frac {1}{1+e^{-ax}}}={\frac {\tanh(ax/2)+1}{2}}$

で表される実関数である。ここで、$a$ をゲイン (gain) と呼ぶ。 シグモイド関数は、生物の神経細胞が持つ性質をモデル化したものとして用いられる。

狭義のシグモイド関数は、ゲインを1とした、標準シグモイド関数 (英: standard sigmoid function)

$\varsigma _{1}(x)={\frac {1}{1+e^{-x}}}={\frac {\tanh(x/2)+1}{2}}$

を指す。

概要

標準シグモイド関数

シグモイド (英: sigmoid) とは、シグモイド曲線 (英: sigmoid curve) ともいい、ギリシャ文字のシグマ（語中では σ だがここでは語末形の ς のこと）に似た形と言う意味である。ただし、単にシグモイドまたはシグモイド曲線と言った場合は、シグモイド関数と似た性質を持つς型の関数（累積正規分布関数、ゴンペルツ関数、グーデルマン関数など）を総称するのが普通である。

性質

$(-\infty ,\infty )\rightarrow (0,1)$ の単調増加連続関数で、1つの変曲点を持つ。

$y=0$ と $y=1$ を漸近線に持ち、

${\begin{aligned}\lim _{x\rightarrow \infty }\varsigma _{a}(x)&=1\\\lim _{x\rightarrow -\infty }\varsigma _{a}(x)&=0\\\lim _{x\rightarrow \pm \infty }\varsigma _{a}'(x)&=0\end{aligned}}$

である。

また、$x=0$ では、

${\begin{aligned}\varsigma _{a}(0)&=1/2\\\varsigma _{a}'(0)&=a/4\\\varsigma _{a}''(0)&=0\end{aligned}}$

である。つまり、変曲点は $(0,1/2)$ である。 シグモイド関数のグラフは、$(0,1/2)$ を中心に点対称である。すなわち、$\varsigma _{a}(x)-1/2$ は奇関数であり、$\varsigma _{a}(-x)=1-\varsigma _{a}(x)$ を満たす。

逆関数は、

$\varsigma _{a}^{-1}(y)={\frac {1}{a}}\ln \left({\frac {y}{1-y}}\right)={\frac {1}{a}}\operatorname {logit} y$

と、ロジット関数で表せる。特に、標準シグモイド関数とロジット関数は互いに逆関数である。

導関数と二階導関数は、

${\begin{aligned}\varsigma _{a}'(x)&={\frac {ae^{-ax}}{(1+e^{-ax})^{2}}}=a\varsigma _{a}(x)\{1-\varsigma _{a}(x)\}\\\varsigma _{a}''(x)&=a^{2}\varsigma _{a}(x)\{1-\varsigma _{a}(x)\}\{1-2\varsigma _{a}(x)\}\end{aligned}}$

と、シグモイド関数自身を使って簡潔に表せる。

自然対数と絡んで微分するとこのようになる。

${\begin{aligned}{\frac {d}{dx}}\ln(\varsigma _{a}(x))&=a\varsigma _{a}(-x)=a(1-\varsigma _{a}(x))\\{\frac {d}{dx}}\ln(1-\varsigma _{a}(x))&=-a\varsigma _{a}(x)\end{aligned}}$

他の関数との関係

ς型の関数の比較

シグモイド関数は、双曲線正接関数 $\tanh x={\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}$ を使って $\varsigma _{a}(x)={\frac {\tanh(ax/2)+1}{2}}$ とも表せる。またロジスティック関数 $N={\frac {K}{1+\exp {rK(t_{0}-t)}}}$において $r=a,K=1,t_{0}=0$ とした場合にあたる。

応用

導関数をシグモイド関数自身で簡単に導出できるため、微分成分が必要となるバックプロパゲーションに適している。ニューラルネットワークにおける活性化関数などで用いられる。

関連項目

• フェルミ分布関数
• ロジスティック関数