シグモイド関数

標準シグモイド関数

シグモイド関数（ゲイン5）

シグモイド関数（シグモイドかんすう、sigmoid function）は、

$\varsigma_a (x) = \frac{1}{1+e^{- a x}}$

で表される実関数である。なお、$a$ をゲイン (gain) と呼ぶ。

狭義には、ゲインが1の標準シグモイド関数 (standard sigmoid function)

$\varsigma_1 (x) = \frac{1}{1+e^{-x}}$

をさす。

以下は広義のシグモイド関数について述べる。標準シグモイド関数については、$a = 1$ を代入すればよい。

シグモイド (sigmoid) とは、シグモイド曲線 (sigmoid curve) ともいい、ギリシャ文字のシグマ（語中では σ だがここでは語末形の ς のこと）に似た形と言う意味である。ただし、単にシグモイドまたはシグモイド曲線と言った場合は、シグモイド関数と似た性質を持つς型の関数（累積正規分布関数、ゴンペルツ関数など）を総称するのが普通である。

性質

$(-\infty, \infty) \rightarrow (0,1)$ の単調増加連続関数で、1つの変曲点を持つ。

$y = 0$ と $y = 1$ を漸近線に持ち、

$\lim_{x \rightarrow \infty} \varsigma _a (x) = 1$

$\lim_{x \rightarrow -\infty} \varsigma _a (x) = 0$

$\lim_{x \rightarrow \pm \infty} \dot \varsigma _a (x) = 0$

である。

$x = 0$ では

$\varsigma _a (0) = 1 / 2$

$\dot \varsigma _a (0) = a / 4$

$\ddot \varsigma _a (0) = 0$

である。つまり、変曲点は $(0,1/2)$ である。

また、$(0,1/2)$ を中心に点対称である。つまり、$\varsigma_a (x) - 1/2$ は奇関数であり、

$\varsigma_a (-x) = 1 - \varsigma_a (x)$

を満たす。

逆関数は、

$\varsigma _a ^{-1} (y) = \frac{1}{a} \ln \left( \frac{ y }{ 1 - y } \right) = \frac{1}{a} \operatorname{logit} y$

と、ロジット関数で表せる。特に、標準シグモイド関数とロジット関数は互いに逆関数である。

導関数と二階導関数は

$\dot \varsigma _a (x) = \frac{ a e^{-ax} }{ (1 + e^{-ax} ) ^2 } = a \varsigma_a (x) \{ 1 - \varsigma_a (x) \}$

$\ddot \varsigma _a (x) = a ^2 \varsigma_a (x) \{ 1 - \varsigma_a (x) \} \{ 1 - 2 \varsigma_a (x) \}$

と、シグモイド関数自身を使って簡潔に表せる。

他の関数との関係

双曲線正接関数

$\tanh x = \frac{ e^x - e^{-x} }{ e^x + e^{-x} }$

を使って

$\varsigma_a (x) = \frac{ \tanh(a x / 2) + 1 }{ 2 }$

とも表せる。

ロジスティック関数

$N = \frac{K}{1 + \exp{r K (t_0 - t)}}$

の特殊ケースで、$r = a, K = 1, t_0 = 0$ と置いた場合にあたる。

応用

導関数をシグモイド関数自身で簡単に導出できるため、微分成分が必要となるプロパゲーションに適している。パーセプトロンにおけるバックプロパゲーションなどで用いられる。

関連項目

• フェルミ分布関数
• ロジスティック関数