言語モデル
 | この記事は英語版の対応するページを翻訳することにより充実させることができます。（2019年4月） 翻訳前に重要な指示を読むには右にある[表示]をクリックしてください。
|
言語モデルとは、単語列に対する確率分布である。長さmの単語列が与えられたとき、単語列全体に対しての確率を与える。 言語モデルを用いると異なるフレーズに対して相対的な尤度を求めることができるため、自然言語処理の分野で広く使われている。 言語モデルは音声認識、機械翻訳、品詞推定、構文解析、手書き文字認識、情報検索などに利用されている。
1-gramモデル
 | この節には内容がありません。（2016年4月） |
n-gramモデル
| この節には内容がありません。（2016年4月） |
連続空間言語モデル
| この節には内容がありません。（2016年4月） |
その他のモデル
BERTは言語モデルの一種である。ニューラルネットワークの自己教師あり学習に基づいたモデルであり、事前学習では文字列を入力とする。
GSLM
Generative Spoken Language Model (GSLM) は音声を入力とした言語モデルである[1][2][3][4]。文字列を入力として一切利用しない。音声は言語情報以外にパラ言語情報・非言語情報を含んでいるため、音声を入力とするGSLMが獲得する表現にはこれらの情報もコードされていると期待される[5]。
脚注
- ^ Facebook AI. (2021). Textless NLP: Generating expressive speech from raw audio.
- ^ Lakhotia, et al. (2021). Generative Spoken Language Modeling from Raw Audio.
- ^ Polyak, et al. (2021). Speech Resynthesis from Discrete Disentangled Self-Supervised Representations.
- ^ Kharitonov, et al. (2021). Text-Free Prosody-Aware Generative Spoken Language Modeling.
- ^ "by having access to the full expressivity of oral language, models should incorporate nuances and intonations" Facebook AI. (2021). Textless NLP: Generating expressive speech from raw audio.
 | この項目は、言語学に関連した書きかけの項目です。この項目を加筆・訂正などしてくださる協力者を求めています（ウィキポータル 言語学）。 |
 | この項目は、コンピュータに関連した書きかけの項目です。この項目を加筆・訂正などしてくださる協力者を求めています（PJ:コンピュータ/P:コンピュータ）。 |