形態素解析

提供: フリー百科事典『ウィキペディア（Wikipedia）』

言語学
理論言語学
分野
音韻論
形態論
統語論
意味論
語用論
理論
生成文法
認知言語学
音声学
記号学
社会言語学
言語獲得
第二言語習得
心理言語学
神経言語学
計算言語学
研究の手法
対照言語学
コーパス言語学
歴史言語学
比較言語学
内的再構
語源学
応用言語学
文体論
談話分析
語学教授法
言語政策・言語計画
通訳・翻訳
自然言語処理・機械翻訳
個別言語学
日本語学
英語学
ロマンス語学
フランス語学
言語学者の一覧

形態素解析（けいたいそかいせき、Morphological Analysis）とは、コンピュータ等の計算機を用いた自然言語処理の基礎技術のひとつ。かな漢字変換等にも応用されている。

対象言語の文法の知識（文法のルールの集まり）や辞書（品詞等の情報付きの単語リスト）を情報源として用い、自然言語で書かれた文を形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの品詞を判別する作業を指す。

以下は「お待ちしております」という文を形態素解析した例である （形態素解析ツールには「茶筌」を使用した）。

文字列 読み 原形 品詞の種類 活用の種類 活用形
お待ち オマチ お待ち 名詞-サ変接続    
し シ する 動詞-自立 サ変・スル 連用形
て テ て 助詞-接続助詞    
おり オリ おる 動詞-非自立 五段・ラ行 連用形
ます マス ます 助動詞 特殊・マス 基本形
。 。 。 記号-句点    


目次

[編集] 日本語の代表的な形態素解析の手法

大まかに言えば文から切り出した単語が属する品詞を辞典を用いて調べていき、結果得られた品詞の並びから文法的に正しい並びであるものを正解であるとするという方法を取る。

一般的に多くの自然言語には品詞の接続に制限が存在する（例えば日本語では動詞のあとに格助詞がくることはできない。「ドアを開けるを」などは不可）。この性質を利用することによって単語の境界の判別を行う。具体的にこの性質を利用する方法には以下の2つがある:

[編集] 規則による形態素解析

長尾真らの1970年代後半の研究[1][2]では、次のようなアルゴリズムによる形態素解析処理を構築した。

  1. 事前に用意しておいた辞書や規則をテーブル形式で読み込む。
  2. 入力文を読み込む。
  3. 慣用句テーブルとのマッチングを行う。最長一致法を使う。マッチングした部分は固定され、以降の解析では変更されない。
  4. 句読点と字種の変わり目（基本的にひらがなから漢字に変わる箇所）で、文節を切り出す。これは文法上の文節ではない。
  5. 切り出された文節の中で、慣用句にマッチングしていない箇所について、ひらがな書き自立語テーブルなどとのマッチングを行う。このとき、接続条件を考慮せず、全ての可能性を洗い出す。
  6. 以上で出てきた慣用句や単語を接続条件に基づいて連鎖させていく。複数の連鎖がありうる場合、全てを出力する。
  7. 結果をファイルに書き出す。
  8. 未処理の文節があれば、5 に戻る。

前提として、漢字で書かれた部分は基本的に切り分けず、そこが自立語（あるいは自立語の語幹）になると想定している。従って、漢字で書かれた自立語の辞書（テーブル）は持たない。このとき使われるテーブルには、次のものがある。

  • 慣用句テーブル
  • ひらがな部分の単語切り分け用テーブル
    • 付属語テーブル
    • ひらがな自立語テーブル
    • 活用語尾テーブル -
    • ひらがな語幹テーブル
    • 特殊動詞テーブル
    • 副詞テーブル
  • 情報テーブル - 上記テーブル内の各項目に対応した辞書的情報
  • 接続テーブル - 形態素間の相互接続関係を記述したテーブル。接続カテゴリ（品詞）毎に、その前に出現可能な形態素のカテゴリや活用形が記されている。

この中で、接続テーブルが規則に相当する。形態素解析における品詞の接続関係は必ずしも通常の文法通りではなく、解析の効率や、形態素の切り分けがなるべく100%となる（切り分け不能とならない）よう考慮して設計される。このような規則を「文節構造モデル」と呼び、首藤公昭らの研究がある[3][4]。

[編集] 確率的言語モデルによる形態素解析

現在、日本語や英語などの形態素解析でもっとも有力とされるものは隠れマルコフモデル (HMM, Hidden Markov Model) による統計的な方法である。HMM は多くの言語における形態素の「つながり具合」を比較的簡単にモデル化できることがわかっている。具体的には入力文から生成可能な単語列を網羅的に列挙し、各単語間の連結部において両単語が連結して出現する確率に相当するスコアを付与する。文全体でこのスコアの合計がもっとも高くなるような品詞列を答えとする。

ところが、ある特定の言語の全世界における全文章データを元にHMMを抽出することは事実上不可能であるし、さらに、そもそも文章化されたデータからHMMを抽出したとしても、それが元となる文章の解析には最適であるものの、それ以外の（たとえばHMMから見ればまったく手付かずで未知の、今から解析しようとする）文章には適しているかどうかは保証が無い事などなどから次の節で述べるような問題も発生する。

[編集] 日本語の形態素解析における諸問題

日本語を形態素解析する際においては、以下の4つが大きな問題となる:

[編集] 単語の境界判別の問題

単語の境界を判別することはかな漢字変換の基礎となる技術である。しかし、単語の境界判別を正しく行うためには与えられた文以外の様々な知識、情報が必要となる場合があり、そのため解決が困難である。

たとえば「うらにわにはにわとりがいる」という文には、以下の様に（意味的には解釈に失敗しようとも）文法的に正しい異なる読み方が存在する（本当はもっとある）:

  • 裏庭 / には / 鶏 / が / いる
  • 裏庭 / には / 二 / 羽 / トリ / が / いる
  • 裏 / に / ワニ / は / 鶏 / が / いる
  • 裏庭 / に / 埴輪 / 取り / が / いる

上記最後の文の意味解釈は、"埴輪取り"という職業が存在したという特殊な状況下では意味的にも解釈に成功するだろうが、一般にそんな例は全くといっていいほど無い。しかしそれは"埴輪取り"という職業の人間が実際には存在しないという経験的な知識による人間らしい判断であって、コンピューターなどの計算機を用いた解析では、文法や単語の辞書的データを超えるようなそういった知識も導入したとすると必要な知識が膨大に用意される必要があり、現実的ではない。この文の様に、完璧な正解を得るにはその文がおかれている文脈や書き手の意図等の背景をくみとらねばならないため非常に難しい。

[編集] 品詞判別の問題

品詞判別の困難さは日本語よりも英語で顕著である。たとえば単語 "time" は「時間」という名詞としての意味のほかにも「 - 倍する」という動詞としての意味もあるため、これをどちらの意味にとるかによって文の文法的構造や導かれる意味がまったく違うものになってしまう。

品詞を見分けることは形態素解析の次の段階である構文解析にとって非常に重要であるが、英語では品詞の種類が文の構造と密接に関連しているため、これらを同時に行う方法も研究されている。

[編集] 未知語の問題

形態素解析は普通、その言語の単語を収めた辞書を用いておこなわれる。解析対象の文中の辞書に含まれない単語を未知語と呼ぶ。日本語では漢字の列やカタカナの列はたとえ未知語であってもある程度単語として認識することができる。しかしそれが使えない場合、代表的な方法は「知っている単語が現れるまでよみとばす」というものだが、これは後の解析を狂わせてしまい、結果として頑健な解析（より多くの文を解析可能であること）ができなくなってしまう恐れがある。

[編集] ルーズな文法の問題

話し言葉や電子メールなどで使われる言葉は、（たとえば小中学校で習うような）ある特定のモデル化された文法による日本語からはかけ離れたものが多い。たとえば「そんなことは知らないでしょう」が「んなこた知らんしょ」に変化しうる。また電子メールなどでは形態素解析に用いられる辞書には載っていない略語やフェイスマークが使われていることも多い（しかもそれらは一般に常用されるがために日々増えている）。

また、こういった文は校正が不十分なため、書き手の誤りが入っている場合が多くある。しかも、こういった誤りが繰り返されれば正用とみなされる場合すらある。このような文に対応した解析手法を頑健な解析と呼ぶ。このような文に対応するためには、正しい文が入力されるという前提の設計に基づく現在の形態素解析の手法を、誤りが含まれる様な文にも対処可能なように根本から見直す必要があるが、言語資源の不足のためあまり研究はされていない。

[編集] 日本語以外の言語の形態素解析

英語を含む多くの言語では、単語はふつう空白によってわかち書きされる。このため文を形態素に区切るのは日本語に比べると比較的簡単である （合成語の品詞や、形態素の品詞を見分ける問題は依然として残る）。ドイツ語では複数の単語から合成された名詞が空白による区切りのない一つの単語として表現されるため、わかち書きを行う必要がある。中国語や朝鮮語は日本語と同様にわかち書きを行う必要がある。また英語や日本語では活用する品詞の種類が少数に限られるため、単語の活用形も含んだものをすべて辞書に収めることができるが、ロシア語、フィンランド語などでは活用はほぼすべての品詞が起こすため、これらの言語では辞書に活用形を全て収めるのは非現実的である。

[編集] 入手可能な日本語の形態素解析エンジン　

[編集] フリーで入手可能なもの

フリーなライセンスで、自由に入手出来る。

[編集] 市販されているもの

Google、Amazon、MSN、楽天などで利用されており、世界で最も利用者の多い形態素解析エンジンであると言える。
大規模な辞書を持たず、1000語程度の学習モデルのみで未知語、新語、流行語、略語、話し言葉に対応する。

[編集] 形態素解析辞書（解析エンジンと合わせて利用）

ChaSenまたはMeCabと組み合わせて使う辞書。フリーライセンスではないが無償。

[編集] 脚注・出典

  1. ^ 長尾真（1979年）「計算機による日本語文章の解析に関する研究」、昭和53年度文部省科学研究費特定研究(1)研究報告書
  2. ^ 長尾真・辻井潤一（1978年）「国語辞書の記憶と日本語の自動分割」、情報処理 Vol.19 No.6
  3. ^ 首藤公昭・楢原登志子・吉田将（1979年）「日本語の機械処理のための文節構造モデル」、電子通信学会誌 Vol.62-D No.12
  4. ^ 首藤公昭（1980年）「文節構造モデルによる日本語の機械処理に関する研究」福岡大学研究所報 No.45

[編集] 関連項目

[編集] 参考文献

[編集] 外部リンク

「http://ja.wikipedia.org/wiki/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90」より作成