MISC

1996年7月18日

DFAによる形態素解析の高速化

情報処理学会研究報告. 自然言語処理研究会報告
  • 森 信介

96
65
開始ページ
101
終了ページ
107
記述言語
日本語
掲載種別
出版者・発行元
一般社団法人情報処理学会

入力文を単語に分割し品詞を付加する形態素解析は、日本語処理における基本的な処理である。日本語には単語間に明確な区切り記号がないので、この処理は入力文の全ての部分文字列に対する辞書検索を含む。本論文では、辞書を決定性オートマトンに変換し、辞書検索を高速に実現する方法を提案する。この方法は、AC法(失敗関数を持つトライ)に基づく方法と比較して、計算時間が少ないという利点と、大きい記憶域を必要とするという欠点がある。これらの方法を実装し実験を行なった結果、決定性オートマトンによる方法はAC法に基づく方法に対して、必要な記憶域は16.1倍であり、辞書検索の速度は11.7倍であった。Morphological analys is, which segments the input sentence into words and attaches parts of speech to them, is the most fundamental process of Japanese language processing. This process contains dictionary look-up of all substrings of input sentence. In this paper, we propose a method to convert the dictionary into a deterministic finite automaton and realize high-speed dictionary look-up. An advantage of our method is that it enables faster dictionary look-up and a disadvantage is that required memory space is larger than AC method-based dictionary look-up. The experimental results tells that our method requires 16.1 times as large memory space as AC method and is 11.7 times as fast as AC method in dictionary look-up.

リンク情報
CiNii Articles
http://ci.nii.ac.jp/naid/110002934947
CiNii Books
http://ci.nii.ac.jp/ncid/AN10115061
URL
http://id.nii.ac.jp/1001/00049089/
ID情報
  • CiNii Articles ID : 110002934947
  • CiNii Books ID : AN10115061

エクスポート
BibTeX RIS