MISC

1998年

枝分かれ構造を持つ同時確率モデルによる形態素解析(共著)

情報処理学会論文誌
  • 藤本 浩司
  • ,
  • 乾 伸雄
  • ,
  • 小谷 善行

39
7
開始ページ
2101
終了ページ
2111
記述言語
日本語
掲載種別
出版者・発行元
一般社団法人情報処理学会

統計手法を用いた形態素解析には,隠れマルコフモデルを連続確率モデルとして利用しているものが多い.しかし,品詞情報をそのままモデルの状態と見なすと必ずしも期待する確率予測値を得られないため,経験的にいくつかの形態素や分類グループをあらたな一状態として定義し,交互作用を拾う処置がなされる.本報告では,品詞の枝分かれ構造を利用した連接確率モデルを提案する.1つの連接確率は,連接する符号の属するそれぞれの上位水準間の同時確率を要素とする束の形で表現される.このモデル(枝分かれ同時確率モデル)は,経験則を利用することなく,学習データから連接確率推定に最適な状態を選ぶことができる.日本語コーパス(RWCコーパス)を用いて,枝分かれ同時確率モデルの形態素解析評価実験を行い,隠れマルコフモデルより有意に高い精度が得られた.Though hidden Markov model has been employed for morphological analysis,it is necessary to optimize the hidden state level among some tag categories heuristically in order to improve the accuracy.This paper presents a novel stochastic model based on a nested tag class structure.The Nested Joint Probability Model estimates morphemes transition probability by using the frequency lattice which is expressed by a direct procduct of two neased tag class hierarchies.For each pair of morphemes,some important frequency subset among lattice is selected and an optimized estimation formula is constructed automatically.The model effectiveness was tested,compared with a number of delivation models based on the hidden Markov model and some Markov Models on Japanese corpus(RWC corpus).The results showed that the Nested Joint Probability Model won the most accurate in open data and the highest noise robustness.

リンク情報
CiNii Articles
http://ci.nii.ac.jp/naid/110002722223
CiNii Books
http://ci.nii.ac.jp/ncid/AN00116647
URL
http://id.ndl.go.jp/bib/4521792
URL
http://id.nii.ac.jp/1001/00013001/
ID情報
  • ISSN : 1882-7764
  • CiNii Articles ID : 110002722223
  • CiNii Books ID : AN00116647

エクスポート
BibTeX RIS