論文

査読有り
2013年4月15日

統計的機械学習を用いた歴史的資料への濁点付与の自動化

情報処理学会論文誌
  • 岡 照晃
  • ,
  • 小町 守
  • ,
  • 小木曽 智信
  • ,
  • 松本 裕治

54
4
開始ページ
1641
終了ページ
1654
記述言語
日本語
掲載種別
出版者・発行元
一般社団法人情報処理学会

生の歴史的資料の中には,濁点が期待されるのに濁点の付いていない,濁点無表記の文字が多く含まれている.濁点無表記文字は可読性・検索性を下げるため,歴史コーパス整備の際には濁点付与が行われる.しかし,濁点付与は専門家にしか行えないため,作業人員の確保が大きな課題となっている.また,作業対象が膨大であるため,作業を完了するまでにも時間がかかる.そこで本論文では,濁点付与の自動化について述べる.我々は濁点付与を文字単位のクラス分類問題として定式化した.提案手法は分類を周辺文字列の情報のみで行うため,分類器の学習には形態素解析済みコーパスを必要としない.大規模な近代語のコーパスを学習に使用し,近代の雑誌「国民之友」に適合率96%,再現率98%の濁点付与を達成した.Raw historical texts often include mark-lacking characters, which lack compulsory voiced consonant mark. Since mark-lacking characters degrade readability and retrievability, voiced consonant marks are annotated when creating historical corpus. However, since only experts can perform the labeling procedure for historical texts, getting annotators is a large challenge. Also, it is time-consuming to conduct annotation for large-scale historical texts. In this paper, we propose an approach to automatic labeling of voiced consonant marks for mark-lacking characters. We formulate the task into a character-based classification problem. Since our method uses as its feature set only surface information about the surrounding characters, we do not require corpus annotated with word boundaries and POS-tags for training. We exploited large data sets and achieved 96% precision and 98% recall on a near-modern Japanese magazine, Kokumin-no-Tomo.

リンク情報
CiNii Articles
http://ci.nii.ac.jp/naid/110009579579
CiNii Books
http://ci.nii.ac.jp/ncid/AN00116647
URL
http://id.nii.ac.jp/1001/00091598/
ID情報
  • ISSN : 1882-7764
  • CiNii Articles ID : 110009579579
  • CiNii Books ID : AN00116647
  • identifiers.cinii_nr_id : 9000018482156

エクスポート
BibTeX RIS