共同研究・競争的資金等の研究課題

2019年4月 - 2023年3月

日本語発話の音調機能の網羅及びそれらの関係性の解明と評価付き音調独習アプリの開発

日本学術振興会  科学研究費助成事業 基盤研究(C)  基盤研究(C)

課題番号
19K00743
担当区分
研究分担者
配分額
(総額)
4,420,000円
(直接経費)
3,400,000円
(間接経費)
1,020,000円

本年度は、ディープラーニング技術により、日本語の音調学習のための音調推定手法の開発に取り組んだ。特にかかり受けを対象として、「やせた女の子ども」という発話音声をとりあげた。
「やせた女の子ども」の誤った音調と正しい音調を録音する必要がある。10拍からなる発話なので、高低の組み合わせを網羅すると1024通りとなる。今回は、「やせた女」部分の音調は、「低高高高高高」に固定し、「子ども」の部分だけ「高高高」「低高高」(以上、正しい音調)、「低高低」「低低高」「低低低」「高低低」「高高低」「高低高」の音調で日本語母語話者42人に発音してもらい録音した。
これらの音声データを用いてディープラーニング技術の一つである畳み込みニューラルネットワーク技術を使い、発話音声の音調の違いを自動分類することを試みた。申請者の研究グループでは、ピッチの知覚により音調の違いを判断できると考え、音声データからメル周波数ケプストラム(人間が感じる音高を考慮した音響特徴量)を取得し、それらの特徴量を学習に用いた。さらに、録音環境の異なる音声データを学習用に統制するため、音量、音質、音声データの時間を揃えるとともに、音声認識エンジンであるJuliusを活用して最初と最後の無音時間を自動で切り取り、同時に文の前半と後半を自動で判別して「やせた女の」と「子ども」を自動で分割した。最後に、それらの加工音声データから得たメル周波数ケプストラムにより音調分類学習を実行した。学習の結果、各文においてテスト音声の分類を行ったところ、いずれも98%以上の分類精度であることが認められた。加えて、インタラクティブに音調分類を行うため、マイクから取得した音声をリアルタイムに加工して、音調分類するシステムも構築した。次の段階として、他の文での学習やアプリとの連携による学習用システムのプロトタイプ開発を進める必要がある。

ID情報
  • 課題番号 : 19K00743

この研究課題の成果一覧

講演・口頭発表等

  1