Ryota NISHIMURA

J-GLOBAL         Last updated: Dec 11, 2018 at 22:39
 
Avatar
Name
Ryota NISHIMURA
E-mail
nishimurais.tokushima-u.ac.jp
URL
http://ryota.nishimura.name/
Affiliation
The University of Tokushima
Section
Graduate School of Technology, Industrial and Social Science
Job title
Associate Professor
Degree
Ph.D. in Engineering(Toyohashi University)
Research funding number
50635878
Twitter ID
sayonari
ORCID ID
0000-0002-2948-530X

Profile

I am currently an Assistant Professor in the Graduate School of Science and Technology, Keio University, Japan. I received the B.E., M.E. and Ph.D. degrees from Toyohashi University of Technology, Japan, in 2005, 2007 and 2010, respectively. I joined the faculty of Toyohashi University, in 2011, as a Researcher. From 2011 to 2012, I joined the faculty of Nagoya University as a Technical Assistant. From 2012 to 2015, I joined the faculty of Nagoya Institute of Technology as an Assistant Professor. Since 2015 I has been an Assistant Professor in the Keio University. I was developing some Spoken Dialogue System. I have published 5 transaction papers and 16 proceeding papers.

Research Interests

 
 

Research Areas

 
 

Education

 
Dec 2010
   
 
豊橋技術科学大学大学院工学研究科博士後期課程 電子・情報工学専攻 修了
 
Mar 2007
   
 
豊橋技術科学大学大学院工学研究科情報工学専攻 修士課程 修了
 
Apr 1998
 - 
Mar 2003
電子情報工学科, National Institute of Technology, Suzuka College
 
Apr 2003
 - 
Mar 2005
情報工学科, 工学部, Toyohashi University of Technology
 
Apr 2005
 - 
Mar 2007
情報工学専攻, 工学研究科, Toyohashi University of Technology
 
Apr 2007
 - 
Dec 2010
電子・情報工学専攻, 工学研究科, Toyohashi University of Technology
 

Academic & Professional Experience

 
Apr 2017
 - 
Sep 2018
Researcher, Graduate School of Technology, Industrial and Social Science, Tokushima University
 
Oct 2018
 - 
Today
徳島大学大学院 社会産業理工学研究部 講師
 
Dec 2010
 - 
Jan 2011
Researcher, Toyohashi University of Technology
 
Feb 2011
 - 
Mar 2012
Technical Assistant, Nagoya University
 
Apr 2012
 - 
Mar 2015
Assistant Professor, Nagoya Institute of Technology
 
Apr 2015
 - 
Mar 2017
Assistant Professor, Graduate School of Science and Technology, School of Science for OPEN and Environmental Systems, Keio University
 

Awards & Honors

 
Nov 2013
JST CREST uDialogue Project, 名古屋工業大学職員褒賞 優秀賞, Nagoya Institute of Technology
Winner: Ryota Nishimura
 
Feb 2007
人間同士の対話現象を模倣した音声対話システムの研究, 最優秀特別研究発表賞, Toyohashi University of Technology
Winner: Ryota Nishimura
 
Dec 2004
自然な発話タイミングを生成する決定木の作成とその評価, 優秀発表賞, Toyohashi University of Technology
Winner: Ryota Nishimura
 

Books etc

 
Design of Reminiscence Therapy System for Elderly People with Dementia
Takahiro Uchiya, Ryota Nishimura, Takahiro Hirano, Masaru Sakurai
Springer   Nov 2018   
近年,認知症患者の数が増加し,介護者の負担が増大している.しかし,認知症の治療法は確立されておらず,その進行を制御することが治療の目的となっている.認知症の進行を抑制する1つの手段として, 介護者と認知症患者との対話による回想法を使用する.しかし,この方法では,介護者は何度も対話を行う必要があり,介護者にとって負担となるため,介護者の代わりにMMDAgentという音声対話システムを用いて回想法対話の支援を行う方法を提案する. これによって,介護者の負担が軽減される. 本稿では,提案されたシ...
Integrating Symbols and Signals Based on Stream Reasoning and ROS
Takeshi Morita, Yu Sugawara, Ryota Nishimura, Takahira Yamaguchi
Springer   Aug 2016   
実践的知能アプリケーション開発プラットフォームであるPRINTEPS(PRactical INTElligent aPplicationS)を開発した.本稿では,ストリーム推論とROS(Robot Operating System)を用いたイベント検出のためのPRINTEPSの応用と,知識処理による画像センシングの統合について述べる. このプラットフォームにおいて,我々はロボットカフェ内のロボットの動作をデモンストレーションし,ルールセットを変更することによって簡単にロボットカフェを実現・...
Development and evaluation of spoken dialog systems with one or two agents through two domains
Yuki Todo, Ryota Nishimura, Kazumasa Yamamoto, Seiichi Nakagawa
Springer   Sep 2013   
Almost all current spoken dialog systems treat dialog as that where a single user talks to an agent. On the other hand, we set out to investigate a multiparty dialog system that deals with two agents and a single user. We developed a three person ...
A spoken dialog system for chat-like conversations considering response timing
Ryota Nishimura, Norihide Kitaoka, Seiichi Nakagawa
Springer   Sep 2007   
If a dialog system can respond to a user as naturally as a human, the interaction will be smoother. In this research, we aim to develop a dialog system by emulating the human behavior in a chat-like dialog. In this paper, we developed a dialog sys...

Published Papers

 
Study on Editing Method to Improve Speech Intelligibility Based on Speech Perception Characteristics of Elderly People
Ryota Nishimura, Takumi Nagao, Ayato Ichimanda, Norihide Kitaoka
Journal of Japan Society for Fuzzy Theory and Intelligent Informatics   1-6   Dec 2018   [Refereed]
近年の超高齢社会において,高齢者の加齢に伴う聴覚機能の低下が問題視されている.聴覚機能が低下すると,会話に よるコミュニケーションにも支障をきたす.近年は,音声対話システムを利用した高齢者サポートシステムなどの開発も 行われているが,このようなシステムで用いられる合成音声は高齢者にとっては聞き取りにくいものである.そこで本研 究では,まず高齢者に音声の聴取実験を行ってもらい,その結果から聴覚特性の分析を行った.聴取実験では,単語了解 度試験を行い,音素単位(子音部,母音部)での識別率を求め...
Ryota Nishimura, Daisuke Yamamoto, Takahiro Uchiya, Ichi Takumi
EURASIP Journal on Audio, Speech, and Music Processing   Vol.2018(No.1) 1-13   Nov 2018   [Refereed]
本論文では,ユーザがビデオ仮想アシスタントを用いて対話を編集することを可能にするウェブベースの音声対話生成環境を開発した.提案システムでは,誰もが対話システムの対話の内容を簡単に投稿/編集できる.音声対話共有サービスおよびFST生成器は,音声認識装置,対話制御装置,音声シンセサイザ,および仮想エージェントを含むMMDAgent音声対話システムツールキットの音声対話コンテンツを生成する.ダイアログコンテンツの作成には,ユーザーが投稿したQ&AダイアログとFSTテンプレートが使用される.提案さ...
RNN-LSTMによる音響ベクトル空間と文書ベクトル空間とのマッピング
Ryota Nishimura, 檜垣美帆 , Norihide Kitaoka
Journal of Japan Society for Fuzzy Theory and Intelligent Informatics   Vol.30(No.4) 628-633   Aug 2018   [Refereed]
音楽の音響データと歌詞のデータをニューラルネットワークによって対応付ける.音響データをクロマベクトル系列にしてLSTMでベクトルに変換する.その変換先が歌詞ベクトル(Word2vecによる歌詞中の単語のベクトル化したものの平均)になるように学習し,対応付け可能であることを示した.
Selecting Type of Response for Chat-like Spoken Dialogue Systems Based on Acoustic Features of User Utterances
Kengo Ohta, Ryota Nishimura, Norihide Kitaoka
North Atlantic University Union International Journal of Computers   (No.12) 88-91   Jun 2018   [Refereed]
雑談音声対話システムを構築することを考えた場合,相手の発話などから,次にどのような発話をすればよいか発話種別選択が必要になる.相手の発話の音響的特徴に基づいて,相槌や発話健康体などの発話種別の選択を可能とする方法を提案した.
Ryota Nishimura, Daisuke Yamamoto, Takahiro Uchiya, Ichi Takumi
ICT Express   1-5   Apr 2018   [Refereed]
我々は,MMDAgent(音声対話システム用の完全オープンソースのツールキット)を開発した.このツールキットは,PCとスマートフォン上の様々なプラットフォーム上で動作する. これに合わせて,対話シナリオの編集環境もさまざまなプラットフォームで動作する必要があるため,Webブラウザで実装されたシナリオエディタを開発する. 本論文で開発するシステムの目的は,シナリオを簡単に編集できる環境の提供である. 提案されたシナリオエディタを使用して被験者に対して実験を行った. 提案システムは,シナリオの...
Norihide Kitaoka, Shuhei Segawa, Ryota Nishimura, Kazuya Takeda
Acoustical Science and Technology   Vol.39(No.2) 167-170   Feb 2018   [Refereed]
音声に含まれる特徴を用いて感情を自動推定する手法を検討した.感情としては,ラッセルの2軸のモデルを用い,その2軸を推定することとした.特徴抽出に,音声の母音から声帯の物理モデルのパラメータを推定してそのパラメータを用いることで,従来の特徴よりも推定精度が向上することを示した.
Yuki Todo, Ryota Nishimura, Kazumasa Yamamoto, Seiichi Nakagawa
The Transactions of the Institute of Electronics, Information and Communication Engineers D   Vol.J99-D(No.2) 188-200   Feb 2016   [Refereed]
音声対話システムとの対話において,現在は,ユーザ一人とシステムエージェント一体による二者 対話(1 対 1 の対話)が主流である.我々はこれまでに 1 対 1 の雑談向け音声対話システムの開発を行ってき た.このシステムを応用し,本論文ではシステム側のエージェントを二体にした三者対話システムを提案し,開 発・評価を行った.雑談に用いた対話ドメインは,「うどんとラーメンのどちらが好きか」といったような,だれ でも話しやすい内容にした.そして,同じドメインで対話が可能な二者対話システム(1 ユ...
Design and Implementation of Open-Campus Event System with Voice Interaction Agent
Takahiro Uchiya, Masaki Yoshida, Daisuke Yamamoto, Ryota Nishimura, Ichi Takumi
Journal of Mobile Multimedia   Vol.11(No.1) 237-250   Nov 2015   [Refereed]
多くの大学では,高校生を募集するためのキャンパス情報を提供するイベントとして積極的にオープンキャンパス活動を行っている. しかし,オープンキャンパス活動にはいくつかの問題がある. 私たちは,スマートフォンで動作する音声対話ツールキットを使ってオープンキャンパスイベントを開催するシステムを提案する. この方法は,パンフレットに掲載された情報をブラウザに表示することによって印刷コストを削減することができる. さらに,3Dキャラクターモデル,GPS,Googleマップ,歩行経路推定システムを用い...
Ryota Nishimura, Seiichi Nakagawa
IEEJ Transactions on Electrical and Electronic Engineering   Vol.6(No.Supplement 1) S17-S26   Feb 2011   [Refereed]
音声対話における韻律変化をもたらす要因分析
Ryota Nishimura, Norihide Kitaoka, 中川 聖一
音声研究   Vol.13(No.3) 66-84   Dec 2009   [Refereed]
円滑で協力的な人対人の対話では,ピッチなどの韻律話者間で同期する.これより,韻律変化と会話の印象には関係があると考えられる.会話が円滑で生き生きとするにはどんな要素が必要か理解する必要がある.本論文では,人対人の対話における,基本周波数の同期傾向やオーバラップ頻度と,盛り上がりや親しみとの間の相関を分析する.よく同期すると親しみがあり盛り上がり,フランクで互いに同意し合う傾向がある.韻律のみからでも印象が評価できることが分かった.
Norihide Kitaoka, Masashi Takeuchi, Ryota Nishimura, Seiichi Nakagawa
Transactions of the Japanese Society for Artificial Intelligence   Vol.20(No.3) 220-228   Mar 2005   [Refereed]
If a dialog system can respond to the user as reasonably as a human, the interaction will become smoother. Timing of the response such as back-channels and turn-taking plays an important role in such a smooth dialog as in human-human interaction. ...

Conference Activities & Talks

 
Design of Reminiscence Therapy System for Elderly People with Dementia
Takahiro Uchiya, Ryota Nishimura, Takahiro Hirano, Masaru Sakurai
Advances on Broad-Band Wireless Computing, Communication and Applications: Proceedings of the 12th International Conference on Broad-Band Wireless Computing, Communication and Applications (BWCCA-2017)   2 Nov 2018   Springer
近年,認知症患者の数が増加し,介護者の負担が増大している.しかし,認知症の治療法は確立されておらず,その進行を制御することが治療の目的となっている.認知症の進行を抑制する1つの手段として, 介護者と認知症患者との対話による回想法を使用する.しかし,この方法では,介護者は何度も対話を行う必要があり,介護者にとって負担となるため,介護者の代わりにMMDAgentという音声対話システムを用いて回想法対話の支援を行う方法を提案する. これによって,介護者の負担が軽減される. 本稿では,提案されたシ...
Customization of an example-based dialog system with user data and distributed word representations
Seto Eichi, Ryota Nishimura, Norihide Kitaoka
APSIPA ASC 2018   Nov 2018   
事例ベースの音声対話システムにおいて,限られた事例を,ユーザ固有の適切な事例に自動変換することにより,音声対話システムをユーザに適応する.ユーザのプロフィール情報からWeb検索によって得られた関連語を事例の単語と置き換える方法でユーザ適応を可能にした.
Mapping Acoustic Vector Space and Document Vector Space by RNN-LSTM
Ryota Nishimura, Miho Higaki, Norihide Kitaoka
GCCE2018   Oct 2018   
音楽の音響データと歌詞のデータをニューラルネットワークによって対応付ける.音響データをクロマベクトル系列にしてLSTMでベクトルに変換する.その変換先が歌詞ベクトル(Word2vecによる歌詞中の単語のベクトル化したものの平均)になるように学習し,対応付け可能であることを示した.
Construction of a Corpus for Elderly Japanese Speech Recognition
Meiko Fukuda, Ryota Nishimura, Hiromitsu Nishizaki, Norihide Kitaoka
GCCE2018   Oct 2018   
情報弱者となる可能性の高い高齢者にとって,音声インタフェースは重要な役割を果たす可能性がある.高齢者にとって性能の高い音声認識器を作るためには高齢者の音声データを収集することが不可欠である.そこで100名以上の平均年齢80歳を超える高齢者の音声を収集してデータベース化した.
Multi-modal Geometry Tutoring System Using Speech and Touchscreen Figure Tracing
Kanta Kiyohara, Ryota Nishimura, Norihide Kitaoka
GCCE2018   Oct 2018   
人に対して数学の幾何問題の解答を説明する際には,一般に指差しで図をなぞったりしながら口頭で解説をする.この指と音声のマルチモーダル入力を受け付けて,幾何問題の解答を画面上に表示する幾何問題教育システムを開発した.
Magic word detection method in continuous speech using LSTM neural network
Taiki Yamamoto, Ryota Nishimura, Masayuki Misaki, Norihide Kitaoka
日本音響学会講演論文集   12 Sep 2018   
本論文では, LSTM を用いた Magic Word 検出手法を提案する. BPTT 法により, Convolutional LSTM 及び, Network in network を用いた提案モデ ルの学習・評価を行う. ベースライン手法と比較し て, 提案モデル conv16 clstm16 は非常に良い性能を発揮した. 結果より, CLSTM 構造が Magic Word 検 出において有意であることが示された. また, 時空間 を結びつけた特徴を捉える事が Magic Word ...
Mining OOV words from vocabulary shift in Twitter and linguistic adaptation of speech recognizer to the OOV words
Yuya Obashi, Ryota Nishimura, Norihide Kitaoka
日本音響学会講演論文集   12 Sep 2018   
本稿では,Twitterを用いて新しく使用されるようになった音声認識システムにとって正しく認識され ないと考えられる未知語の発見手法の提案と,発見した未知語に対応した言語モデルを作成し,音声認識システムに適用する手法の提案を行う.Twitter から取得したツイートを,新しいツイートと過去の ツイートとで比較することにより,ユーザー間の使用 単語の変化が取得でき,そこから新しく使用される ようになった未知語の取得が可能となる.提案手法を用いて作成した言語モデルでは,ベースラインと比較して補...
A Study on Speech Recognition Models for Super Elderly Spontaneous Speech
Motoki SHIMOKASA, Hiromitsu Nishizaki, Meiko Fukuda, Ryota Nishimura, Norihide Kitaoka
日本音響学会講演論文集   12 Sep 2018   
本稿では,超高齢者の自然発話音声のための音声認識モデルの検討を行う.認識実験の結果,評価セッ トの音声とドメインが一致するコーパスから音響モ デルを学習するのがよいことが明らかとなった.
Construction of dialog database for development of spoken dialog breakdown detection methods
Kajinami Kazuaki, Ryota Nishimura, Norihide Kitaoka
ICAICTA-2018   Aug 2018   
対話システムにおいて,システムが対話破綻を招く発話をすることを自ら発見すれば対話破綻を回避したりすることができる.音声対話において対話破綻検出器を構築するために,音声対話データベースを構築した.
RNNに基づく音響ベクトル時系列の文書ベクトルへのマッピング
Ryota Nishimura, Miho Higaki, Norihide Kitaoka
IEICE Technical Report   Jun 2018   Institute of Electronics, Information and Communication Engineers
音楽の音響データと歌詞のデータをニューラルネットワークによって対応付ける.音響データをクロマベクトル系列にしてLSTMでベクトルに変換する.その変換先が歌詞ベクトル(Word2vecによる歌詞中の単語のベクトル化したものの平均)になるように学習し,対応付け可能であることを示した.
単語の分散表現に基づく事例ベース雑談音声対話システムのユーザ適応
Seto Eichi, Ryota Nishimura, Norihide Kitaoka
日本音響学会講演論文集   Mar 2018   The Acoustical Society of Japan
事例ベースの音声対話システムにおいて,限られた事例を,ユーザ固有の適切な事例に自動変換することにより,音声対話システムをユーザに適応する.ユーザのプロフィール情報からWeb検索によって得られた関連語を事例の単語と置き換える方法でユーザ適応を可能にした.
Construction of dialogue database for development of spoken dialogue breakdown detection methods
Kazuaki Kajinami, Ryota Nishimura, Norihide Kitaoka
日本音響学会講演論文集   Mar 2018   The Acoustical Society of Japan
音声対話破綻検出手法の開発に向けた音声対話データベースを構築するために音声対話 実験を行い,音声データの収集を行った.ユ ーザと音声対話システムが音声対話を行うことで対話文脈から対話破綻が引き起こされる場合,音声認識による誤認識のために対話破 綻を引き起こす場合などさまざまな要因によ って対話破綻が起こるという結果となった. 音声の誤認識による対話破綻は言語情報に基 づく対話破綻検出では検出することは難しく, 音声対話であることに起因する破綻の要因を 知ることができた.
自動運転車の操作におけるマルチモーダルインタラクション
Takuma Nakagawa, Ryota Nishimura, 入部 百合絵, 石黒 祥生, 大須賀 晋, Norihide Kitaoka
日本音響学会講演論文集   Mar 2018   The Acoustical Society of Japan
将来の自動運転車において,タクシー運転手に指示するかのように操作できるインタフェースを考えた.音声対話に指差しや視線の情報を統合して,交差点を曲がったり停車する場所を指定するなど様々な操作を自然な方法で実現できるようにした.
Selecting Type of Response for Chat-like Spoken Dialogue Systems Based on LSTM-RNN Considering Order of Words
太田 健吾, Ryota Nishimura, Norihide Kitaoka
日本音響学会講演論文集   Mar 2018   The Acoustical Society of Japan
雑談音声対話システムを構築することを考えた場合,相手の発話などから,次にどのような発話をすればよいか発話種別選択が必要になる.相手の発話の音響的特徴に基づいて,LSTMを用いて,相槌や発話健康体などの発話種別の選択を可能とする方法を提案した.
OOV registration to language model for speech recognition
Ryota Nishimura, 陳 伯翰, Norihide Kitaoka
日本音響学会講演論文集   Mar 2018   The Acoustical Society of Japan
音声認識では事前に認識辞書に登録した単語は認識できるがそれ以外の未知語は一般に認識できない.しかし音声認識のタスクでは認識辞書にない単語を認識しなければならない場合が多数ある.そこで,言語モデルの学習時に未知語を登録するための「未知語トークン」を織り交ぜたデータベースを用い,認識時に未知語トークンを認識したい単語に置き換える簡単で有効な未知語登録手法を提案した.
Selecting Type of Response for Chat-like Spoken Dialogue Systems Based on Acoustic Features of User Utterances
Kengo Ohta, Rikito Marumoto, Ryota Nishimura, Norihide Kitaoka
Proceedings of APSIPA Annual Summit and Conference 2017   12 Dec 2017   
本稿では,ユーザ発話から得られた音響特徴を使用して,相槌応答,話題の変更,または話題の拡張などの音声対話システムにおける応答のタイプを選択する. これらの特徴には,MFCCとLSPによるスペクトル情報,F0で表されるピッチ情報,ラウドネスなどが含まれる.高齢者と面接者の対話コーパスを構築し,評価実験の結果, 音声セグメント識別タスクで49.3%の精度を得られた. さらに,各素性のデルタ係数を利用することでさらに結果が改善された.
Selecting Response from Conversational Spoken Dialogue System Based on Distributed Representation of User Utterances
太田 健吾, Ryota Nishimura, Norihide Kitaoka
IEICE Technical Report   Dec 2017   Institute of Electronics, Information and Communication Engineers
雑談音声対話システムを構築することを考えた場合,相手の発話などから,次にどのような発話をすればよいか発話種別選択が必要になる.相手の発話の言語情報を,単語の分散表現で表現することで,相槌や発話健康体などの発話種別の選択を可能とする方法を提案した.
Selecting type of response for chat-like spoken dialogue systems based on acoustic features of user utterances
Ohta Kengo, Marumoto Rikito, Ryota Nishimura, Norihide Kitaoka
APSIPA2017   Dec 2017   
雑談音声対話システムを構築することを考えた場合,相手の発話などから,次にどのような発話をすればよいか発話種別選択が必要になる.相手の発話の音響的特徴に基づいて,相槌や話者交替などの発話種別の選択を可能とする方法を提案した.
User adaptation of examples for example-based reminiscence therapy spoken dialog system using word embedding
Eichi Seto, Ryota Nishimura, Norihide Kitaoka
IEICE Technical Report   19 Oct 2017   
認知症の予防・改善のために自然な雑談対話(回想法)を行う音声対話システムを開発する必要があ る.事例ベースの対話システムにおいて,ユーザのプロフィール情報を用いた対話事例のユーザ適応法を提案する. 情報検索により取得したユーザと関連が深い単語と対話事例の単語間の cos 類似度を word2vec によって計算し,閾 値以上の単語を置換することで,ユーザの話題に沿った事例を事前に生成する.本研究では,生成された事例の自 然さを人手で評価することで,手法の有効性を示した.また,word2ve...
Extraction of User Preferences based on Voice Interaction
Takahiro Uchiya, Satoshi Otake, Ryota Nishimura, Daisuke Yamamoto, Ichi Takumi
2017 IEEE 6th Global Conference on Consumer Electronics, GCCE 2017   Oct 2017   
名古屋工業大学の研究グループは,音声対話ツールキットとして「MMDAgent」を開発している. システム開発者は,MMDAgentを使用して,さまざまな音声対話コンテンツを作成できる. 開発者が音声対話のコンテンツを作成する際には,ユーザーのニーズを考慮することが重要であるので,ユーザの嗜好情報を引き出す手法が必要である. 本稿では,音声対話からユーザの嗜好情報を抽出する手法を提案する.
A Human Machine Interface Framework for Autonomous Vehicle Control
Takuma Nakagawa, Ryota Nishimura, Yurie Iribe, Yoshio Ishiguro, Shin Ohsuga, Norihide Kitaoka
2017 IEEE 6th Global Conference on Consumer Electronics, GCCE 2017   Oct 2017   
本研究では,自動運転車とのコミュニケーションのために,音声,ジェスチャー,および視線認識を使用した直感的なマルチモーダルインターフェースシステムを開発する. 有限状態トランスデューサを用いて,インタフェースシステムのマルチモーダル理解コンポーネントと対話制御コンポーネントを別々に設計した. 実装に関しては,従来の対話システムは,入力としてのユーザ動作と出力としてのシステム動作とを有する有限状態変換器によって制御されているが, 我々のマルチモーダル理解部と対話制御コンポーネントは,2つの別々...
Proposal of Reminiscence Therapy System using Spoken Dialog to Suppress Dementia
Ryota Nishimura, Takahiro Uchiya, Takahiro Hirano, Masaru Sakurai
2017 IEEE 6th Global Conference on Consumer Electronics, GCCE 2017   Oct 2017   
近年,認知症患者の数が増加している. 介護者の負担も増えている. しかし,認知症の確立された治療法は存在しない. 認知症の進行を抑制することは,認知症治療の重要な目標である. 回想法は,認知症の進行を抑制する1つの手段である. 回想法では,介護者が認知症患者と話をすることが必要であるが,何回も繰り返し会話を行う必要があり,介護者の負担は大きい. そこで,本研究では,MMDAgentを用いた回想支援システムを提案する.
Development of Spoken Dialogue System which Integrates and Shares Information based on ROS Architecture
Ryota Nishimura, Rintaro Manabe, Yukiko Nakano
人工知能学会研究会資料   Mar 2017   
本稿では,ROSアーキテクチャにて動作する,音声 対話システムについて述べた.音声対話システムに必 要な 5 つのモジュール(音声認識,言語理解,対話管 理,応答生成,音声合成)を構築し,さらに情報統合を 目的とした Information State モジュールを導入した. ROSアーキテクチャを導入したことにより,通信路 確保,データ形式の統一を円滑に図ることができたた め,提案システムのような複数モジュールを活用した 音声対話システムが実現できた.現在は,喫茶店実践, 教育実践などの...
Proposal ofreminiscence system to suppress dementia by voice dialogue
Takahiro Hirano, Takahiro Uchiya, Ichi Takumi, Ryota Nishimura, Masaru Sakurai
情報処理学会全国大会講演論文集   Mar 2017   
近年,認知症患者は増加し続けており,介護者の負 担は増大しつづけている.しかし,認知症の治療法は 未だ確立されておらず,いかに進行を抑制するかとい うことが認知症治療の課題となっている.認知症の進 行を抑制する手段の一つに回想法がある.回想法とは 患者と介護者が対話を行う治療法である.しかし,回 想法は認知症患者と何度も対話を行う必要があり,介 護者の負担が大きいという問題点がある.そこで本研 究では音声対話システムであるMMDAgent[1] を用い, 介護者の代わりに回想法を行うシステ...
Implementing customer reception service in robot cafe using stream reasoning and ROS based on PRINTEPS
Takeshi Morita, Yu Sugawara, Ryota Nishimura, Takahira Yamaguchi
CEUR Workshop Proceedings   17 Oct 2016   
我々は,実践知能アプリケーション開発プラットフォームであるPRINTEPSを開発した. 本稿では,PRINTEPSに基づいたストリーム推論とロボットオペレーティングシステム(ROS)を用い,知識処理とイメージセンシングを統合することで,ロボットカフェにおける顧客受付サービスのPRINTEPSの応用を紹介する. このプラットフォームに基づいて,我々は,適用可能なルールセットを変更することによって,ロボットカフェ内のロボットの挙動を修正できることを実証する.
Proposal of the communication mechanism among voice-interactive digital signage systems
Ryuhei Kani, Takahiro Uchiya, Daisuke Yamamoto, Ichi Takumi, Ryota Nishimura
2016 IEEE 5th Global Conference on Consumer Electronics   11 Oct 2016   
2011年より,筆者らは名古屋工業大学のユーザーに有用な大学情報を提供するために,スタンドアロンの音声対話型デジタルサイネージシステムを開発し,実際に設置・運用した. このシステムには, "Mei"という名前の3次元キャラクターとの音声対話を実現するソフトウェアツールキットであるMMDAgentが含まれる. 欠点として,ネットワーク通信機能がないために,このシステムの能力が限られる. 本研究では,いくつかのデジタルサイネージシステム間のネットワーク通信機能を新たに実装した. この機能により...
Development environment of a spoken dialogue system based on PRINTEPS
Ryota Nishimura, Yutaka Takase, Yukiko Nakano
2016 IEEE 5th Global Conference on Consumer Electronics   11 Oct 2016   
本稿では,PRINTEPSアーキテクチャに基づく音声対話システムについて述べる. この音声対話システムは,5つのモジュール(音声認識,言語理解,対話管理,応答生成,音声合成)で構成されている. PRINTEPSでは,音声対話システムを呼び出すとき,システム開発者は小規模の対話目標を指定する. システムは,ユーザから必要な情報を得るために,ユーザとの対話を実行する. 対話目標に対応する対話処理ルールは予め用意されている. PRINTEPSベースのシステム開発の利点は,システム開発者が音声対話...
Related Word Recommendation Mechanism for Speech Dialogue System
Yuto Ishida, Takahiro Uchiya, Kouhei Yamamoto, Daisuke Yamamoto, Ryota Nishimura, Ichi Takumi
2016 19th International Conference on Network-Based Information Systems (NBiS)   7 Sep 2016   
近年,音声対話システムが著しく発展している.我々の大学では, "MMDAgent"音声対話システムツールキットをオープンソースソフトウェアとして開発し公開している. MMDAgentは,音声認識と音声合成に "Julius"と "HTS"を使用する.そのエージェントは,これらを3D CGレンダリングモジュールと組み合わせて構成する. MMDAgentアプリケーションの一例として,「スマートメイちゃん」が開発され,スマートフォンに移植されている. 「スマートメイちゃん」は,音声対話システムと...
Integrating Symbols and Signals Based on Stream Reasoning and ROS
Takeshi Morita, Yu Sugawara, Ryota Nishimura, Takahira Yamaguchi
Knowledge Management and Acquisition for Intelligent Systems   7 Aug 2016   Springer
実践的知能アプリケーション開発プラットフォームであるPRINTEPS(PRactical INTElligent aPplicationS)を開発した.本稿では,ストリーム推論とROS(Robot Operating System)を用いたイベント検出のためのPRINTEPSの応用と,知識処理による画像センシングの統合について述べる. このプラットフォームにおいて,我々はロボットカフェ内のロボットの動作をデモンストレーションし,ルールセットを変更することによって簡単にロボットカフェを実現・...
PRINTEPS: A Total Intelligent Application Development Platform based on ROS and Its Application
Takeshi Morita, Ryota Nishimura, Takahira Yamaguchi
人工知能学会 知識ベースシステム研究会   5 Jun 2016   
本稿では,ROSに基づく総合知能アプリケーション 開発プラットフォームPRINTEPSのアーキテクチャ, PRINTEPSにおけるワークフローエディタ,ケースス タディとしてロボット喫茶店における入店時挨拶につい て述べる.ワークフローエディタは,「http://printeps.org」 にて,公開している.
User modeling for Robot Caf? Interaction in PRINTEPS
Rintaro Manabe, Yutaka Takase, Ryota Nishimura, Yukiko Nakano
人工知能学会全国大会論文集   Jun 2016   
本稿では,喫茶店という状況に焦点を当て,ユーザモデルに基づきコミュニケーションを変更する社会的ロボットを実装するために,ロボットが認識すべきユーザ情報について考察する.また,接客対話の収集と分析を行い,ロボットが社会的シグナルである視線や着席行動を認識できれば,社会的関係や,親密 度を推定することが可能であることが示された.そして,現在実装中のプロトタイプシステムについて記述し,システムの問題点について述べる.
Development Environment of Spoken Dialogue System Based on PRINTEPS
Ryota Nishimura, Yutaka Takase, Yukiko Nakano
人工知能学会全国大会   Jun 2016   
本稿では,PRINTEPSアーキテクチャにて動作する,音声 対話システムの開発について述べた.音声対話システムに必 要な 5 つのモジュール(音声認識,言語理解,対話管理,応 答生成,音声合成)を構築し,これらを組み合わせて,音声対 話システムを構成している.PRINTEPSからは,対話から得 たい情報(対話したい内容:対話ゴール)を指定して音声対 話システムを呼び出すことで,音声対話システムはユーザと 音声対話をし,必要な情報を取得することができる.各対話 ゴールに対応する細かい対話処理...
The Architecture of PRINTEPS: A Total Intelligent Application Development Platform based on ROS
Takeshi Morita, Ryota Nishimura, Takahira Yamaguchi
人工知能学会全国大会   Jun 2016   
本稿では,ROS に基づく総合知能アプリケーション開発プラットフォーム PRINTEPS のアーキテクチャ,PRINTEPS におけるワークフローエディタ,PRINTEPS の評価指標につ いて述べる.ワークフローエディタは,「http://printeps.org」 にて,公開している.
PRINTEPS: Total Intelligent Application Development Tool based on Stream Reasoning and ROS
Takeshi Morita, Ryota Nishimura, Takahira Yamaguchi
IEICE Technical Report   18 Dec 2015   
本稿では,ストリーム推論と ROS に基づく総合知能アプリケーション開発ツール PRINTEPS(PRactical INTElligent aPplicationS)を提案する.本研究では,PRINTEPS のケーススタディとして,Pepper を接客用ロボットと して用いた喫茶店業務実践を取り上げる.特に,ストリーム推論と ROS を用いた来客検知および喫茶店サービスオ ントロジーとルールに基づく入店時挨拶について紹介する.
Experiment and Evaluation of Crowdsourcing Model for Creation of Voice Interaction Scenario
Yuichi Matsushita, Takahiro Uchiya, Ryota Nishimura, Daisuke Yamamoto, Ichi Takumi
2015 IEEE 4th Global Conference on Consumer Electronics (GCCE)   27 Oct 2015   
本研究では,我々が公開している音声対話システムツールキットであるMMDAgentを使用して音声対話システムを構築する場合の,音声対話シナリオの構築方法を提案します.本研究では,クラウドソーシングを用いて,音声対話を構築・収集するために,音声対話システムをインターネットを介して配布する方法や,対話シナリオを編集するためのwebアプリケーションのテスト動作の結果を示す.提案システムを用いることにより,音声対話コンテンツ作成環境を簡単に構築できる.
Extension with Intelligent Agents for the Spoken Dialogue System for Smartphones
Takahiro Uchiya, Ryosuke Nakano, Daisuke Yamamoto, Ryota Nishimura, Ichi Takumi
2015 IEEE 4th Global Conference on Consumer Electronics (GCCE)   27 Oct 2015   
我々は,音声対話システム開発ツールキットであるMMDAgentを開発・公開している.このシステムで開発できる音声対話システムをスマートフォンに対応させ,スマートフォン上で音声対話シナリオを構築する際に,複雑なシナリオを構築することは難しいので,本研究ではこの問題を解決するために,スマートフォン用音声対話システムをソフトウェアエージェントによって拡張することを提案する.
Crowdsourcing Environment to Create Voice Interaction Scenario of Spoken Dialogue System
Yuichi Matsushita, Takahiro Uchiya, Ryota Nishimura, Daisuke Yamamoto, Ichi Takumi
2015 18th International Conference on Network-Based Information Systems (NBiS)   2 Sep 2015   
本研究では,我々が公開している音声対話システムツールキットであるMMDAgentを使用して音声対話システムを構築する場合の,音声対話シナリオの構築方法を提案します.本研究では,クラウドソーシングを用いて,音声対話を構築・収集するために,音声対話システムをインターネットを介して配布する方法や,対話シナリオを編集するためのwebアプリケーションのテスト動作の結果を示す.提案システムを用いることにより,音声対話コンテンツ作成環境を簡単に構築できる.
Improvement of successful speech recognition on MMDAgent used as Virtual Telephone Operator
Takahiro Kobayashi, Ichi Takumi, Arao Funase, Takahiro Uchiya, Ryota Nishimura
平成27年度電気・電子・情報関係学会東海支部連合大会講演論文集   Sep 2015   
MMDAgentを用いた電話交換手システムにおける音声の誤認 識に対する改善案として,DTMF 音の認識機能の追加に加えて 文脈に応じた辞書ファイル切り替えを提案した.
Development of the Communication Mechanism among Voice-Interactive Digital Signages
Ryuhei Kani, Takahiro Uchiya, Daisuke Yamamoto, Ichi Takumi, Ryota Nishimura
平成27年度電気・電子・情報関係学会東海支部連合大会講演論文集   Sep 2015   
音声対話デジタルサイネージ間の通信機構を提案した.これ により,今までは情報を受け取るだけであった利用者が情報 を発信したり,メイちゃんの継続的利用などによる利用者支 援が可能になる.
Prototype of the Communication Mechanism among Voice-Interactive Digital Signages
Ryuhei Kani, Takahiro Uchiya, Ryota Nishimura, Daisuke Yamamoto, Ichi Takumi
マルチメディア,分散,協調とモバイル(DICOMO2015)シンポジウム講演論文集   8 Jul 2015   
本学では,デジタルサイネージでの情報取得において,3D キャラクタとのリアルタイムでの音声対 話が可能な音声ツールキットとして MMDAgent が利用されている.MMDAgent は独立したシステムと して設計されているため,従来では複数端末間における連携を行うことが不可能である.本研究では,こ の問題点を解決するため,複数サイネージ間での協調動作を支援する通信機構を提案する.
エージェントを用いたスマートフォン向け 音声対話システム拡張機構の開発と評価
仲野 良佑, Takahiro Uchiya, Ryota Nishimura, Daisuke Yamamoto, Ichi Takumi
IPSJ SIG Technical Report   20 Mar 2015   
3D キャラクタとのリアルタイムでの音声対話が可能な音声対話システムとしてMMDAgent が提案 されている.この動作環境を拡大し,利便性を向上させるためにMMDAgent を Android スマートフォン 上へ移植したスマートメイちゃんが提案されている.これらのツールキットにおいて採用されているシナ リオ定義手法では,複雑な対話シナリオの作成や,端末間通信による連携を必要とするシナリオの構築が 困難である.本研究では,これらの問題点を解決するため,スマートメイちゃんをソフトウェアエー...
Voice interaction system with 3D-CG virtual agent for stand-alone smartphones
Daisuke Yamamoto, Keiichiro Oura, Ryota Nishimura, Takahiro Uchiya, Akinobu Lee, Ichi Takumi, Tokuda Keiichi
the second international conference on Human-agent interaction (HAI '14)   28 Oct 2014   
本稿では,スタンドアロンのスマートフォンに3D-CGバーチャルエージェントを用いた音声対話システムを提案する. 提案システムは既存のモバイル用音声対話システムとは異なり,スタンドアロンのスマートフォンで音声認識や音声合成を行うことができるため,遅延なく自然に会話することができる. さらに,提案システムは,対話スクリプト,Javaベースのプラグイン,およびAndroid APIによってカスタマイズすることができる. したがって,音声対話システム開発者は提案されたシステムに基づいて簡単にスマー...
Development of a dialogue scenario editor on a web browser for a spoken dialogue system
Ryota Nishimura, Takahiro Uchiya, Daisuke Yamamoto, Ichi Takumi
the second international conference on Human-agent interaction (HAI '14)   28 Oct 2014   
我々は,音声対話システムの対話シナリオを作成する際の環境の改善を図るために,音声対話シナリオエディタを開発した.我々が開発・公開している音声対話システム構築ツールキットであるMMDAgentは,様々なプラットフォーム・OS上で動作するが,これに合わせて,シナリオエディタも様々な環境で動作させる必要がある.そこで,我々は,音声対話シナリオエディタをウェブブラウザ上に実装した.このシステムを用いて被験者実験を行ったところ,対話シナリオ編集時の可読性が向上し,シナリオ編集のしやすさも向上した.
Construction of crowdsourcing environment for creation of voice interaction scenario
Yuichi Matsushita, Takahiro Uchiya, Ryota Nishimura, Daisuke Yamamoto, Ichi Takumi
2014 IEEE 3rd Global Conference on Consumer Electronics (GCCE)   7 Oct 2014   
本研究では,我々が公開している音声対話システムツールキットであるMMDAgentを使用して音声対話システムを構築する場合の,音声対話シナリオの構築方法を提案します.本研究では,クラウドソーシングを用いて,音声対話を構築・収集するために,音声対話システムをインターネットを介して配布する方法や,対話シナリオを編集するためのwebアプリケーションのテスト動作の結果を示す.提案システムを用いることにより,音声対話コンテンツ作成環境を簡単に構築できる.
A VoIP-based voice interaction system for a virtual telephone operator using video calls
Ryota Nishimura, Koji Sugioka, Daisuke Yamamoto, Takahiro Uchiya, Ichi Takumi
2014 IEEE 3rd Global Conference on Consumer Electronics (GCCE)   7 Oct 2014   
我々は,電話オペレータシステム音声対話システムを提案する. Microsoft LyncをVoIPクライアントとして使用して,ビデオ通話を行う. 音声対話システムは,3Dキャラクタを表示し,ビデオ通話を通じてユーザと対話するためにシステムで使用される. この研究では,電話オペレータのインタラクティブなシナリオが大学の従業員データベースから自動的に生成される. このシステムを使用した被験者からの実験結果は,良好なシステム性能を示した.
Construction of Creation Environment of Voice Interaction Scenario
Yuichi Matsushita, Takahiro Uchiya, Ryota Nishimura, Daisuke Yamamoto, Ichi Takumi
平成26年度 電気・電子・情報関係学会東海支部連合大会講演論文集   8 Sep 2014   
大人数での対話シナリオの作成を行うための機構として, クラウド型対話シナリオ作成環境の構築を提案した.
Extraction of User Preference based on Voice Interaction
大竹 聡史, 打矢 隆弘, 山本 大介, Ryota Nishimura, 内匠 逸
平成26年度 電気・電子・情報関係学会東海支部連合大会講演論文集   8 Sep 2014   
音声対話システムを用いた嗜好抽出技術について提案した.
Proposal of voice control-based interactive design method of agent system
Takahiro Uchiya, Daisuke Yamamoto, Ryota Nishimura, Ichi Takumi, Tetsuo Kinoshita
2014 IEEE 13th International Conference on Cognitive Informatics & Cognitive Computing (ICCI*CC)   18 Aug 2014   
エージェントシステムは近年のエージェント技術を用いてデザイン・実装されている.しかし,これらのデザインや実装はまだ困難である.エージェントシステムのデザイン・開発をスムーズに行うために,我々あh,音声コントロールベースの対話デザイン手法を提案し,これをエージェントリポジトリベースのマルチエージェントフレームワークに適用します.
Yuki Todo, Ryota Nishimura, Kazumasa Yamamoto, Seiichi Nakagawa
Text, Speech, and Dialogue   1 Sep 2013   Springer
Almost all current spoken dialog systems treat dialog as that where a single user talks to an agent. On the other hand, we set out to investigate a multiparty dialog system that deals with two agents and a single user. We developed a three person ...
An Effort for Stand-alone Mobile Voice Interaction Agents on Smartphones
山本 大介, 大浦 圭一郎, Ryota Nishimura, 打矢 隆弘, 内匠 逸, 李 晃伸, 徳田 恵一
平成25年度 電気関係学会東海支部連合大会講演論文集   Sep 2013   
Development and Experiment of Voice Interaction Agent based on Video/Audio Streaming Technology
打矢 隆弘, 山本 大介, Ryota Nishimura, 内匠 逸, 大浦 圭一郎, 李 晃伸, 徳田 恵一
平成25年度 電気関係学会東海支部連合大会講演論文集   Sep 2013   
本研究では,映像音声ストリーミング技術を用いて,利用 場所を問わずに 3D キャラクタと音声対話を行うことが可能 な,ビデオ通話型音声対話エージェント「モバイルメイちゃ ん」を提案した.また各種の実証実験により,提案システム の有効性を確認した.
Impressive Comparison of The Human Voice and Synthetic Speech in Response Sentence of Spoken Dialogue System
藤堂 祐樹, Ryota Nishimura, 山本 一公, 中川 聖一
日本音響学会 秋季研究発表会   Sep 2013   
本報告では,対話システムにおける応答文の合成音 声と人間の録音音声について,ユーザに与える印象・ 満足度について調査を行った.被験者実験の結果,録 音音声はエージェントのグラフィックの質と多少の差 異があったとしても,エージェントへの親しみや,話 しやすさの印象を被験者に与えることが示された.
Development and evaluation of spoken dialog systems with one or two agents
Yuki Todo, Ryota Nishimura, Kazumasa Yamamoto, Seiichi Nakagawa
14th Annual Conference of the International Speech Communication Association (INTERSPEECH-2013)   25 Aug 2013   
現存する音声対話システムのほとんどは,ユーザとシステムが一対一の対話である.我々は,多人数対話に興味があり,本研究では,エージェント側を一人または二人にすることで,最大3人対話を行うことができる音声対話システムを開発した.このシステムを用いて,被験者実験を行い,三者対話によって対話感が向上した.
Chat-like Spoken Dialog System for a Multi-party Dialog Incorporating Two Agents and a User
Ryota Nishimura, Yuki Todo, Kazumasa Yamamoto, Seiichi Nakagawa
The 1st International Conference on Human-Agent Interaction (iHAI 2013)   7 Aug 2013   
現存する音声対話システムは,一対一対話のものがほとんどであるが,我々は,ユーザ一人に対してシステムが二人存在する,三者対話を行う音声対話システムを開発した.このシステムは,ユーザとシステムの二者対話を行うシステムを簡単に拡張したものである.被験者実験の結果,三者対話システムはより良い対話感をユーザに与え,より雑談らしく対話がおこなえるという評価を得た.
Smart Mei-chan: A Mobile Voice Interaction Agent using Smartphone Functions
山本 大介, Ryota Nishimura, 打矢 隆弘, 内匠 逸
マルチメディア, 分散協調とモバイルシンポジウム 2013 論文集   Jul 2013   
本稿では,音声対話システム構築ツールキット MMDAgent を拡張し,GPS や NFC・GUI 等の Android スマートフ ォンの機能を効果的に活用するための仕組みを提案する.具体的には,全ての Android OSの機能を利用するためには Java 言語で開発する必要があるが,MMDAgent は C++言語での開発が想定されており,異なる言語間での連携は容易 ではないという問題があった.そこで,Java と C++の連携を実現するブリッジモジュールを開発し,容易にMMDAge...
Development of Dialog Scenario Editor aimed at popularization of Spoken Dialog System
Ryota Nishimura, 山本 大介, 打矢 隆弘, 内匠 逸
マルチメディア, 分散協調とモバイルシンポジウム 2013 論文集   Jul 2013   
本論文では,音声対話エージェントのシナリオ構築環境を改善するべく,シナリオエディタの開発 を行う.このシナリオエディタを用いることで,対話シナリオを見やすくし,編集しやすくして,より簡 単に扱うことができるようにするのが目的である.開発したシナリオエディタには,大きく 3 つの特徴が ある.1 つ目の特徴は,様々なプラットフォームでの動作が可能ということである.MMDAgent 自体も, PC(windows,mac,Linux)や,スマートフォン(android)など様々なプラットフォー...
Development of a Voice Interaction Agent using 3D Modeling for Stand-alone Smartphones
山本 大介, 大浦 圭一郎, Ryota Nishimura, 打矢 隆弘, 内匠 逸, 李 晃伸, 徳田 恵一
情報処理学会 インタラクション   2 Mar 2013   
本研究では,スマートフォン単体で動作する音声対話3Dエージェントシステムを開発した.従来のスマートフォ ン向け音声対話システムとは違って,提案システムでは,スマートフォン内で音声認識や音声合成などの処理を完結 することができるため,ネットワークに起因する遅延のない自然な音声対話が実現可能になった.さらに,スマート フォンに適した音声インタフェースを試作し,提案手法の評価を行った.
Analysis and Evaluation of Spoken Dialog System with Multiple Agents
藤堂 祐樹, Ryota Nishimura, 山本 一公, 中川 聖一
IPSJ SIG Technical Report   Feb 2013   
現在のほとんどの音声対話システムは,ユーザとシステムの1対1の対話を扱っているが,我々はシ ステム側のエージェントを2人にした三者対話システムの開発を行ってきた.対話ドメインは従来の「う どんとラーメンのどちらが好きか」の他に「北海道旅行と沖縄旅行のどちらに行きたいか」を追加し,そ れぞれ同じドメインの二者対話システムと三者対話システムをユーザに使用し,評価実験を行った.被験 者実験の結果,三者対話システムは,対話の弾み具合の向上や,対話の雑談らしさの印象を被験者に与え るという結果が指示...
オープンキャンパスにおけるモバイル端末向け音声対話システムの活用
打矢 隆弘, 山本 大介, 柴川 元宏, 吉田 真基, Ryota Nishimura, 内匠 逸, 松尾 啓志
大学ICT推進協議会 年次大会2012   17 Dec 2012   
本研究ではオープンキャンパスにおいて高校生に学科案内やキャンパス案内を行う音声対話 システムを開発した.このシステムはスマートフォンとVoIPを用いて利用場所を問わずに音声対話 が利用可能であり,オープンキャンパス参加中の建物案内や大学周辺の地理案内に最適である.ま た,利用者は大学に関する情報を音声で気軽に入手することができる.本稿では,今年度のオープ ンキャンパスでの利用実績とユーザビリティの評価実験結果について報告する. 1
Development of spoken dialogue service based on video call named Mobile Meichan
打矢 隆弘, 山本 大介, 柴川 元宏, 吉田 真基, Ryota Nishimura, 内匠 逸
合同エージェントワークショップ&シンポジウム2012(JAWS2012)予稿集   Oct 2012   
本研究では,スマートフォンと VoIP を用いて利用 場所を問わずに音声対話を行うことが可能な,ビデ オ通話型音声対話サービス「モバイルメイちゃん」 を提案した.また各種の実験により,提案サービス の有効性を実証した.
Estimation of Dialogue States in Database Search Spoken Dialogue System
Ryota Nishimura, 駒谷 和範
IPSJ SIG Technical Report   4 Feb 2012   
データベース検索を行う音声対話システムにおいて,ユーザの意図を反映し,音声 認識誤りに対処して応答生成を行うための対話状態を推定するモデルについて述べる. データベース検索タスクにおいて,対話の状態が「検索条件の指定」「情報の提示要 求」の二つを遷移するとモデル化する.この 2 つの状態を対話中から得られる素性に 基づき,ロジスティック回帰により予測する.レストランデータベース検索を行う音 声対話システムを構築し,7 名の被験者から対話データを収集し,モデルの学習実験 を行った.ベースライ...
Analysis and Evaluation of Spoken Dialog System with One Agent and Multiple Agents
藤堂 祐樹, Ryota Nishimura, 山本 一公, 中川 聖一
IPSJ SIG Technical Report   4 Feb 2012   
現在のほとんどの音声対話システムは,ユーザとシステムの 1 対 1 の対話を扱って いるが,本報告ではシステム側のエージェントを 2 つにした三者対話システムの開発 を行った.また二者対話システムと三者対話システムをそれぞれユーザに使用しても らい,システムがユーザに与える影響・満足度についての分析を行った.対話ドメイ ンは「うどんとラーメンのどちらが好きか」とし,二者対話システムのエージェント にはユーザにうどんとラーメン両方を薦めさせた.三者対話システムのエージェント には,それぞれう...
Development and Evaluation of Spoken Dialog System using Multiple Dialog Agents
Ryota Nishimura, 中川 聖一
IPSJ SIG Technical Report   20 Dec 2010   
現在の音声対話システムは,一人のユーザに対して一つのエージェントが対応する 1 対 1 の対話を扱っているが,本論文ではシステム側のエージェントを複数にするこ とで多人数対話を実現するシステムを構築する.今回は,2 つのエージェントを扱っ た,三者対話システムの開発を行った.本システムは,我々がこれまでに構築した 1 対 1 対話の音声対話システムを拡張しており,ユーザに対する応答のタイミングや, 応答の種類(あいづちなど)の制御を決定木を用いて行っている.また,ユーザから の非流暢な発話...
Spoken Dialog System using Multiple Dialog Agents
Ryota Nishimura, 中川 聖一
IPSJ SIG Technical Report   12 Feb 2010   
現在の音声対話システムは,一人のユーザに対して一つのエージェントが対応する 1 対 1 の対話を扱っているが,本論文ではシステム側のエージェントを複数にするこ とで多人数対話を実現するシステムを構築する.今回は,2 つのエージェントを扱っ た,三者対話システムの開発を行う.本システムは,我々がこれまでに構築した 1 対 1 対話の音声対話システムを拡張しており,ユーザに対する応答のタイミングや,応 答の種類(あいづちなど)の制御を決定木を用いて行っている.また,ユーザからの 非流暢な発話に...
Response timing generation and response type selection for a spontaneous spoken dialog system
Ryota Nishimura, Seiichi Nakagawa
2009 IEEE Workshop on Automatic Speech Recognition Understanding   13 Dec 2009   
もし音声対話システムが人間と同じように自然な応答を返すことができれば,対話をより自然に行うことができる.本研究では,我々は,雑談中の人間の対話行動を模倣する音声対話システムを開発した.このシステムでは,応答の種類として相槌,復唱,共同補完などを行うことができる.また応答タイミングは,オーバーラップやバージインなどを行うことが可能である.被験者実験を行った結果,本システムを用いることで,被験者は音声対話システムに対して親しみを感じていることが示された.
Subjective experiments on influence of response timing in spoken dialogues
Toshihiko Itoh, Norihide Kitaoka, Ryota Nishimura
Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH 2009   6 Sep 2009   
これまでの研究からの対話リズムに関する分析結果の妥当性を検証するため,応答タイミングや他の対話に関する分析結果をもとに対話を作成し,対話の自然性,対話の自然性, 合成音声,および発声の理解の容易さを含を検証するために被験者実験を行った.実験の結果,発話には自然な応答タイミングが存在し,発話内容に応じて適切な応答タイミングが存在していることが示された.
Spoken Dialog System Considering The Response Timing and The Evaluation
Ryota Nishimura, 中川 聖一
IPSJ SIG Technical Report   18 Jul 2009   
人間と機械が対話を行う際に,機械が人間同士の会話と同じように,自然な応答を 返すことが出来れば,より円滑な対話を行うことが期待できる.本研究では,人間同 士の雑談対話中にて生じる対話現象を模倣する音声対話システムを構築した.本シス テムでは,応答として,あいづち,復唱,共同補完などを扱っており,決定木を用い て応答種類と応答タイミングを決定している.また,本システムはユーザからのオー バーラップ応答(バージイン)や,非流暢な発話に対しても頑健に応答することが可 能になっている.被験者実験の...
Influence of Response Timing in Speech Dialogues
伊藤 敏彦, Norihide Kitaoka, Ryota Nishimura
IEICE Technical Report   Nov 2008   
先行研究で行った対話リズムに関する分析結果の妥当性を確認するために,発話タイミング,分析結果に基づいた音声対話を作成し,対話の自然性や合成音の違和感発言の 聞き取るなどを調べる知覚実験を行った.知覚実験1で合成音声による4段の短い目的指向対話を,知覚実験2では実音と合成音の1 分長の長めの雑談対話を用って実験を行った.その結果,発言では自然な発話が存在すること,発話内容に即した発話タイミングに自然性を感じるなど, 対話リズムに関連する分析結果の妥当性を示すことができた.
Analysis of relationship between impression of human-to-human conversations and prosodic change and its modeling
Ryota Nishimura, Norihide Kitaoka, Seiichi Nakagawa
9th Annual Conference of the International Speech Communication Association (INTERSPEECH-2008)   22 Sep 2008   
もし音声対話システムが人間同士の対話のように自然に応答を返すことができれば,対話はよりスムースになる.人間が対話中に行う韻律制御を音声対話システムに実現させるために,我々は人間同士の対話中に起こる韻律変化と,その対話の印象との関係を分析した.また,この分析結果を元に,韻律制御モデルを構築し,音声対話システムに実装した.
Subjective Experiments on Influence of Response Timing in Speech Dialogues
伊藤 敏彦, Norihide Kitaoka, Ryota Nishimura
IPSJ SIG Technical Report   19 Jul 2008   
先行研究で行った対話リズムに関する分析結果の妥当性を確認するために,発話タイミング,分析結果に基づいた音声対話を作成し,対話の自然性や合成音の違和感発言の 聞き取るなどを調べる知覚実験を行った.知覚実験1で合成音声による4段の短い目的指向対話を,知覚実験2では実音と合成音の1 分長の長めの雑談対話を用って実験を行った.その結果,発言では自然な発話が存在すること,発話内容に即した発話タイミングに自然性を感じるなど, 対話リズムに関連する分析結果の妥当性を示すことができた.
Analysis of relationship between impression of human-human conversations and prosodic change and its modeling
Ryota Nishimura, Norihide Kitaoka, 中川 聖一
日本音響学会講演論文集   18 Mar 2008   
人間と機械が対話を行う際に,機械が人間同士の 会話と同じように,相手に同調を示すことができれ ば,より円滑な対話を行うことが期待できる.そのた めには,実際の人間同士の対話の印象がどのような 要因で決められるのかを把握し,その情報を用いて 相手に良い印象を与えていくようにする必要がある. 本研究では,韻律情報に着目し,人間同士の対話の印 象と韻律変化との間にどのような関係性があるのか を分析した.そして,音声対話システムへの実装を目 指した円滑に対話を行うための韻律制御モデルの構 築を試みた.
A spoken dialog system for chat-like conversations considering response timing
Ryota Nishimura, Norihide Kitaoka, Seiichi Nakagawa
Text, Speech, and Dialogue   Sep 2007   Springer
If a dialog system can respond to a user as naturally as a human, the interaction will be smoother. In this research, we aim to develop a dialog system by emulating the human behavior in a chat-like dialog. In this paper, we developed a dialog sys...
Prosody change and response timing analysis in spontaneously spoken dialogs and their modeling in a spoken dialog system
Ryota Nishimura, Norihide Kitaoka, Seiichi Nakagawa
8th Annual Conference of the International Speech Communication Association (INTERSPEECH-2007)   27 Aug 2007   
対話システムが人間のように自然な応答ができれば,対話はよりスムーズになる. 人間の音声のの韻律的な振る舞いを模倣することは,コンピュータと人間との自然な会話の実現おいて重要である. 本論文では,協調的で友好的な音声対話システムを開発するために,人間同士の対話においてF0の同期傾向や「盛り上がり」,「親しみ」などの主観的指標について分析した . また,これらの特徴をモデル化し,相槌の応答タイミングを生成するモデルを構築し音声対話システムに実装した.
Modeling prosodic change in conversations and its application for a spoken dialog system
Ryota Nishimura, Norihide Kitaoka, 中川 聖一
日本音響学会講演論文集   Mar 2007   
人間と機械が対話を行う際に,機械が人間同士の 会話と同じように,話者交代,割り込み,あいづちな どを自然に返すことが出来れば,より円滑な対話を 行うことが期待できる.そのためには応答を返すタ イミングや,出力音声の韻律情報を,実際の人間同 士の対話のように制御する必要がある.本研究では, 協調的な音声対話システムを実現するために,人間同 士の対話における応答タイミングや韻律的な同調と, 対話としての盛り上がり・意見の相違などとの関連を 分析し,そのモデル化を試みた.また,そのモデルを 音声...
Response Timing and Prosody Change Modeling in Conversations and Their Application to a Spoken Dialog System
Ryota Nishimura, Norihide Kitaoka, 中川 聖一
人工知能学会 言語・音声理解と対話処理研究会   16 Nov 2006   
本研究では,協調的な音声対話システムを実現するた めに,人間同士の対話における韻律的な同調と対話とし ての盛り上がりとの関連を分析し,そのモデル化を試み た.また,そのモデルを音声対話システムに搭載した. 音声対話システムは,リアルタイムにあいづち,話者交 替などの応答タイミングを検出し種々の雑談現象を扱い 応答することが出来る雑談に向けた対話システムであ り,タイミングの検出と応答の種類の決定には決定木を 用い,応答を出力する際の韻律情報は,モデルを用いて 制御している.
A spoken dialog system for chat-like conversations considering response timing
Ryota Nishimura, Norihide Kitaoka, 中川 聖一
人工知能学会 言語・音声理解と対話処理研究会   3 Mar 2006   
本研究では,リアルタイムにあいづち,話者交替など の応答タイミングを検出し種々の雑談現象を扱い応答す ることが出来る雑談に向けた対話システムの構築を行っ た.タイミングの検出と応答の種類の決定には決定木を 用いており,その決定木の素性としては,言語情報と韻 律情報を用いている.ポーズを検出せずに逐次的に処 理をして応答を返すことから,オーバーラップした応答 なども返すことが可能であり,実際の雑談に現れる様々 な現象を実現できる.