齋藤佑樹 (Yuki Saito) - マイポータル

基本情報

所属: 東京大学大学院情報理工学系研究科講師
: 国立研究開発法人産業技術総合研究所人工知能研究センター知的メディア処理研究チーム特定フェロー

学位: 博士（情報理工学）(2021年3月東京大学)

連絡先: sythonukg.ecc.u-tokyo.ac.jp
通称等の別名: Sython
研究者番号: 20907901
ORCID iD: https://orcid.org/0000-0002-7967-2613
J-GLOBAL ID: 202101003360295683
researchmap会員ID: R000018818

外部リンク: http://sython.org/

Yuki Saito received the Ph.D. degree in Information Science and Technology in 2021 from the Graduate School of Information Science and Technology, The University of Tokyo, Japan. His research interests include speech synthesis, voice conversion, and machine learning. He was the recipient of more than 10 paper awards including the 2020 IEEE SPS Young Author Best Paper Award. He is a Member of the Acoustical Society of Japan, a Member of IEEE SPS, and a Member of Institute of Electronics, Information and Communication Engineers.

研究キーワード

研究分野

情報通信 / 知能情報学 / 音声情報処理

経歴

2024年4月 - 現在

東京大学, 講師
2025年6月 - 2030年5月

国立研究開発法人産業技術総合研究所, 特定フェロー
2023年4月 - 2024年3月

東京大学, 助教
2021年4月 - 2023年3月

東京大学, 特任助教
2019年4月 - 2021年3月

東京大学, 技術補佐員
2018年4月 - 2021年3月

独立行政法人日本学術振興会, 特別研究員 DC1

学歴

2018年4月 - 2021年3月

東京大学, 大学院情報理工学系研究科, システム情報学専攻
2016年4月 - 2018年3月

東京大学, 大学院情報理工学系研究科, 創造情報学専攻
2014年4月 - 2016年3月

釧路工業高等専門学校, 専攻科, 電子情報システム工学専攻
2009年4月 - 2014年3月

釧路工業高等専門学校, 情報工学科

委員歴

2025年4月 - 現在

日本音響学会, 音声 (SP) 研究会幹事補佐
2024年4月 - 現在

電子情報通信学会, 音声 (SP) 研究会幹事補佐
2024年4月 - 現在

情報処理学会, 音声言語情報処理 (SLP) 研究会幹事
2017年4月 - 2023年3月

日本音響学会学生・若手フォーラム, 幹事会員（2019 ~ 2022年副代表）

受賞

2024年7月

2024年度山下記念研究賞, ChatGPT-EDSS: ChatGPT由来のContext Word Embeddingから学習される共感的対話音声合成モデル, 情報処理学会

齋藤佑樹
2024年2月

第40回井上研究奨励賞, 人間と計算機の違いの最小化に基づく音声合成に関する研究, 井上科学振興財団
2023年8月

Travel Grant Award for INTERSPEECH2023

齋藤佑樹
2023年6月

音学シンポジウム2023 優秀発表賞, ChatGPT-EDSS: ChatGPT由来のContext Word Embeddingから学習される共感的対話音声合成モデル, 情報処理学会

齋藤佑樹, 高道慎之介, 飯森栄治, 橘健太郎, 猿渡洋
2023年3月

第22回船井研究奨励賞, 人間と計算機の違いの最小化に基づく音声合成に関する研究, 船井情報科学振興財団

齋藤佑樹
2022年6月

2021年度電子情報通信学会論文賞, Real-time full-band voice conversion with sub-band modeling and data-driven phase estimation of spectral differentials, 電子情報通信学会

佐伯高明, 齋藤佑樹, 高道慎之介, 猿渡洋
2022年3月

音声言語情報処理 (SLP) 研究会企業賞 (Yahoo!Japan賞), 主観的話者間類似度を考慮したDNN話者埋め込みのためのActive Learning, 情報処理学会

齋藤佑樹
2021年6月

Young Author Best Paper Award, Statistical parametric speech synthesis incorporating generative adversarial networks, IEEE Signal Processing Society

Yuki Saito and Shinnosuke Takamichi
2021年3月

大学院情報理工学系研究科研究科長賞, 人間の音声情報処理能力を計算機的に表現する統計的音声合成に関する研究業績, 東京大学

齋藤佑樹
2021年3月

粟屋潔学術奨励賞, 主観的話者間類似度のグラフ埋め込みに基づくDNN話者埋め込み, 日本音響学会

齋藤佑樹
2019年1月

C&C若手優秀論文賞, Non-parallel voice conversion using variational autoencoders conditioned by phonetic posteriorgrams and d-vectors, NEC C&C 財団

齋藤佑樹
2018年11月

Student Journal Paper Award, Statistical parametric speech synthesis incorporating generative adversarial networks, IEEE Signal Processing Society Japan

Yuki Saito
2018年8月

音声研究会研究奨励賞, Non-parallel voice conversion using variational autoencoders conditioned by phonetic posteriorgrams and d-vectors, 電子情報通信学会

齋藤佑樹
2018年5月

第一種奨学金特に優れた業績による奨学金返還免除 (半額) 対象者, 日本学生支援機構

齋藤佑樹
2018年3月

テレコムシステム技術学生賞, Statistical parametric speech synthesis incorporating generative adversarial networks, 電気通信普及財団

齋藤佑樹
2017年11月

Student Award, Highway networkを用いた差分スペクトル法に基づく敵対的DNN音声変換, IEEE Signal Processing Society Tokyo Joint Chapter

齋藤佑樹
2017年3月

学生優秀発表賞, DNN音声合成のためのAnti-Spoofingを考慮した学習アルゴリズム, 日本音響学会

齋藤佑樹
2017年3月

Spoken Language Processing Student Grant of ICASSP, Training algorithm to deceive anti-spoofing verification for DNN-based speech synthesis, IEEE Signal Processing Society

Yuki Saito
2017年1月

音声研究会学生ポスター賞, Anti-spoofingに敵対するDNN音声変換の評価, 電子情報通信学会

齋藤佑樹
2016年2月

学生特別研究発表会奨励賞, コード進行および歌詞情報を用いた楽曲分類システムの構築, 釧路工業高等専門学校

齋藤佑樹

もっとみる

論文

Emotion-controllable Speech Synthesis Using Emotion Soft Label, Utterance-level Prosodic Factors, and Word-level Prominence

Xuan Luo, Shinnosuke Takamichi, Yuki Saito, Tomoki Koriyama, Hiroshi Saruwatari

APSIPA Transactions on Signal and Information Processing 13(1) 2024年2月13日
Frame-Wise Breath Detection with Self-Training: An Exploration of Enhancing Breath Naturalness in Text-to-Speech

Dong Yang, Tomoki Koriyama, Yuki Saito

INTERSPEECH 2024 4928-4932 2024年
SRC4VC: Smartphone-Recorded Corpus for Voice Conversion Benchmark

Yuki Saito, Takuto Igarashi, Kentaro Sekii, Shinnosuke Takamichi, Ryuichi Yamamoto, Kentaro Tachibana, Hiroshi Saruwatari

INTERSPEECH 2024 1825-1829 2024年
Spatial Voice Conversion: Voice Conversion Preserving Spatial Information and Non-target Signals

Kentaro Seki, Shinnosuke Takamichi, Norihiro Takamune, Yuki Saito, Kanami Imamura, Hiroshi Saruwatari

INTERSPEECH 2024 177-181 2024年
Noise-Robust Voice Conversion by Conditional Denoising Training Using Latent Variables of Recording Quality and Environment

Takuto Igarashi, Yuki Saito, Kentaro Seki, Shinnosuke Takamichi, Ryuichi Yamamoto, Kentaro Tachibana, Hiroshi Saruwatari

INTERSPEECH 2024 2750-2754 2024年
STYLECAP: AUTOMATIC SPEAKING-STYLE CAPTIONING FROM SPEECH BASED ON SPEECH AND LANGUAGE SELF-SUPERVISED LEARNING MODELS

Kazuki Yamauchi, Yusuke Ijimat, Yuki Saito

2024 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP 2024) 11261-11265 2024年
Real-Time Noise Estimation for Lombard-Effect Speech Synthesis in Human-Avatar Dialogue Systems

Yuto Ishikawa, Osamu Take, Tomohiko Nakamura, Norihiro Takamune, Yuki Saito, Shinnosuke Takamichi, Hiroshi Saruwatari

2024 ASIA PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE, APSIPA ASC 2024年
NecoBERT: Self-Supervised Learning Model Trained by Masked Language Modeling on Rich Acoustic Features Derived from Neural Audio Codec

Wataru Nakata, Takaaki Saeki, Yuki Saito, Shinnosuke Takamichi, Hiroshi Saruwatari

2024 ASIA PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE, APSIPA ASC 2024年
CROSS-DIALECT TEXT-TO-SPEECH IN PITCH-ACCENT LANGUAGE INCORPORATING MULTI-DIALECT PHONEME-LEVEL BERT

Kazuki Yamauchi, Yuki Saito, Hiroshi Saruwatari

2024 IEEE SPOKEN LANGUAGE TECHNOLOGY WORKSHOP, SLT 750-757 2024年
THE T05 SYSTEM FOR THE VOICEMOS CHALLENGE 2024: TRANSFER LEARNING FROM DEEP IMAGE CLASSIFIER TO NATURALNESS MOS PREDICTION OF HIGH-QUALITY SYNTHETIC SPEECH

Kaito Baba, Wataru Nakata, Yuki Saito, Hiroshi Saruwatari

2024 IEEE SPOKEN LANGUAGE TECHNOLOGY WORKSHOP, SLT 818-824 2024年
JVNV: A Corpus of Japanese Emotional Speech with Verbal Content and Nonverbal Expressions

Detai Xin, Junfeng Jiang, Shinnosuke Takamichi, Yuki Saito, Akiko Aizawa, Hiroshi Saruwatari

IEEE Access 12 19752-19764 2024年
Does controller sound contain valuable information for video game scene analysis? Case study by character identification of Super Smash Bros. Ultimate

Yuki Saito, Kohei Yatabe, Shogun

Acoustical Science and Technology 45(2) 113-116 2024年
COCO-NUT: Corpus of Japanese Utterance and Voice Characteristics Description for Prompt-Based Control

Aya Watanabe, Shinnosuke Takamichi, Yuki Saito, Wataru Nakata, Detai Xin, Hiroshi Saruwatari

2023 IEEE Automatic Speech Recognition and Understanding Workshop, ASRU 2023 2023年
ChatGPT-EDSS: Empathetic Dialogue Speech Synthesis Trained from ChatGPT-derived Context Word Embeddings

Yuki Saito, Shinnosuke Takamichi, Eiji Iimori, Kentaro Tachibana, Hiroshi Saruwatari

Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH 2023-August 3048-3052 2023年
CALLS: Japanese Empathetic Dialogue Speech Corpus of Complaint Handling and Attentive Listening in Customer Center

Yuki Saito, Eiji Iimori, Shinnosuke Takamichi, Kentaro Tachibana, Hiroshi Saruwatari

Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH 2023-August 5561-5565 2023年
HumanDiffusion: diffusion model using perceptual gradients

Yota Ueda, Shinnosuke Takamichi, Yuki Saito, Norihiro Takamune, Hiroshi Saruwatari

Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH 2023-August 4264-4268 2023年
Duration-Aware Pause Insertion Using Pre-Trained Language Model for Multi-Speaker Text-To-Speech

Dong Yang, Tomoki Koriyama, Yuki Saito, Takaaki Saeki, Detai Xin, Hiroshi Saruwatari

ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings 2023年
MID-Attribute Speaker Generation Using Optimal-Transport-Based Interpolation of Gaussian Mixture Models

Aya Watanabe, Shinnosuke Takamichi, Yuki Saito, Detai Xin, Hiroshi Saruwatari

ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings 2023年
Adaptive End-to-End Text-to-Speech Synthesis Based on Error Correction Feedback from Humans

Kazuki Fujii, Yuki Saito, Hiroshi Saruwatari

PROCEEDINGS OF 2022 ASIA-PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE (APSIPA ASC) 1702-1707 2022年
Multi-Task Adversarial Training Algorithm for Multi-Speaker Neural Text-to-Speech

Yusuke Nakai, Yuki Saito, Kenta Udagawa, Hiroshi Saruwatari

Proceedings of 2022 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference, APSIPA ASC 2022 743-748 2022年

もっとみる

MISC

人間とアバターとの対話システムにおける拡散性雑音下リアルタイム推定雑音を用いたLombard効果模擬音声合成のための検討

石川悠人, 武伯寒, 中村友彦, 高宗典玄, 齋藤佑樹, 高道慎之介, 高道慎之介, 猿渡洋

日本音響学会研究発表会講演論文集(CD-ROM) 2024 2024年
Fed-StarGANv2-VC:連合学習を用いた多対多声質変換

平井龍之介, 齋藤佑樹, 猿渡洋

情報処理学会研究報告(Web) 2023(SLP-146) 2023年
最適輸送によるGMM補間を用いた中間属性の非実在話者生成

渡邊亞椰, 高道慎之介, 齋藤佑樹, XIN Detai, 猿渡洋

日本音響学会研究発表会講演論文集(CD-ROM) 2023 2023年
ChatGPT-EDSS:ChatGPT由来のContext Word Embeddingから学習される共感的対話音声合成モデル

齋藤佑樹, 高道慎之介, 飯森英治, 橘健太郎, 猿渡洋

情報処理学会研究報告(Web) 2023(MUS-137) 2023年
睡眠を誘発する音声刺激の生成に向けた分析と評価

熊田順一, 齋藤佑樹, 高道慎之介, 渡邊亞椰, 丹治尚子, 長野瑞生, 井島勇祐, 猿渡洋

情報処理学会研究報告(Web) 2023(MUS-137) 2023年
Coco-Nut:自由記述文による声質制御に向けた多話者音声・声質自由記述ペアデータセット

渡邊亞椰, 高道慎之介, 齋藤佑樹, XIN Detai, 猿渡洋

日本音響学会研究発表会講演論文集(CD-ROM) 2023 2023年
自己教師ありモデル特徴量から音声波形を生成するニューラルボコーダの実験的評価

中田亘, 佐伯高明, 齋藤佑樹, 高道慎之介, 猿渡洋

日本音響学会研究発表会講演論文集(CD-ROM) 2023 2023年
対戦ゲーム動画の実況解説音声の分析と合成の検討

井浦昂太, 齋藤佑樹, 猿渡洋

日本音響学会研究発表会講演論文集(CD-ROM) 2023 2023年
アクセント潜在変数の予測と制御が可能なTTSモデルによる方言音声合成の検討

山内一輝, 齋藤佑樹, 猿渡洋

日本音響学会研究発表会講演論文集(CD-ROM) 2023 2023年
連合学習に基づく多話者音声変換のユーザ参加型学習

齋藤佑樹

立石科学技術振興財団助成研究成果集(Web) (32) 2023年
対話履歴の韻律情報を考慮した共感的対話音声合成

西邑勇人, 齋藤佑樹, 高道慎之介, 橘健太郎, 猿渡洋

情報処理学会研究報告(Web) 2022(SLP-140) 2022年
多話者音声合成のためのAdversarial Regularizerを考慮した学習アルゴリズム

仲井佑友輔, 齋藤佑樹, 宇田川健太, 猿渡洋

電子情報通信学会技術研究報告(Web) 121(383(EA2021 64-97)) 2022年
STUDIES:表現豊かな音声合成に向けた日本語共感的対話音声コーパス

齋藤佑樹, 西邑勇人, 高道慎之介, 橘健太郎, 猿渡洋

日本音響学会研究発表会講演論文集(CD-ROM) 2022 2022年
キャラクタ分散表現を用いた演じ分けを実現するオーディオブック音声合成

中田亘, 郡山知樹, 高道慎之介, 齋藤佑樹, 井島勇祐, 増村亮, 猿渡洋

日本音響学会研究発表会講演論文集(CD-ROM) 2022 2022年
人間の知覚評価をフィードバックに用いた音声合成の話者適応における探索手法の検討

宇田川健太, 齋藤佑樹, 猿渡洋

日本音響学会研究発表会講演論文集(CD-ROM) 2022 2022年
避難呼びかけ音声の持つ緊急性の分析と音声合成への適用の検討

原田そら, 中田亘, 高道慎之介, 齋藤佑樹, 齋藤康之, 猿渡洋

日本音響学会研究発表会講演論文集(CD-ROM) 2022 2022年
主観的話者間類似度を考慮したDNN話者埋め込みのためのActive Learning

齋藤佑樹, 高道慎之介, 猿渡洋

情報処理学会研究報告(Web) 2021(SLP-136) 2021年
リアルタイムDNN音声変換フィードバックによるキャラクタ性の獲得手法

倉田将希, 高道慎之介, 佐伯高明, 荒川陸, 齋藤佑樹, 樋口啓太, 猿渡洋

情報処理学会研究報告(Web) 2021(SLP-136) 2021年
HumanACGAN:人間の知覚を補助分類器に用いた条件付き敵対的生成ネットワークと音素知覚における評価

上田陽太, 藤井一貴, 齋藤佑樹, 高道慎之介, 馬場雪乃, 猿渡洋

日本音響学会研究発表会講演論文集(CD-ROM) 2021 2021年
人間の知覚評価フィードバックによる音声合成の話者適応

宇田川健太, 齋藤佑樹, 猿渡洋

電子情報通信学会技術研究報告(Web) 121(202(SP2021 24-38)) 2021年

もっとみる

担当経験のある科目(授業)

2025年4月 - 現在

信号処理論第一 (東京大学工学部計数工学科)
2024年4月 - 現在

学術フロンティア講義 (サイバネティクス入門ー物理・人・社会を繋げる情報科学の先端ー) (東京大学教養学部(前期課程))
2024年4月 - 現在

システム情報工学演習第三 (東京大学工学部計数工学科)
2024年4月 - 現在

応用音響学 (東京大学工学部計数工学科)
2023年6月 - 2024年3月

システム情報工学設計演習（プロジェクト演習） (東京大学工学部計数工学科)
2023年4月 - 2024年3月

計数工学実験「ディジタル信号処理と音響システム」 (東京大学工学部計数工学科)

所属学協会

共同研究・競争的資金等の研究課題

視聴覚データに対する印象情報を活用した環境音認識・合成のための共用データセット構築と基本性能評価

国立情報学研究所公募型共同研究 2025年4月 - 2026年3月

山下洋一, 永瀬亮太郎, 井本桂右, 山岸順一, 大須賀智子, 齋藤佑樹
スモールデータ機械学習に基づくリアルタイム音コミュニケーション能力拡張システム

公益財団法人立石科学技術振興財団 2023年度助成金贈呈対象【研究助成(S)】 2023年4月 - 2026年3月

猿渡洋,高道慎之介,齋藤佑樹
環境音に対する印象情報を利用した音環境理解・合成のための共用データセットの構築

国立情報学研究所公募型共同研究 2024年7月 - 2025年3月

山下洋一, 永瀬亮太郎, 福森隆寛, 井本桂右, 山岸順一, 大須賀智子, 齋藤佑樹
eスポーツ理解に向けた実況解説音声の分析及び音声合成アルゴリズムの開発

日本学術振興会科学研究費助成事業若手研究若手研究 2022年4月 - 2025年3月

齋藤佑樹
インタラクティブ強化学習に基づく人間参加型適応的テキスト音声合成

科学技術振興機構戦略的な研究開発の推進戦略的創造研究推進事業 ACT-X 2023年 - 2025年

齋藤佑樹
Self-supervised Generative Spoken Dialogue Modeling from In-the-wild Data

Google LLC Google-initiated Research Grant 2023年11月 - 2024年10月
連合学習に基づく多話者音声変換のユーザ参加型学習

公益財団法人立石科学技術振興財団 2022年度助成金贈呈対象【研究助成(A)】 2022年4月 - 2023年3月

齋藤佑樹
Continual Learning に基づく持続的に学習可能な音声合成

日本学術振興会科学研究費助成事業研究活動スタート支援 2021年9月 - 2023年3月
ユーザからの誤り訂正フィードバックに基づく適応型End-to-End テキスト音声合成

キオクシア（旧東芝メモリ） 2021年度キオクシア奨励研究 2021年6月 - 2022年3月
聞き手モデルに基づく能動的音声合成に関する研究

日本学術振興会科学研究費助成事業特別研究員奨励費特別研究員奨励費 2018年4月 - 2021年3月

齋藤佑樹
平成30年度前期国際会議論文発表者助成受給者

公益財団法人 NEC C&C 財団

齋藤佑樹

基本情報

研究キーワード

研究分野

経歴

学歴

委員歴

受賞

論文

MISC

担当経験のある科目(授業)

所属学協会

共同研究・競争的資金等の研究課題

メニュー

共著者の一覧