研究紹介

対話中のユーザ音声に含まれる未知語を認識(「農くれ」は未知語)

マルチモーダル心象推定に基づくユーザに応じた対話
機械が人間にとって身近で使いやすい存在となるには、人間が生来持っている音声で対話する能力が必要です。本研究分野では、音声や言語、マルチモーダル情報を用いて人間と対話できるシステムの研究をしています。近年の生成AIの台頭により、単語列として成り立つ文を生成する技術は格段の進化を遂げていますが、機械が人と共生するパートナーになり得るような音声対話機能はまだ実現できていません。その実現には、システムに単に即応的に応答を行わせるだけではなく、対話相手である人自身の理解や、音声で話すという現象の理解も含めた研究が必要です。我々は、音響信号処理や音声認識、自然言語処理、知識グラフ、マルチモーダルインタラクション、ユーザモデリング、社会心理学など幅広い観点から、人と共生するパートナーとなり得る音声対話機能の実現を目指しています。
2014年4月 - 現在 | 大阪大学 産業科学研究所, 産業科学研究所, 教授 |
2010年10月 - 2014年3月 | JSTさきがけ「情報環境と人」領域, 研究者(兼任) |
2010年6月 - 2014年3月 | 名古屋大学, 大学院工学研究科, 准教授 |
2007年4月 - 2010年5月 | 京都大学, 大学院情報学研究科, 助教 |
2008年6月 - 2009年5月 | カーネギーメロン大学, 客員研究員(兼任) |
2002年12月 - 2007年3月 | 京都大学, 大学院情報学研究科, 助手 |