HMD上のリップシンクアニメーションによる音声の聞き取りへの影響

音声を用いた情報提示は,スピーカなどを用いて大衆へとアナウンスしたり,個人ではイヤホンなどの小型デバイスによりハンズフリーで利用したりでき,他の作業への影響が小さいことから,情報提示方式として有効な手段である.しかし騒音などの周辺状況の影響を受けやすく,ユーザが提示情報を聞き取れない場合が多い.単に音量を大きくするだけでは,他の周囲の音声が聞き取れなくなる可能性が高くなり,不必要に大きいことでユーザが不快感を得る.そこで本研究では,音声情報に視覚情報を加えることにより聞き取りやすくなる情報提示手法を提案する.提案手法では,HMD上に取得したい音声とリップシンクしたアニメーションを見せることで,音声を聞き取りやすくなることを狙う.これまでに,2種類の視覚情報が与える影響についての実験を行ない,提案手法において聞こえやすくなる被験者が多く見られることを確認した.

Users should always be able to receive information when using a head-mounted display (HMD) anytime, anywhere. Users can watch content shown on an HMD hands-free even when moving or working. It seems that presenting specific information affects humans. In this paper, we investigate the effects on listening to speech information that are caused by presenting animation on an HMD. It is difficult to listen to information that is presented in noisy surroundings. If the solution were only to turn up the volume, we would feel uncomfortable because this is very inconvenient. Therefore, by additionally presenting animation, we aim to make it easy for users to listen to speech information. With our method, we use lip-sync animation that matches specific speech information. We performed two experiments to determine whether it is easier to get speech information with animation.

Naoya Isoyama, Tsutomu Terada, and Masahiko Tsukamoto: Evaluating Effects of Listening to Content with Lip-sync Animation on Head Mounted Displays, The 4th Workshop on Ubiquitous Technologies for Augmenting the Human Mind (WAHM), UbiComp/ISWC Adjunct 2017, pp. 666–672 (Sep. 2017). [ACM DL]

磯山直也, 寺田 努, ロペズ ギヨーム: HMD上のリップシンクアニメーションが会話の聞き取りに与える影響の調査, 情報処理学会マルチメディア, 分散, 協調とモバイルシンポジウム (DICOMO 2016) 論文集, pp. 1769–1775 (July 2016).