Interactive Surface

液晶ディスプレイやプロジェクタの普及により,デジタルサイネージやメディアアートを日常的に見かけるようになってきた.これらのように情報の提示をデジタルにすることで,画像を切り替えたり,動画を流し続けたり等,紙媒体では不可能であった提示が行えるが,多くの情報を伝えたり,観客にシステムを自らの体で経験させて楽しませたりするためには提示をインタラクティブにすることが有効である.しかし,これらのシステムはセッティングやメンテナンスの際に専門知識や大きな労力が必要となる.そこで本研究では,様々な状況下でユーザアクションを認識できるフレームワークを提案し,行動認識の専門家なしでもインタラクティブシステムを設置できるソフトウェアを実装した.提案手法は複数の加速度センサを用いることにより,平面に対し行なわれたユーザアクションの位置や強さを認識する.本手法では,紙やスクリーンなどの平面の裏側に装着した加速度センサが,ユーザがタッチしたりや引っ張ったり,息を吹きかけたりといったアクションをした際に平面が揺れることを検出する.提案システムは,行動認識に精通していない人でも設置やメンテンナンスを簡単に行なえる機能をもつ.これまでに,2度のメディアアートの展示において提案システムを使用しており,その有用性を確認した.

It is important for systems to recognize user actions using sensors and cameras when constructing interactive systems and artworks. Conventional systems have tackled to make systems recognize wide varieties of user actions and to install sensing devices with various environmental restrictions. However, since the recognition methods in conventional systems are specialized to their own work, they cannot be applied to other systems and a specialist for activity recognition is required to construct the systems. In addition, conventional systems took a long time to select recognition algorithms and to set the recognition parameters. This means that they cannot have enough flexibility to change the actions to be recognized or to adapt to changing environments. This work proposes a method of adding interactivity to various surfaces and recognizing the positions and intensities of performed action by using multiple accelerometers. Our method has functions that enable easy settings and maintenance even by beginners in activity recognition. Participants in an experiment on constructing interactive surfaces constructed a system that could recognize two actions at two points in 51 minutes on average. Moreover, we confirmed the effectiveness of our approach with two actual artworks in long-term media-arts exhibitions.

N. Isoyama, T. Terada, and M. Tsukamoto: A System for Recognizing User Actions on an Interactive Surface using Accelerometers, 芸術科学会論文誌, Vol. 13, No. 4, pp. 198–217 (Dec. 2014). [芸術科学会論文誌]

N. Isoyama, T. Terada, and M. Tsukamoto: An Interactive System for Recognizing User Actions on a Surface using Accelerometers, AH 2014, No. a57, pp. 1–2 (Mar. 2014). [ACM DL]

N. Isoyama, T. Terada, and M. Tsukamoto: An Interactive Surface that Recognizes User Actions using Accelerometers, NICOGRAPH International 2013, pp. 72–80 (June 2013).

磯山直也, 寺田 努, 塚本昌彦: 平面をインタラクティブにする加速度センサを用いたユーザアクション認識手法, HCI研究会, Vol. 2013-HCI-153, No. 6, pp. 1–8 (May 2013).

磯山直也, 寺田 努, 塚本昌彦: 加速度センサを用いてタッチ位置を検出可能なインタラクティブスクリーンの提案, UWW2012, p. 24 (Dec. 2012).