表情は自身の感情や精神状態を表しており，他者とのコミュニケーションの際には会話を補助している．そのため，表情を常に映像で記録できれば，ライフログやコミュニケーション支援，ビデオチャットなどのサービスに利用できる．しかし，従来手法ではユーザ自身の表情を記録するためにはカメラを顔の正面に配置する必要があり，常時記録には適さない．
本研究では，表情をつくる際の表情筋の動きは顔の部位によって動きの大きさに偏りがあることに着目し，表情認識に寄与する顔の部位のみをカメラで捉えれば小型なシステムで常時ユーザの表情画像を再現可能と考えた．
そこで，ユーザの日常生活に支障をきたすことなく，ユーザの表情と周囲の状況を常に記録する眼鏡型のウェアラブルシステムを提案する．眼鏡型デバイスには 2 台の小型カメラと 3 つの鏡が取り付けられており，ユーザの日常生活を阻害することなく，表情認識に寄与する部位や周囲の状況を常時撮影できる．提案システムは，撮影した顔の部分画像とあらかじめ用意したベース画像を組み合わせて擬似的な表情画像を出力する．また，擬似的な表情画像を周囲の状況画像とともに記録するライフログシステムを構築した．ユーザが過去の出来事を効率的に振り返るために，擬似的な表情画像を Microsoft Azure の Face API を用いて表情認識を行い，その結果をもとにライフログデータに感情のタグ付けを行う．
評価実験では，提案システムが作成する擬似的な表情画像がユーザの表情を十分に再現できているかを確認した．被験者にさまざまな表情をつくってもらい，その時の表情を正面とデバイスの両方で撮影し，正面の表情画像と擬似的な表情画像の Face APIでの表情認識結果を比較し，最大値を示す感情の一致率を調べた．実験の結果，最大の感情の一致率は，中立，喜び，驚きでそれぞれ 87.5%， 66.7%， 71.4%であり， 3 つの表情の再現性が高く，感情のタグ付けに利用できることが分かった．次に，日常生活内での自然な表情の再現度を評価する実験も行った．実験の結果，最大の感情の一致率は，中立，喜びでそれぞれ 97.7%， 51.8%であった．最後に，ベース画像の表情の種類を増やすことで，提案システムの表情の再現度に違いが出るのかを確認するための実験を行った．実験の結果，最大の感情の一致率は，中立，怒り，嫌悪，喜びが 100%，悲しみ，驚きが 25%であり，ほとんどの感情で一致率が向上することが分かった．
Facial expression images are useful in various services including life-logging because they represent one’s emotions . However, using a wearable system to capture facial expressions from the front of the user obstructs the field of view that prevents full-time recording.
We propose a compact wearable system that constantly records the user’s face and surroundings as images and indexes them with emotions without obstructing the user’s daily life. The our eyeglass-shaped device comprises two compact cameras and three mirrors, which enable the user’s facial expressions and surroundings to be captured. The proposed system outputs a real-time pseudo-face-image by combining the captured facial components with a stored base-face-image and recognizes facial expressions by applying the Face API of Microsoft Azure.
We investigated suitable facial areas to be captured by the proposed system and evaluated the recognition accuracy of the facial expressions captured. The results confirmed the accuracies of 87.5%, 66.7%, and 71.4% for neutral, happiness, and surprise, respectively. Next, we evaluated also the proposed system in natural setting, and the results confirmed the accuracies of 97.7% and 51.8% for neutral and happiness. Therefore, these results indicate that this method reproduces these three facial expressions to a high degree and can be applied to index facial images. Finally, we evaluated also the proposed system with different types of base-face-images. The results confirmed the accuracies of 100%, 100%, 100%, 100%, 25%, and 25% for neutral, happiness, anger, contempt, sadness, and surprise.
