研究の概要を教えてください。また、研究において重要なことや意識している点はありますか？さらに、その技術をどのようなことに活用出来ますか？
私の研究室では主に二つの分野の研究を行っています。
一つ目は、感性情報学という分野です。感性情報学は、人間の持っている感性や感情の処理系をコンピューターに学習させモデル化する学問です。人間のコミュニケーションにおいて重要なのは感情を理解することだと思います。これにより、状況と個人の感性や感情に適した情報を提供する仕組みを構築することができます。
例えば、人間は「この人寝ているだろうな」や「彼は緊張しているだろうな」という推定を表情や姿勢、態度から無意識に判断しています。しかし、ロボットやエージェントでは、相手の感情を推定するプログラムを組み込まないと、人間とのコミュニケーションが成り立ちません。研究室では、人間の姿勢からキネクトを用いて動作を取得して、立位姿勢では、頭、肩、手、肘、腰の位置情報を、着座姿勢では、頭、胴体、腕や脚の角度情報を測定し、人間がどの様な姿勢だと、どういった感情表出かを推定することをモデル化し、コンピューターの判断に組み込む仕組みを作っています。
二つ目は、ある情報と別の情報を融合させるという方法論を研究しています。例えば、デジカメで撮影した部屋の情報から、コンピューターの学習モデルを通じてイメージ語を判断し、その部屋に合うテーブル・椅子などを検索結果として表示します。さらにこの検索システムを使用しマーカーを置くと検索結果が実物大で表示されます。拡張現実技術を用いて、自分の部屋に検索された家具が実物大で置かれるわけです。
例えば、家具屋で家具を購入する際サイズが合わないことやデザインが合わないことなどのミスが起きがちですね。しかし、拡張現実技術を使えばサイズも間違わずに実際にその部屋に合ったデザインかどうかということがその場で判断できます。
実際に部屋に椅子を置いたときのイメージなどを、拡張現実技術を使用して表示させたことはありますか？
まだできていません。課題は、実空間での照明条件がないと仮想オブジェクトの環境が実現できないということです。バーチャルな照明を当てたりしたのですが、やはり上手くいきませんでした。一定の光の当て方であればそれに合わせて仮想の光源を置けば良いのですが、例えば部屋の両側から光があるとすると環境が変化してしまいますのでそこが一番ネックな部分ですね。
今後の研究にあたっての課題はありますか。また、課題の解決方法はありますか？
先ほど言ったように拡張現実技術において、照明・環境によって結果が変化するのが課題です。ある部屋で考えた場合、光の当たり方が変化すると結果が大きく異なってくるので、その違いを一定にすることで解決できると考えています。
また同じ仕組みを使えば、理論上では画像を撮影して家具や音楽や香りなどを検索することもできます。私としては一個のメディア情報を他のメディア情報と繋げていくことをやりたいです。また、将来的には様々なデータを繋げていくことが主流になっていくと思います。
さらに専門的になりますが、例えばスピーカーを置いて音を鳴らした時に、どこで音が鳴っているのか正確に分からない人がいます。そこで聴覚が視覚に影響されることがあると考え、視覚情報を融合し音の情報を取得する研究も行いました。この研究では、実は個人によって差があることが分かりまし た。私たちはその聞き取る能力を音像定位力と呼んでいます。音像定位力がある人は音の発生源が正確に把握できますが、全く把握できない人もいるので、同じ条件で仕組みを作れないのです。
そこで、３次元スキャナを使用して耳の形状を３次元データ化しモデルを作成します。そして、音像定位力の高低を判別してその人にあった音場制御技術を作らなければならないのです。現状、視覚的な情報だけで、聴覚情報を反映させる拡張現実技術はできていません。私達は その音場制御技術を利用し、マーカー上に仮想の音を付け、自分の手にのった仮想のオブジェクトが視覚的にも聴覚的にも情報をもった状態を実空間で体験できる技術を作っています。
最後に、柴田先生からエンジニア就活をご覧になっている学生に対して一言お願いします。
今の学生はもっと視野を広く持ち、常にアンテナを張り続けるべきだと思います。現在ではたくさんの情報が世の中にはあり、努力次第で自分で何でも出来る時代だと思います。今日、プログラム論を学んだといって、明日からすぐに使えるわけではありません。一つ一つの知識や経緯を積み重ねていき、今やっていることは、10年後の自分に、さらに、１００年後の社会に役立っているかもしれません。それは未来への投資なのです。エンジニア就活のご覧の皆さんも、未来への投資の為にチャレンジしてみませんか？
