最初に鈴木先生の研究室で行われている研究の概要をお聞かせいただけますか。
医療福祉工学研究室なので、医療と福祉がキーワードになります。今行っているのはリハビリテーションや健康づくり分野の研究です。
リハビリテーションにおいては、論文にもしていますが音楽療法の分野になります。対象は障害を持ったお子さんです。自閉症やRett症候群といった、自発的には様々な動きがなかなか出来ない方に対して、音楽を使いながら楽器を叩いてもらうことで、動きをなるべき引き出すというものです。動きが大事なので、療法をやっている間はビデオ撮影し、その動きを解析します。療法士の方も経験をお持ちなので、今日は対象のお子さんがどうだったかというのは主観的には分かるのですが、それを保護者などにお伝えする際に、数値で客観的に示す必要がでてきます。ビデオ撮影された映像に基づいた運動解析は、結果に対する客観的な判断の根拠となります。
普通の運動解析のソフトは多数あるのですが、音楽療法をやっておられる方が、現場で簡単に使えるようにするということを考えて、様々な工夫をしています。今そのための画像処理の研究を行っています。
音楽療法を受ける方が楽器を叩くことを数値化するときの「良い」「悪い」は、どういうロジックで判断されるのでしょうか。音楽療法士の経験などの暗黙知を数字として置き換える、もしくは挙動の大きさなどで判断されているのでしょうか。
その通り、見た目の大きさなどで判断しています。前回との比較を行いたいためです。生じる差は必ずしも療法の結果ではなく、その時の体調や気分によるものもあるため、結果の変動には様々な要因があるわけですが、それを客観的に説明したいということです。
判断の要素のひとつは運動の振幅です。さらに運動の頻度つまり、どのくらい回数として動いているかということも見ます。人間が測定するとなると、その都度ビデオ画面から物差しで測ったり、回数をカウントしたりすることになり大変なので、そこをプログラムで簡単に行いたいと考えています。
この比較は他者との相対比較ではなく絶対比較です。同一の症例であっても、個人差が大きいためです。ＡさんとＢさんを比較するのではなく、その方自身の何ヶ月か前の結果と、今日とではどのように違うのか、という比較をします。療法は数か月おき程で実施します。経過は月や年単位でみていきます。
音楽療法の中の一つをご紹介します。例えば、療法士の先生がピアノで音楽を弾いていて、助手の方がタンバリンを持っているとします。対象のお子さんは、撥で叩く、もしくは自分の手で叩く様な動きをします。このお子さんも、普通にしていると自分からはなかなか動きがないのですが、音楽を使うことで動きを引き出すことが出来ます。その結果、今日はどのくらいの動きだったか、という様子を療法士が把握し、保護者に伝えるとともに、そして次回の療法をどうするかを考えます。どんな音楽だったら良いのか、どんな楽器がこの子には向いているか、ということを考える時に、療法なのでエビデンスが必要です。
運動解析ソフトを使うには、色のついたリストバンドなどを付けて追跡します。このとき、見たい部分が、動きなどで隠れてしまうことがあります。そういったオクルージョンがあるため、普通の運動解析ソフトでは、隠れたものの再追跡をする際には、手入力で行う必要がでてきます。また対象の方によっては、リストバンドなどを身につけるのを嫌がることもあります。
例えば、Kinectを使ったりもするのですか？
Kinectについても検討が進めています。ただ、病院だけでなく患者さんのご自宅で療法を行うこともありますので、昔ながらの方式ですが、ビデオカメラで撮りっぱなしにして、あとで解析する、オフラインのやり方の方が、結果的に双方の負担が軽くなります。もちろんKinectを使っても出来るのですが、周りには様々な人がいますし、さらに真横から取る場合、スケルトンの追跡などが難しいといった課題があります。
分析コストや手間の削減と、手軽さという点に価値を置かれているということですね。
それほど精度は要求しなくてもよく、大体が分かれば良いと割り切る替わりに、現場の人がすぐデータを欲しいという時に使えるようにしたいのです。
お話をお伺いして音楽療法と情報工学の関係に、大変興味を持ちました。
音楽療法も様々な方法がありまして、ただ聞くだけの受動的なものと、今回のように歌ったり楽器を演奏したりする能動的なものがあります。この研究室では、身体もしくは心の障害を持ったお子さんを対象にしていますが、音楽療法自体は若い人もお年寄りも、それこそ健康な人も対象になります。
実際のケースとしてはいくつくらい集まっているのですか。
ケースとしては、今は音楽療法士さんと一緒にさせて頂いており、解析に向いていそうな映像が撮れた際に処理しているので、人としては3～4人、それを大体10ケース程です。同じ人でも1年後などに行っているケースもありますので、それも含んでいます。
この研究を始めた経緯を是非お聞かせください。音楽療法自体は、まだそれほど認知度が高いものではないと思うのですが、なぜこれを研究しようと思われたのでしょうか。
研究室のテーマの１つである福祉の延長で、子どもや赤ちゃんを対象とした育児の方面にも少し関わっておりました。育児の中で障害児と接する機会があり、音楽療法というものに出会いました。
高齢化というのはつまり少子化で、子どもが少なくなってきたのできちんと育てないと、というところから子ども関係の方々と出会って、現在、音楽療法をやっています。
このような分析の方法は、高齢者介護など様々なところに共通して適用できる部分があると思うのですが、他の分野で取り組まれていることはありますか？
これは音楽療法で障害を持ったお子さんが対象ですが、「動きを捉えていく」という点で、今度これを健康なお子さんに広げていきたいと考えています。子どもの様子を見守り、正しく捉えるということが重要だと思います。
例えば、音楽療法の先生が、音楽を使って子どもと遊び、触れ合うような教室をされる際、子どもの様子を知る方法の一つとして、この運動解析を使いたいというニーズがあります。また、子どもは何人もいるため全部を見るのは大変なので、一人一人記録しておいて、後からチェックするという場面でも使えたら、という話もしています。
お話を聞いていて、将来的に介護ロボットが実用的になった際、介護を受けている顔の表情や動作をサーバ側に情報として送り、例えばこういう変化が見られた場合は体調が悪いなどといった情報を受け取る。そして、そのロボットが状況を把握し、情報に従って何か対処をするなど、この技術がIoTとインターネットの融合の延長線にあったら、非常に役に立つように思いました。
今オフラインで行っているのは、もともと記録として撮られていたビデオの中で、研究に使用することを許可してくださった患者さんの分を、使わせていただいています。しかし、療法を実施しておられる方にとっては、すぐに結果が出るほうがありがたいのは事実です。録画しながら処理をして、セッションが終わった時に今日の記録としてリアルタイムでグラフなどを出せれば良いのですが、まだそこまでは出来ていないのが現状です。いずれ、ネットワーク越しでも記録や解析ができるようになるでしょう。
研究室の学生は、先生の研究のサポートをされているのでしょうか。もしくは別の研究をしておられるのでしょうか。
この学部では、まず初めに、テーマを出して希望の研究室にいくような形にしています。私のところはKinect、leap motion、画像処理、というキーワードを出していて、興味がある人はどうぞ、と言っていますので、皆その延長で研究テーマを考えています。
研究室に来る学生の人数は年によって異なります。今年は少し多くて7人ですが、少ない年は1人の年もあります。修士課程に進む学生も時々いますが、学部で卒業される方が多いです。博士課程に行く学生は学部全体でも何名かいる程度です。
情報環境学部の3年生には基礎プロジェクトというのがあり、4年生で卒研を行います。基礎プロジェクトは卒研の練習段階になりますので、自分で面白いことを考えてやってみる、という取り組みです。
例えば、Kinectを使って、どのようにリハビリテーション分野で活用できるか、などがあります。ご紹介した運動は障害を持ったお子さんのリハビリテーションですが、健常な大人の場合は体力作りなどの分野になります。
企業など、学校以外との共同研究をされていることも多いですか？
障害児のリハビリテーションは埼玉療育園と共同で行っています。先ほどの体力づくりについては、順天堂大学とのやりとりを初めています。同じ印西市内にあり、産学協同の取り組みの一環になります。
研究室に入ってきた学生へはどのように教えていますか？
現在は、最初にProcessingを使ってもらっています。学部でJAVAを教えているため導入しやすく、デモンストレーションなどが出来て分かりやすいと思います。OpenCVをやりたい場合はC++ですが、Kinectやleap motionについては今のところProcessingで行っています。
研究はチームではなく一人一人別々に行っています。例えば、2人がKinectを扱う場合もテーマを少し変えて各々で研究してもらいます。研究テーマとしては一貫していますので、卒研になると先輩の研究を引き継ぐようなケースもありますが、3年の基礎プロの段階では皆好きにテーマを決めて研究しています。先輩が書いたコードを後輩が参考にすることもありますが、バージョン管理までは行っておらず、みんな一から書き始めてもらいます。
最後に、ご覧の皆さんに一言お願いします。
皆さん、アイデアは沢山出しますが、それをきちんと形にすることが出来ていません。人に見せられるように完成までこぎつけられる人は、実はなかなかいないのです。見せられるレベルのものを作ることで、人に使ってもらえるて、いろいろなフィードバックが得られる事が重要です。
現在ですと、オンラインソフトとして、どこにでもアップロード出来ます。「皆に使ってもらうこと」が大切で、そこまですることで、「自分のプログラムが世の中を変えられる」というところまでいくのではないでしょうか。
