コンピュータとのインタフェースは、キーボード、マウス、タッチパネルという伝統的なデバイスに加えて、最近では音声がかなり大きな比重を占めるようになってきた。機械学習による音声認識率の向上とその簡便性から、恐らくコマンド入力に相当する場面では、今後音声入力が主流になっていくのではないだろうか。

一方、あまり華やかな話題になることは少ないものの、「ジェスチャー認識」というインタフェースも昔から開発が進められてきた。過去の実用的な応用事例としては、スマホで自撮りするときに、ポーズを決めて動きを止めたり、指を特定の形にすればシャッターが切れる、というアプリがあった。これは、スマホのカメラを利用した画像認識であり、特別なハードを必要とすることなく、自撮り棒なしでも机に置いたスマホで離れたところから自撮りができる、というものだが、残念ながらあまり普及していない。

正直、このジェスチャー認識というインタフェースは、あまり注目してこなかったのだが、最近とても面白い技術を目にした。

それは、Wearable Devicesというイスラエルのベンチャーが開発した「Mudra」というデバイスで、リストバンドのように手首に装着する。

デバイスの裏面には複数の電極がついているが、2つの正方形電極が横に並んたものが3箇所にある。これがこのデバイスの鍵となる「SNC（Surface Nervous Conductance）センサー」である。このセンサーが手首の神経の生体信号を検知するのだ。手のレントゲン写真の図で説明する。

図の黄色の線が神経を示しており、手首から指先まで多数の神経がまさにネットワークのように示されている。神経は、Ulnar narve（尺骨神経）、Median narve（正中神経）、Radial narve（橈骨神経）の3つに分類されるという。これらが手や指の動作をコントロールしている。

Mudraのバンドを手に巻くと、図の赤丸で示された箇所にSNCセンサーが位置し、指を動かすための脳からの司令となる生体信号がそれぞれの神経を通るときの電気伝導を検知する。これは特許取得済の技術だそうである。ちなみに、親指を動かしたときの、各センサーで検知した信号の例が、次の図で示されている。a、b、cがそれぞれ3組のSNCセンサーに対応する。

また、このデバイスにはジャイロスコープと加速度検出器が組み込まれており、これら全体で手や指の動きを検知し、指を曲げたり手を動かすジェスチャーを様々なコマンドに対応させることができる。この原理と動作を説明したYouTubeビデオがあるので、こちらから見てほしい。

・Mudra Inspire - How the SNC Electrodes Create Biopotential Signals [Technology Review]

ジェスチャー認識の場合は、動作を検知するためのカメラなりセンサーデバイスが必要だが、Mudraは非常にシンプルなリストバンドである。このため、両手がフリーになり、多様なコマンドを再現できるところに応用の可能性が感じられる。デバイスのコストも高くはない。

Wearable Devicesでは、ARやVRへの応用を考えているようだ。また、Samsung GearとApple WatchにMudraのストラップを組み合わせて、タッチレスで操作できるスマートウオッチも開発しており、今年中にはローンチ予定とのことだ。

・Mudra Inspire - Smartwatch same hand operation [teaser]

4月4日に東京で開催されたみずほ総研主催のセミナーで、実際にCEOによるデモを見たのだが、面白かったのは、Mudraを装着した人の手や指を他人が動かしても何も起こらない、という点である。あくまで、装着した人が指を動かそうと「意図」したときに神経に流れる信号を検知するので、他人に指を動かされても神経の中に信号は流れない。ジェスチャー認識ではあるが、脳科学の要素も含まれている。「意図」という他人にハッキングされることのない信号のインタフェース、という意味でも大変興味深い。