本学の注目研究を毎月1つずつ紹介します。
【2022年12月】
映像+ロボットで離れた場所にいる人との空間共有感を生み出す
(情報工学・人間科学系 田中一晶 准教授) ※
研究者総覧
※研究者紹介ハンドブック
※紹介動画(You Tubeが開きます)
※最新の注目研究や他のバックナンバーはこちら
映像+ロボットで離れた場所にいる人との空間共有感を生み出す
遠隔コミュニケーションやメタバースなど、人々のコミュニケーションの場は対面にとどまらずICTによって広がっています。私はそのようなメディアを介したコミュニケーションにおいて相手と同じ空間にいる感覚(空間共有感)を生み出す研究に取り組んできました。
空間共有感を生み出す基本的なアプローチは、高解像度の大型ディスプレイに相手を等身大で表示することですが、4Kや8Kを超える高解像度の映像表示が可能になったとしても、人の目ではその高精細さの違いを認識しにくくなるためこのアプローチには既に限界がきていると言えます。これに対し、相手を映像ではなく人型ロボットで提示するアプローチも提案されており、ロボットが物理的に同じ空間に存在することで高い空間共有感が得られます。しかしながら、現在の技術では表情等の細かな動きをロボットで忠実に再現することは困難であり、相手の姿や表情をリアルに再現できない場合はビデオ通話に劣ってしまいます[1]。
そこで、我々の研究では、相手の映像とロボットを組み合わせるアプローチをとっています。例えば、手の部分のみをロボットハンドで再現してビデオ通話と組み合わせることで、相手の姿を見ながらロボットハンドを介して手を繋ぐなどの身体接触を行うことができます(図1)。このようなシステムにおいて、より高い空間共有感を生み出すために、相手の映像とロボットハンドを組み合わせるインタフェースのデザイン、ロボットハンドで再現する手の触感のリアリティを高める技術について研究開発を続けています。
図1 等身大のビデオ通話と
身体接触用ロボットハンドとの組み合わせ
における位置的・寸法的一貫性
相手の映像とロボットハンドを組み合わせるインタフェースデザイン
等身大映像のビデオ通話とロボットハンドを組み合わせるインタフェースのデザインとして、図1のように映像上の腕の位置と一貫した位置にロボットハンドを設置することが空間共有感や社会的結合(相手に対する親しみ)を高める上で有効であることが分かりました[2]。また、ロボットハンドは相手の手の代替として機能するため等身大であり、等身大表示の映像と寸法的にも一貫しています。これらの一貫性をそれぞれ位置的一貫性、寸法的一貫性と呼びます。
しかしながら、日常的に等身大映像でビデオ通話を行うことはほとんどなく、むしろスマホのような小さな画面でビデオ通話を行う機会の方が多いです。そこで、縮小表示されたビデオ通話であってもロボットハンドを組み合わせて身体接触を再現することが有効に働くか検証しました[3]。
図2に示すように、スマホとロボットハンドを組み合わせるデザインとして、次の2つが考えられます:
a)分離型:スマホを右手で操作し左手でロボットハンドを握るデザイン、
b)結合型:ロボットハンドをスマホケースのように取り付けて右手で握るデザイン。
分離型では、Bluetooth等の無線通信規格でロボットハンドをコントロールすれば良いため、スマホの形状に依存せずに身体接触の機能を付与できます。しかしながら、相手映像とは向かい合っているが、ロボットハンドの位置的には隣にいる相手と手を繋いている状態となり、位置的な矛盾が生じます。これを位置的矛盾と呼びます。一方、結合型では、相手と向かい合って手を繋いでいる状態に近くなり位置的一貫性があります。しかしながら、ロボットハンドをスマホに取り付ける必要があるため、スマホの形状に合わせて接続部を設計する必要があります。また、いずれのデザインも相手映像を縮小表示せざるを得ないため寸法的な矛盾が生じてしまいます。これを寸法的矛盾と呼びます。
これらのデザインと、スマホでの通常のビデオ通話とを比較した結果、位置的・寸法的矛盾があっても身体接触の再現は空間共有感を強化することが分かりました。この実験は、実験者と参加者が手を繋ぎながら会話する状況をシミュレートしたものであり、会話の中で感情的な発話を行う部分では、実験者は手をぎゅっと強く握る操作を行いました。この会話の流れとロボットハンドの動きの同期性によって相手に手を握られている感覚が生じ、いずれのデザインにおいても空間共有感が強化されたと考えられます。しかしながら、社会的結合においては位置的矛盾が悪影響であることが示唆されました。社会的結合の強化は視覚的に相手の手を握っていると意識することが関係しており、相手映像とロボットハンドとが同時に視界に入る結合型が有効に働いたと考えられます。
図2 スマホでのビデオ通話と身体接触用ロボットハンドの組み合わせにおける位置的・寸法的矛盾
この結果から、触覚(動きを含む)や視覚表現によってロボットハンドを相手の手として認識する信念によって手を握り合っている感覚が生じ、空間共有感や社会的結合が高まると考えました。その観点から、図1や図2のデザインの問題点として相手映像を2次元的に表示するディスプレイと、実空間に3次元的に存在するロボットハンドとの間に明確な境界が存在することが挙げられます。この境界を取り除き、相手映像とロボットハンドを一体化できれば、ロボットハンドを相手の手と認識する信念形成が促進され、身体接触の再現はより有効に働く可能性があります。そこで、VRヘッドセットで相手を仮想空間に表示し、その手と実空間のロボットハンドとを重ね合わせるインタフェースを開発しました(図3)。
現在はこのインタフェースの効果を検証中です。相手の姿として3DCGのキャラクタを使用しているのは、実際の人の映像を使って3DCGのアバタを構成するとどうしても不自然さが生じてしまうためです。その自然さを高める技術が数多く研究されており、将来的にはメタバースのような仮想空間で相手と実際の姿で会話することが可能になるでしょう。そのようなリアルな外見のアバタと身体接触の再現との相互作用により空間共有感がより高まることが期待できます。
図3 仮想空間のキャラクタの手と
実空間のロボットハンドの重畳
ロボットハンドの触感のリアリティを高める技術開発
相手映像とロボットハンドの間の境界は視覚だけでなく触覚においても存在します。ロボットハンドの触感のリアリティが不足していると、相手の実際の映像と組み合わせた場合に相手の手であると感じにくくなってしまいます。上述の実験で使用したロボットハンドは、指の動き、体温、柔軟性を再現するために図4のような構造になっています。
指の動き:アルミ製の骨格に通したワイヤをサーボモータで引っ張ったり緩めたりすることで指が屈曲伸展。
体温:骨格に沿うようにコード状のヒータを配置することで再現。
柔軟性:ウレタンゲル素材で表面を覆うことで再現。
現在はこのロボットハンドの触感のリアリティをさらに高めるための技術開発を行っています。
図4 身体接触用ロボットハンドの基本構造とその改良
指の動きの制御には屈曲と伸展に対応する2本のワイヤを使用していますが、1本の指には3つの関節があるため、屈曲伸展する順序が不自然になる場合があります。そこで、関節ごとに弾性が異なるバネを配置し屈曲伸展の順序を規定する構造を開発しました(図4左下)。このバネはワイヤの通り道としても機能するため、指のスリムな関節に収めることが可能です(特願2021-033983)。その他、アクチュエータ数を増加させることなく指の間隔を開閉する動きを再現できるMP関節構造や(図4中下、特願2021-197422)、手の柔軟性を高めるCM関節構造を開発しました(図4右下、特願2022-083635)。これらの構造は人間の手の骨格サイズで実装可能であり、皮膚素材で被覆する際に手の自然な形状に成形することができます。これらの構造によって手の触感のリアリティが向上し、上述のインタフェースにおいてロボットハンドを相手の手であるとより感じやすくなるか検証する必要があります。また、皮膚の質感の再現など今後も技術開発を継続的に進めていきたいと考えています。
【主な発表論文・関連特許】
- [1] Kazuaki Tanaka, Hideyuki Nakanishi and Hiroshi Ishiguro, Physical Embodiment Can Produce Robot Operator’s Pseudo Presence, Frontiers in ICT, Vol.2, No.8, 2015.
https://doi.org/10.3389/fict.2015.00008(フリーアクセス)
- [2] Hideyuki Nakanishi, Kazuaki Tanaka, Yuya Wada, Remote Handshaking: Touch Enhances Video-Mediated Social Telepresence, Proc. CHI2014, pp.2143-2152, 2014.
https://doi.org/10.1145/2556288.2557169(フリーアクセス)
- [3] Kazuaki Tanaka, Reo Mayuzumi, Tomomi Takahashi, Sho Takaki, Natsuki Oka, Robot Mediated Handholding Combined with a Mobile Video Call Makes the Users Feel Nearer and Closer, Proc. HAI2021, pp.3-12, 2021.
https://doi.org/10.1145/3472307.3484168(フリーアクセス)
※最新の注目研究や他のバックナンバーはこちら