Home › Optical Imaging and Display › Research › ホログラフィーによる３Dディスプレイ › 「立体像に触る」ユーザインタフェース

Japanese / English

「立体像に触る」ユーザインタフェース

光線再生（ライトフィールド）方式やホログラフィー方式による3Dディスプレイは、実像または虚像として立体像を再現し、人間の視覚の奥行き手がかりを全て満たす自然な立体像表示を可能にする。このような3Dディスプレイの応用の一つとして、3Dユーザインタフェースが挙げられる。再現された立体像に対してユーザが直接操作し、対話することができれば、豊かで魅力的な体験を提供する次世代インタフェース方式として有望と考えられる。
 
素の指や手による3Dインタフェース[1-5]は、ユーザがデバイスを着用する必要がないため触覚フィードバックは困難であるものの応用範囲は広い。近年、様々なジェスチャ認識システムが開発され、コンピュータやゲームのためのインタフェースに適用されている[1]。これらは3Dインタフェースとして新たな応用展開が期待されるものであるが、2Dのタッチパネルとは異なり、表示されているコンテンツとユーザの操作は異なる空間で行われる。これに対して、3Dディスプレイや空中像表示と3Dジェスチャ認識技術を組み合わせることで、表示像に対して直接的に操作を行う3Dインタフェースを実現できる[3-5]。特に、3Dディスプレイと3Dインタフェースの統合[4,5]により、立体像に基づく直感的かつ直接的なインタラクションが可能になる（図１）。また画面に触れる必要のないインタフェースは、画面や指を汚さないために、不特定多数の利用者が使用する端末や作業中の機器操作などの用途に好適である。
 

  図１　「立体像に触る」ユーザインタフェース

 
これまでに開発されている3Dインタフェースシステムでは、ステレオカメラ[2]または赤外線3Dセンサなどの付加的な装置を用いて3Dオブジェクトを検出する必要がある[1,3,5]。そのため、立体像に直接触るようなユーザインタフェースを実現するには、3Dセンサによる３次元空間と再生された立体像の３次元空間の間の位置合わせが必要である。位置誤差が存在する場合、ユーザにとって不快なストレスの多いインタフェースとなる。また指や手の３次元形状・動きを高速に取得し解析する必要があるため、手の形状モデルなどを用いた高度な認識処理が必要になる。
 
本研究では、3Dディスプレイにより再生された実像に指で触れた際に生じる散乱光を検出することにより3Dユーザインタフェースを実現する手法を提案する[6]。ここで用いる3Dディスプレイは、ホログラムスクリーン[7]とプロジェクタを使用して、物体からの光線を再現する方式である[8,9]。指からの散乱光は、ホログラム·スクリーンの後ろに設置したカラーカメラにより検出される。本方式では、立体像への接触を直接検出するので、３次元空間の位置ずれのエラーが生じない。また、色情報を利用することにより、比較的少ない計算量で様々な動作を識別することが可能である。このため、提案手法により、付加的な装置を使用せずに快適で直感的な3Dインタフェースを実現することができる。なお今回はホログラムスクリーンを用いた方式の3Dディスプレイを用いているが、本手法は、光線再生式・ホログラフィー方式などの他の3Dディスプレイに適用することも可能である。
図２及び図３に実験の様子を示す。図２は単色（赤）のホログラムスクリーンを用いた例であり、左側の写真では、文字「T」がスクリーンの手前の36mmの位置に再生されている。図２の右の写真では文字「T」の再生像に指先が触れることによって「OK」の文字が表示されている。図３(b)では、指先が再生された実像に触れることによって明るくなっていることが確認できる。図３は色情報の使用例を示している。文字「Y」と「N」は、それぞれ緑色と青色で表示されており、カメラによって検出された光の色を用いて指先が触れたボタンを識別する。この例では、緑色が検出されたとき「YES」青色が検出されたとき「NO」と表示している。
 

図２　実験の様子（単色）
図３　実験の様子（カラー）
ホログラムスクリーンを用いたライトフィールド ３D表示のための幾何学的歪パラメータ自動取得[7]
３Dタッチ・インターフェース実験の様子
３Dタッチ・インターフェース実験の様子（カラー） 

参考文献

[1] http://www.leapmotion.com/ 
[2] A. D. Wilson, “TouchLight: An Imaging Touch Screen and Display for Gesture-Based Interaction,” Proc. ICMI ’04: 6th international conference on Multimodal interfaces, 69-76 (2004)
[3] G. Z. Wang, Y. P. Huang, and T. S. Chang, “Bare finger 3D air-touch system with embedded multiwavelength optical sensor arrays for mobile 3D displays,” Journal of the SID, 21, 9, 381–388 (2013).
[4] http://holotouch.com/
[5] M. Yamaguchi, T. Koyama, N. Ohyama, and T. Honda, “A stereographic display using reflection holographic screen,” Optical Review, 1, 2, 191-194 (1994).
[6] K. Hong, J. Yeom, G. Jang, J. Hong, and B. Lee, “Full-color lens-array holographic optical element for three-dimensional optical see-through augmented reality,” Opt. Lett., 39, 1, 127-130 (2014).
[7] R. Higashida and M. Yamaguchi, “Automatic geometric calibration in full-parallax 3 display using holographic screen,” Proc. IDW’14, 3Dp1-3 (2014)
[8] M. Yamaguchi, “Holographic 3D Touch Sensing Display,” in Digital Holography and 3-D Imaging Meeting, OSA Technical Digest, paper DM3A.1 (2015).
[9] M. Yamaguchi, N. Ohyama, and T. Honda, “Holographic three-dimensional printer : new method,” Appl. Opt., 31, 2, 217-222 (1992)
[10] M. Takano, H. Shigeta, T. Nishihara, M. Yamaguchi, S. Takahashi, N. Ohyama, A. Kobayashi and F. Iwata “Full-color holographic 3D printer,” Proc. SPIE, 5005, 126-136 (2003)
 

発表文献

謝辞

本研究はJSPS科研費 15K04691 の助成を受けて行われています。