映像世界に触れる技術

本文へスキップ

RESEARCH THEME 03

映像世界に
触れる技術

Tangible & Aerial Displays

映像を、手の届く世界へ

研究のストーリーを読む
手で持った猫の模型に色や模様を投影している様子
TANGIBLE PROJECTION MAPPING実物の手応えと、映像によって変わる見た目を組み合わせる
PROJECTION × LIGHT FIELD × POLARIZATION

OUR VISION

見る映像から、
関わる映像へ

目の前にあり、手を伸ばしたくなる映像

映像のリアリティは、見た目の精細さだけで決まるのでしょうか。実物を手に取るように動かせること、空間の中に立体像が浮かんで見えること、手前から奥まで形が鮮明に伝わること。私たちは、こうした体験から次世代の映像提示を考えています。

動く物体の見た目を書き換えるプロジェクションマッピングと、裸眼で観察できる立体映像、そして光の使い方を工夫するディスプレイ。触れる体験と、そこに存在するように見せる技術の両面から、映像との自然な対話を目指します。

01 / TANGIBLE手に取って動かす実物の動きに映像を重ねる
02 / AERIAL空間に浮かべる裸眼で立体像を眺める
03 / DEPTH奥行きを広げる手前から奥まで鮮明に見せる

01 TANGIBLE PROJECTION

映像を、
手に取って動かす

動的プロジェクションマッピングによる触れる映像体験

持ち上げても、回しても、見た目がついてくる

手に持った模型の色や模様を、投影する映像によって変える。物体の動きに合わせて映像を更新することで、実物の形や手応えと、自在に変えられる見た目を組み合わせます。

そのために必要なのが、動く物体の位置と姿勢を捉え続ける技術です。あらかじめ用意した3Dモデルと、赤外カメラで得られる輪郭を対応させ、物体の動きを追跡します。

動的投影 / 輪郭追跡 / 実物とのインタラクション
FIG. 01A / INTERACTION IN MOTION手に持った物体の動きに追従するプロジェクションマッピング。20秒のデモ映像。
模型、輪郭の対応点、および手で動かす模型への投影結果
FIG. 01B / CONTOUR-BASED TRACKING輪郭の対応点と、手で保持した物体への投影結果。青い点は追跡に用いる対応点を示す。

ROBUST TRACKING

手で隠れても、動きを捉える

物体をつかむと、その輪郭の一部は手に隠れます。見えている輪郭から信頼できる対応点を選び、追跡を続ける方法を研究しています。

さらに、2視点の輪郭情報を組み合わせることで、1台のカメラでは判断しにくい動きや、手による遮蔽に対して、より頑健な物体追跡を目指しています。

02 AERIAL STEREOSCOPY

空中に浮かぶ立体像を、
周囲から見る

指向性ディスプレイによる裸眼立体映像提示

特別な眼鏡をかけずに、目の前の立体像を眺める

見る位置を変えると、立体物のように異なる側面が見えてくる。現実の空間に自然に溶け込む立体映像の実現を目指しています。

その基盤となるのが、光を届ける方向を制御する「指向性ディスプレイ」です。左右の眼に向けた映像と光の方向を高速に切り替え、映像の解像度を保ちながら裸眼での立体視を実現します。

曲面反射板を介して、複数の方向から立体像を見る構想図
FIG. 02A / CONCEPT指向性ディスプレイと曲面反射板による全周囲裸眼立体映像提示の構想。
従来方式と提案方式によって提示した塔の映像の比較
FIG. 02B / EXPERIMENTAL RESULT立体映像の解像感の比較。左:従来方式、右:提案方式。論文掲載の撮影結果。

FROM DIRECTIONAL LIGHT TO FLOATING IMAGES

鮮明な像を、空間の中へ

指向性ディスプレイと透明な反射板を組み合わせ、映像が空中に浮かんで見える仕組みを研究しています。観察位置に応じて光を届ける方向を制御し、自然な立体像の提示につなげます。

試作実験では、観察位置に応じた左右の映像の分離と、高解像度の提示を検証しました。反射面の形状を工夫し、全周囲から眺められる映像環境へと発展させていきます。

03 EXTENDING THE DEPTH RANGE

手前から奥まで、
鮮明な立体像へ

液晶ディスプレイの構造を生かした奥行き再現範囲の拡張

光を生かして、もう一つの画面をつくる

ライトフィールドディスプレイでは、像を提示する位置が基準となる面から離れるほど、輪郭がぼやけてしまいます。豊かな奥行きを表現するには、鮮明に再現できる範囲を広げる必要があります。

私たちは、液晶ディスプレイの偏光板を反射型に置き換え、ミラーと組み合わせる構造を提案しています。反射光によって、実際の画面とは異なる奥行きに疑似的な画面をつくり、それぞれの奥行き再現範囲を組み合わせます。

実ディスプレイと疑似ディスプレイの奥行き再現範囲を組み合わせる原理図
FIG. 03A / DEPTH EXTENSION疑似的なディスプレイを利用した奥行き再現範囲の拡張。
79→152mm

奥行き再現範囲を、約1.9倍へ

試作構成における奥行き再現範囲。装置の構成に基づく範囲の算出と、異なる深度に置いた文字の撮影比較により検証しています。

CLARITY ACROSS DEPTH

奥に置いた文字も、輪郭を保つ

実ライトフィールドディスプレイの奥に疑似ライトフィールドディスプレイを重ねた構成と、観察者からの距離が異なる位置に配置したU・E・Cの関係を示す図
FIG. 03B / IMAGE POSITIONS実ライトフィールドディスプレイと疑似ライトフィールドディスプレイを組み合わせ、奥行き再現範囲を152mmに拡大。手前から奥へ「U」「E」「C」を配置し、Cは従来構成では再現範囲外となる位置。図中の距離は観察位置からの距離。
従来構成と提案構成で、U・E・Cそれぞれの位置に焦点を合わせて撮影した表示結果の比較表
FIG. 03C / FOCUS COMPARISON上段:従来構成、下段:提案構成。左からU、E、Cの位置に焦点を合わせて撮影。最右列では、奥側のCの鮮明さを比較する。奥行き再現範囲外のCに対して、提案手法では鮮明さを保った提示が実現されている。

TOWARD NATURAL INTERACTION

そこにあるように見え、
自然に関われる映像へ

実物の動きに映像を重ねる技術。空間に立体像を浮かべる技術。
そして、手前から奥まで鮮明に表現する技術。

それぞれの研究を重ね、手を伸ばして働きかけたくなる、
次世代の映像体験を目指します。

ページの先頭へ