MR

複合現実(ふくごうげんじつ、英: Mixed Reality、MR)とは、現実空間と仮想空間を混合し、現実のモノと仮想的なモノがリアルタイムで影響しあう新たな空間を構築する技術全般を指す。ミクスト・リアリティ[注 1]、複合現実感とも。拡張現実 (AR) と拡張仮想 (AV) を包含する概念である。

空間的整合性、時間的整合性、光学的整合性など実空間と合致させる要素によって、その性質が評価される。

拡張現実(かくちょうげんじつ、英: Augmented Reality、オーグメンティッド・リアリティ、AR)とは、人が知覚する現実環境をコンピュータにより拡張する技術、およびコンピュータにより拡張された現実環境そのものを指す言葉。

英語の Augmented Reality の日本語訳であるため、それを日本語発音した「オーグメンティッド・リアリティ」や省略形のARも用いられる。また、拡張現実感(かくちょうげんじつかん)、強化現実(きょうかげんじつ)、増強現実(ぞうきょうげんじつ)とも言う。似た言葉に複合現実 (MR) がある。

拡張現実は仮想現実(バーチャルリアリティ = VR)の変種であり、その時周囲を取り巻く現実環境に情報を付加・削除・強調・減衰させ、文字通り人間から見た現実世界を拡張するものを指す[1]。 バーチャルリアリティが人工的に構築された現実感と現実を差し替えるのに対し、拡張現実は現実の一部を改変する技術である。例えばバーチャルリアリティでは、仮想の部屋に居て、仮想のテーブルに置かれた仮想のティーポットを見ているかのような五感情報を人に提示するのに対し、拡張現実では人が実際に居る現実の部屋のテーブルの上に、仮想のティーポットが置かれているかのような情報提示を行う。コンピュータ情報を付加して現実の情報を実態よりも強化・増強して人間に提供することから強化現実・増強現実と呼ばれることもある。現実環境を情報ソースとして用いることから必然的にリアルタイム処理を必要とする場合が多い。技術課題としてはバーチャルリアリティでのそれに加えて、仮想物体と現実環境・物体との相互作用、例えば視覚要素では照明、影、接触、隠蔽などを解決することが特に課題になる。

コンピュータが現実を拡張する手段としては、視覚・聴覚・触覚など、人のすべての感覚器官と体性感覚に対する情報提示が試みられている。バーチャルリアリティでは、人に提示する仮想物体のリアリティが重視されるのに対して、拡張現実では、現実世界の位置や物体などのコンテクストとの関連性も重視される。後者に重きを置いたシステムでは、例えば場所や物の説明を文字や音声で行うなど、現実を拡張する手段として単純な情報提示手法が用いられることもある。

多くのシステムでは、情報の提示や取得に、バーチャルリアリティで広く利用されているデバイス、もしくは技術が利用される。例えば、視覚情報提示には主にヘッドマウンテッドディスプレイが利用される。しかし、現実環境における作業を支援する意図から、携帯電話等の小型情報端末の画面を用いた提示も検討されている。

提示される環境の主体が現実環境であることから、現実環境における作業支援がその応用分野として期待されている。例えば、道案内情報の提供、航空機やコピー機のメンテナンスを行う技術者に対する技術情報提供、医療分野における手術支援[2]に向けた情報提示などの応用研究が行われている。

一般消費者向けのサービスを作るためによく行われている手法に、ARToolKitなどの画像認識ルーチンを利用して、2次元コードパターンや静止画など(「ARマーカー」などと呼ばれる)をデジタルカメラで撮影すると、それをマーカーとして映像にマッチムーブした3DCGアニメーションがリアルタイムで合成表示されたり、静止画に合ったコンテンツが表示される物がある。

以前からAH-64 アパッチには暗視装置の画像を表示するAN/AAQ-11が搭載されていた。

軍事演習のために拡張現実を利用したXARMEXというシステムが開発中[18]。

ヘッドマウントディスプレイ(英語: Head Mounted Display、略称: HMD、頭部装着ディスプレイ)は、頭部に装着するディスプレイ装置のことである。ウェアラブルコンピュータの一つ。スマートグラスとも呼ばれる。

両眼・単眼に大別され、目を完全に覆う「非透過型」や「透過型」といったタイプがある。3D/2Dにも分類できる。

虚像投影
ハーフミラーなどを利用することにより虚像を形成し、映像を観察できるようにするもの。
網膜投影
目の水晶体を利用して網膜に直接結像させるもの。利用者が近視や遠視などでも鮮明な像を見ることができる。ただ、眼球運動に左右されるため実装が非常に難しい。