ドローンとMR技術による未来の景観体験＜福田知弘氏＞

ドローンとMR技術による未来の景観体験

2024.10.03

パラメトリック・ボイス　　　　　　　　　　　　　　　　大阪大学　福田知弘

2つの自己位置推定法で実現する自由視点の景観シミュレーション
現実の風景に3D設計モデル（仮想モデル）を重ねて、将来の景観を体験できるMR（複合現
実）の技術では、通常、ユーザはヘッドマウントディスプレイ（HMD）というゴーグルのよ
うなデバイスを装着したり、スマートフォンやタブレットなどを使います。この場合、MRの
体験は、ユーザがデバイスを通じて見える範囲、つまりユーザの近くに限られてしまうこと
が多いです。
この課題を解決するために、ドローンを使ってMR技術を拡張することで、ユーザがより広い
視点で景観を楽しむことができるようになります。これにより、都市計画やインフラの整備、
災害対応や人道支援、文化財の保護、観光、さらには環境保全など、さまざまな社会的な課題
に役立つ可能性があります。
本研究では、ドローンが任意のルートを飛行しながら、現実の風景と仮想モデルを正確に重ね
合わせるシステムを開発しました。このシステムは、2つのビジュアルベースの位置推定技術
を組み合わせています。1つはVPS（ビジュアルポジショニングシステム）という技術を使い、
カメラ画像からドローンの位置や向きを推定する方法です。もう1つは、風景にある特徴を
使ってカメラの動きを追跡する方法（自然特徴ベースのトラッキング法）です。

ドローン視点のMR技術とその課題
本研究では、ユーザが自由に操縦するドローンの位置を正確に把握し、その動きと仮想世界の
動きを一致させること（位置合わせ）を目指しています。
最近では、ドローンとMR技術の組み合わせがさまざまな分野で注目されており、いくつかの
応用例もすでに提案されています。特に、都市や建物などの大きな空間をシミュレーションす
る際には、ユーザの動きに制限されないドローン視点のMRによる可視化が非常に役立ちます。
しかし、現在のところ、こうした技術を使う場合、特別なドローンや専用のソフトウェアが必
要であることが多く、汎用性が低くなり、使える場面が限られてしまうという課題がありま
す。
この問題に対して、過去の研究*1では、画面共有やストリーミング配信といった汎用的な技
術を使って、市販のドローンとMRを統合する方法が提案されました。しかし、この方法では、
ドローンの飛行ルートをあらかじめ決めておく必要があり、MRの実行中にルートを変更でき
ないという制約がありました。

提案システムの概要と精度の評価
図1に、この研究で提案するシステムの概要を示しています。従来の研究*1と同様に、ドロー
ンの映像（現実世界）をゲームエンジンに取り込み、仮想世界の映像と重ね合わせて表示しま
す。表示されたMRの映像は、ストリーミングでユーザに配信されます。本研究では、現実世
界と仮想世界の映像を正確に重ねるために、（iii）（iv）に示すようにVPSと自然特徴ベース
のトラッキングを組み合わせています。
これらのビジョンベースの技術は、GPSのような特別なセンサを使わず、一般的なドローンに
搭載されているカメラの画像と内部パラメータのみを利用するため、特別な機体や専用のソフ
トウェアを使わずに実装が可能です。
図2はゲームエンジンに定義したモデルを示しており、図3では、提案するシステムと従来の
システムで、MRを行った際の位置合わせの精度を比較しています。各行において、赤い領域
が左の図（正解）に近いほど、精度が高いことを示しています。中列が提案システム、右列
が従来システム*1の結果です。また、図4では「IoU（Intersection over Union）」という
指標を用いて、これを定量的に評価した結果をグラフ化しています。IoUは0から1の値をと
り、1に近いほど精度が高いことを意味します。
これらの結果から、提案システムは従来のシステム*1よりも高精度な位置合わせができるこ
とが確認されました。さらに、従来システムでは時間の経過とともに精度が低下する傾向が見
られましたが、提案システムでは安定した高精度が維持されました。このシステムを使えば、
ドローンがどのようなルートを飛んでも、高い精度でMRが実行できるようになると考えられ
ます。