オクルージョン処理を施した ドローンとMRによる都市デジタルツイン＜福田知弘氏＞

オクルージョン処理を施したドローンとMRによる
都市デジタルツイン

2022.06.09

パラメトリック・ボイス　　　　　　　　　　　　　　　　大阪大学　福田知弘

将来の景観をMR（複合現実）で可視化する場合に、ユーザーはマイクロソフトHoloLens（ホ
ロレンズ）などのヘッドマウントディスプレイ（HMD）やMRグラスを装着するか、スマート
フォンやタブレットを持つ必要があります。その結果、HMDやスマートフォンなどのMRデバ
イスとMRユーザーとの物理的な距離は制限されるため、MRデバイスのカメラの視点はMR
ユーザーの行動範囲からの眺めに限定されてしまいます。MRユーザーの視点からだけでなく、
より自由な視点からMR検討できないものでしょうか？
無人航空機（ドローン）の研究開発が進み、多方面での活用が期待されています。ドローンと
MRを統合すれば、過去や未来の風景を上空からの視点でも可視化することができます。地上付
近を飛行すれば、ストリートレベルのMR出力もできます。都市を理解するには、上空からのマ
クロな視点とストリートレベルからのミクロな視点を自由に操作できた方がよい。しかし、MR
ビジュアライゼーションする際に、実世界と3D設計モデルの前後関係が矛盾してしまうオク
ルージョン問題に悩まされます。
都市のデジタルツイン技術は、都市の開発や維持管理に注目され、本格的な活用に向けて検討
が進められています。シンガポールではバーチャルシンガポールプロジェクト、我が国では国
土交通省のPLATEAU（プラトー）が代表的であり、3D都市モデルの整備と活用が行われてい
ます。
筆者らは、3D都市モデルを利用して、ドローンとMRを統合した際のオクルージョン問題を解
決する方法を検討し、実装と実験を行いました。

方法
まず、ドローンが飛行する実世界と同じエリアの3D都市モデルをゲームエンジン上に構築し
ます。3D都市モデルを表現する方法として、CityGML（地理空間データのための標準データ
フォーマット）では5段階の詳細度（LOD: Level of Detail）が設定されています。デジタル
地形モデル（LOD0）、2D建物形状に高さ情報を付与した箱モデル（LOD1）、屋根形状を定
義したモデル（LOD2）、窓やドア等の外構の詳細を定義したモデル（LOD3）、建物内部ま
で定義したモデル（LOD4）です。本稿で扱う、3D都市モデルの情報に基づいてオクルージョ
ンを実現するためには建物の屋根形状が必須であり、LOD2以上が望ましい。さらに、3D設計
モデルを3D都市モデルと同じワールド座標系で配置します。
次に、ドローンの飛行ルートと同じ飛行ルート（仮想カメラの経路）をゲームエンジン（仮想
空間）上に設定します。MR実行時には、ドローンとゲームエンジン上の飛行ルートを同期させ
る必要があります。そして、3D都市モデルを背景ともども単一色（純緑色）に設定します。こ
の単一色の領域は背景領域であり、3D設計モデルのうち、新たな景観として見えてくる部分だ
けを残すことができるため、この領域をドローンのライブ映像と合成することで、オクルー
ジョン問題を解決した未来の都市景観をMR出力することができます（図1）。

実装
上で述べた方法を実装する方法を検討しました。まず、ドローンが提供する特定のSDKとMR
開発環境を統合するのは簡単な作業ではなく、さらに、ドローンごとに開発する必要が生じま
す。また、3D都市モデルが都市デジタルツインとして、広範囲や高性能化していくと、MRシ
ステムは大容量データに対応する必要があるため、MRレンダリングのためには高性能なPCが
必要になります。高性能PCの重量や電源確保、通信環境などの問題により、高性能PCを用い
てMRシステムを屋外で運用することは困難です。
そこで、特定のドローンSDKを使用しない実装方法として、仮想カメラやオンライン会議アプ
リの画面共有機能などの汎用的な技術を利用しました。さらに、3D都市モデルを用いたオク
ルージョン処理付きのMRレンダリングをサーバーPCで行い、建設予定地にあるドローンとそ
のコントローラ、MRデバイスとネットワークで通信することにより、屋外の検討対象地で高
性能PCを置く必要がないようにしました（図2）。

実験
大阪大学吹田キャンパスの敷地に、仮のビル建設プロジェクトを設定しました。ドローンの飛
行ルートを2ルート設定して、それらの飛行ルートからのMR出力がオクルージョン問題に対応
できるかを調べました。吹田キャンパスに実在する3D都市モデルは、ドローンで撮影した大量
の写真からSfM（Structure from Motion）などで作成しました。
結果、オクルージョンの処理精度を、IoU（Intersection over Union．正解領域と予測領域の
積集合を和集合で割り算した値）で評価すると約0.8でした。また、プロタイプシステム全体の
フレームレート（1秒当たりの描画回数）は約30 fpsであり、ドローンのコントローラ（ドロー
ン映像の入力）とMRデバイス（MR合成後の出力）との間の遅延は約3秒でした。

本システムにより、建築・都市の建設プロジェクトに関わるステイクホルダーが、インター
ネットブラウザを介して、オクルージョン処理を施したMRを用いて、建設対象地とその周辺の
空中を含めて自由な視点からプロジェクトの内容を確認できるようになりました。
最後に、この研究成果は、Journal of Computational Design and Engineeringに掲載されま
した *1。