2021.06.03

パラメトリック・ボイス　　　　　　　　　　 　 　 　　　 大阪大学　福田 知弘

拡張現実（AR）・複合現実（MR）は、現実世界に仮想の情報を重ね合わせる技術であり、す
でに普及しています。さらに、将来の景観をAR/MRで正しくビジュアリゼーションするため、
現実世界のモノとBIMで作る仮想モデル（3Dモデル）の前後関係が矛盾してしまうオクルー
ジョン問題の解決や、デザインを根拠にもとづいて説明できるように深層学習を応用していま
す。
 
AR/MRによる将来景観ビジュアリゼーション
将来の景観をビジュアリゼーションする方法として、フォトモンタージュが使われてきました。
近年では、現実世界に3Dモデルをリアルタイム合成する景観AR/MRが使われつつあります。
景観AR/MRは、視点や検討プランを建設予定地で変更したり、環境シミュレーションを重ね合
わせることができるため、関係者にわかりやすく、対話的な検討が可能となります。「動く
フォトモン」ですね。
ただし、景観AR/MRを使える技術的な条件があるため、すべての建設プロジェクトで使うこと
はまだ難しいのです。
 
オクルージョン問題
そのひとつが、オクルージョン問題とよばれるものです。AR/MRでは、現実世界に対して3D
モデルをあとからレンダリングするため、3Dモデルが現実世界のモノよりも奥にあったとし
ても、そのモノに隠されることなくモノの手前に表示されてしまいます。このようなモノと
3Dモデルの前後の関係に矛盾してしまう問題が、オクルージョン問題です。
新しいビルは、現実世界の樹木に隠れて、自然と調和した風景になるように設計しているとし
ます。ところが、AR/MRで描いてみると、樹木の手前にビルがズドーンと表示されてしまいま
す。こんな絵では、クライアントにうまく説明できないですよね。
市街地で建設プロジェクトを行う場合は、このような現実世界と3Dモデルが混ざり合うこと
は当たり前です。なので、オクルージョン問題を解決しなければ、景観AR/MRで正しく表現す
ることはできません。
オクルージョン問題は、机の上などの小さな空間、種類は限られていますが人などのモノ、ビ
ルのような動かない物体に対して解決されてきました。
しかし、まだ不十分です。AR/MR景観ビジュアリゼーションでは大きなスケールの屋外空間
を扱います。そのため、3Dモデルの前景にあるモノとAR/MRカメラとの距離が大きい時や、
オクルージョン処理をしたいモノが移動している時などは対応しきれませんでした。
 
深層学習のセマンティックセグメンテーション
ここで、現実世界の中からモノを抽出する技術に、セマンティックセグメンテーションがあり
ます。「セマンティック」とは「意味の」、「セグメンテーション」とは「分割」という意味
です。すなわち、画像に写っているモノを、「意味」にもとづいて分割する技術です。「意味」
とは、ビル、空、樹木、車道、車線、歩道、フェンス、人、自動車、トラックなどの種類のこ
とです。カテゴリーとも呼ばれます。
現実世界をピクセル単位でカテゴリー別に抽出できるセマンティックセグメンテーションは、
自動運転やスマートシティの分野などで、ものすごい勢いで開発が進められています。
この技術をAR/MRに取り込めば、オクルージョン処理できるのでは、と考えました。
 
デザインを根拠にもとづいて説明
セマンティックセグメンテーションを使うとなると、さらに、樹木と分類されたピクセルを数
えて、画像の全体での割合を求めれば、それは緑視率となります。日ごろ、なんとなく眺めて
いる緑の量を数値にすることができるんです。
実際、建設プロジェクトを進めるにあたり、なんらかの根拠にもとづいた説明が求められるよ
うになっています。数字をつかって、定量的、科学的にプレゼンしないとクライアントや市民
は納得してくれない。エビデンスベースド・デザインとよばれたりします。
セマンティックセグメンテーションを使って、現実世界、すなわち、現状の緑の量を数値化し
て、さらに、樹木の3Dモデルを加えることで、将来の緑の量を数値化することができれば、
ビフォーアフターで緑をどれだけ増やすことができるか、説明しやすくなるでしょう。
 
セマンティックセグメンテーションとAR/MRを統合した将来景観ビジュアリゼーション
セマンティックセグメンテーションとAR/MRを統合した将来景観のビジュアリゼーションシス
テム *1を実装してみました。まず、現場でAR/MRを使うためのモバイル端末と、セマンティッ
クセグメンテーションを処理するデスクトップPCをインターネットでつなぎます。実は、セマ
ンティックセグメンテーションをモバイル端末で行うことも出はじめていますが、まだ、正し
く分割できるほどではないため、今回は、モバイル端末とPCで役割を分担しました。
まず、AR/MRでのオクルージョン処理のフローについて（図2）。
   (1) モバイル端末で現実世界をキャプチャします。
   (2) キャプチャ画像をデスクトップPCに送り、セマンティックセグメンテーションにより、
        フェンス、植栽、建物、空などのカテゴリーに分類します。
   (3) 前景となるカテゴリーは事前定義しておき、マスク処理をおこないます。
   (4) マスク処理されたピクセルを現実世界で上書きして、3D設計モデルとの正確なオクルー
        ジョン処理を実現します。
次に、AR/MRでの緑視率を推定するフローについて。
   (1) モバイル端末で現実世界をキャプチャします。
   (2) キャプチャ画像をデスクトップPCに送り、セマンティックセグメンテーションにより、
        植栽カテゴリーを抽出して、現状の緑視率を計算します。
   (3) AR/MR上で3D植栽モデルを挿入します。
　(4) 3Dモデルを塗りつぶして現状の植栽領域に加え、完成後の緑視率を推定します。
 
メリットと課題
開発した景観AR/MRを使えば、現実世界のモノと3Dモデルとの前後関係が正しく表示された
状態で、プロジェクトの将来景観を建設予定地でじかに検討することができます。さらに、
緑視率など見えがかりの指標について、ビフォーアフターを数値として比べることができます。
事業者、設計者、その他のステイクホルダーは、より具体的でわかりやすくプロジェクトの検
討を行え、スムーズな合意形成につなげることができるでしょう。
課題として、ご紹介した方法では、ビル、樹木、フェンス、建物、自動車などのカテゴリーに
分けることはできますが、さらに、同じカテゴリーにあるオブジェクト同士を分類することは
行えません。例えば、ある自動車と別の自動車の間に、3Dモデルを置くことはできないとい
うことになります。現在、新たなテーマとして取り組んでいます。

　図1　左：現状の映像（ビフォー）、右：3Dモデルをオクルージョン処理したAR/MR
　　　（アフター）

　図2　 AR/MRオクルージョン処理：(1) 現実世界をキャプチャ（ビフォー）。(2) セマン
　　　　ティックセグメンテーションにより植栽（緑）、建物（グレー）、空（水色）の
　　　　カテゴリーに分類。(3) 前景となる樹木のカテゴリーをマスク処理。(4) マスク処
　　　　理されたピクセルは現実世界が描かれ3Dモデルの正しいオクルージョン処理を実現

参考文献
*1　Daiki Kido, Tomohiro Fukuda, Nobuyoshi Yabuki, 2021, Assessing future
landscapes using enhanced mixed reality with semantic segmentation by deep
learning, Advanced Engineering Informatics, Volume 48, 101281,

• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
•