2021.03.23

パラメトリック・ボイス　　　　　　　　　　 　 　 　　　 大阪大学　福田 知弘

はじめに
1月に初アップした「3Dモデルを用いたAI学習用サンプル自動生成」はいかがでしたか？お読
みいただき、ありがとうございます。
今回は、将来景観の可視化、いわゆる、景観シミュレーションのためのDR技術にAIを合体する
と何ができるのか、ご紹介させて頂きます。
 
隠消現実
私たちが暮らすストック型社会では、建造物を整備する際、現状に「足し算」するだけでなく
「引き算」することが増えてきた。倉敷駅の減築や廃墟ビルの公園整備などは引き算の例だ。
拡張現実（AR: Augmented Reality）や複合現実（MR: Mixed Reality）は、現実世界に仮想
の情報を重ね合わせる技術であり、現場で未来の姿を直接検討できることから普及が進んでい
る。これに対して、現実世界にあるものを仮想的に消し去る隠消現実（DR: Diminished
Reality）という技術がある。減損現実とも呼ばれる。
建築・都市分野のDRは、古くなった建造物を仮想除去して、解体撤去した後の景観をシミュ
レーションすることなどに使われている。将来景観のフォトモンタージュを作成するために、
撮影した写真から建造物や電線などを画像処理ソフトで消したりしているが、DRでは「引き算
のフォトモン」をリアルタイムに自動生成する。
建造物をDRで解体撤去してから、新しい設計モデルをARで挿入すれば、建て替えの景観シミュ
レーションもできる。
 
動かない物体をDR
筆者らはまず、建造物など動かない物体を除去するDR景観シミュレーションに取り組んだ。
準備段階では、除去する建造物（除去モデル）と、その建造物を除去すると見えてくる背
景（隠れた背景：隠背景モデル）の3次元モデルを作成しておく。作り方は、現地で写真を大量
に撮影して、SfM（Structure from Motion）アプリで、写真の特徴量を基に点群を生成する。
さらにテクスチャ付きのメッシュとなり、3次元モデルは完成する。
次に、その3次元モデルをゲームエンジン上に正しい位置関係で配置する。除去モデルは、バー
チャルスタジオでクロマキー合成するように、現実に存在しない純色の緑（純緑）としておく。
シミュレーション本番では、ウェブカメラで取り込むライブ映像と、同じカメラ位置から除去
モデルと隠背景モデルをレンダリングしたCG画像を重ね合わせる。この際、純緑のピクセルは
透過させることで除去モデルは描かれず、隠背景モデルが描かれる（マスク処理）。
この結果、動かない物体はまるで除去されたかのようにレンダリングされる。ライブ映像とCG
の境界が不自然に見える場合は、ブラー処理をかけておく。
建造物などの動かない物体を仮想除去して「引き算」の景観をシミュレーションすることは
この方法でできる。
 
動く物体をDR
しかしながら、この方法だけでは移動する物体の除去ができない。歩行者や走行する自動車、
風になびく樹木はシミュレーション本番中に移動するし、落葉樹は準備段階と本番で表情が変
化してしまう。事前に3次元モデルを準備しても本番で役に立たないのである。
これでは不自然である。建造物を除去した風景に人や自動車などが取り残されてしまう。橋を
除き去ったとしても橋の上を歩く人や自動車はまだアクティブ状態で空中を動いているのであ
る。
そこで、AIのディープラーニング技術をDRと合体させてみた。ディープラーニングを使えば、
動画の中から動く物体をリアルタイムに検出できる。うまく検出できれば、動かない物体のよ
うにマスク処理で除去できそうである。
 
AI+DRプロトタイプ　
今回開発した方法では、ディープラーニングによってリアルタイムに検出した人や自動車など
の物体にマスク処理を行うことで、動く物体を除去する *1。
物体検出を行うディープラーニングの計算モデル（ディープニューラルネットワーク：DNN）
は、MobileNetSSDを用いた。これは、入力された画像から物体のバウンディングボック
ス（オブジェクトを囲む境界線）とカテゴリ（人や自動車など）を検出する。
DRはリアルタイム処理が要求され、景観シミュレーションはモバイル環境での利用が想定さ
れる。そのため、高速処理が可能なMobileNetSSDを選んだ。
 
AI+DR景観シミュレーション
大阪大学 吹田キャンパスでAI+DR景観シミュレーションしてみた。動かない除去モデルはレ
ストランが入るガラス張りのビル、動く物体は歩行者とした。隠背景モデルとなるビルはSfM
で作成した。AI+DRで、引き算の将来景観を可視化することができた（図1、２）。
歩行者は、カメラ近傍では問題なく除去できた。一方で、カメラから離れていき、画面の中
で小さくなると検出精度は下がった。画面中に占める割合が0.5%となる、カメラから30mほ
ど離れた地点が検出限界であった。
この技術を用いることで、建造物の建て替えなどの際に、人や自動車が取り残されることなく、
より正確な景観の可視化が行えるようになる。事業主や利害関係者が現地で計画設計内容を
チェックすることだけでなく、国や自治体が行う景観デザイン会議や環境アセスメントなどで
も役立つのかな、と考えている。

　図１ 除去前の画像
　　　 ※上記の画像、キャプションをクリックするとDR動画がアップされているYouTubeへ
　　　　 リンクします。

　図２ 除去後の画像。中央の建物だけでなく、右端の歩行者もリアルタイムに除去されている。
　　　 ※上記の画像、キャプションをクリックするとDR動画がアップされているYouTubeへ
　　　　 リンクします。

参考文献
*1　Daiki Kido, Tomohiro Fukuda, Nobuyoshi Yabuki, 2020, Diminished reality system
with real-time object detection using deep learning for onsite landscape simulation
during redevelopment, Environmental Modelling & Software, Volume 131, 104759,
 

• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
•