2022.08.25

パラメトリック・ボイス　　　　　　　　　　　　　　　　大阪大学　福田 知弘

隠消現実感（DR: Diminished Reality:）は現実世界にあるものを仮想的に消し去る技術で、
再開発予定地（in situ）や都市模型を対象に、古くなった建物を取り壊した後の景観をシミュ
レーションできます。
以前のコラム「AI+DRでより正確な景観の可視化へ」で紹介したDRでは、建物のような「動
かない物体」をDRする場合、除去する建物（除去モデル）とその建物を除去した後に現れる
背景（隠背景モデル）の3次元モデルを予め作成していました。一方、歩行者や自動車、風に
なびく樹木など「動く物体」は準備段階とDR実行段階で位置が変わるためにこの方法は使え
ません。そこで、AIの深層学習技術とDRを統合して、深層学習によってリアルタイムに検出
した動く物体にマスク処理（不必要な画像を覆い隠すこと）を行い、動く物体を除去しました。
しかし、「動かない物体」に対して、除去モデルと隠背景モデルを事前に準備する必要があり、
コストがかかります。また、これらの3次元モデルのデータ量が増えると、シミュレーション
の実行速度が低下してしまいます。
 
2種類の深層学習を組み合わせてみよう
この課題を解決するために、2種類の深層学習であるセマンティックセグメンテーションと敵
対的生成ネットワーク（GAN: Generative Adversarial Network）、インターネット通信技
術を統合することにより、3次元モデルを事前に準備することなく、建物を取り壊した後の景
観をリアルタイムに可視化するDRを開発しました（図1）。
セマンティックセグメンテーションは、画像内のそれぞれの画素（ピクセル）に含まれる物体
の種類（クラス）を判別し、種類に応じて画素を事前に指定した色で塗りつぶす技術です。種
類とは、都市であれば、建物、空、樹木、車道、車線、歩道、フェンス、人、自動車、トラッ
クなどです。今回は、建物を自動的に検出することで、除去モデルの作成コストを削減します。
GANは、生成モデルの一種であり、入力されたデータから現実には存在しないそれらしい画
像を生成したり、入力されたデータをある特徴に沿って変換する技術です。今回は、建物を除
去した後に現れる背景を自動的に生成することで隠背景モデルの作成コストを削減します。
 
開発した方法とGANで生成した画像の評価
開発した方法としてまず、モバイル端末のカメラから現状の景観を画像（フレーム）として取
得し、サーバーPCに送信します。サーバーPCでは、受信したフレームをセマンティックセグ
メンテーションにより建物を自動的に検出してマスク処理します。そしてGANを用いて建物
の背景を推定し、マスク化した領域を補完します。その結果をモバイル端末に送信して、DR
表示します（図2）。
さらに、GANがどの程度の精度で補完できたかを人間の色覚に沿って評価しました。評価表
法として、CIE L*a*b*色空間と呼ばれる人間の色覚に合わせた色空間に対して、GANで生成
した画像と正解画像の対応する画素同士で色の差分を計算します。そして、その差が許容範囲
となった画素の割合を求めることで補完結果を評価します。この指標を用いて、GANを学習
させるために使用したデータセットによって、補完精度がどの程度変化するのかを確認しまし
た（図3）。
 
おわりに
提案した方法に基づいて、DRシステムを実装し、大阪大学吹田キャンパスで仮の再開発プロ
ジェクトを設定して、検証実験を行いました。再開発予定地にモバイル端末を持っていき、
インターネットに接続すると建物を取り壊した後の景観をリアルタイムにシミュレーションで
きました。さらに、人間の色覚に沿った定量的な精度評価を行いました。画像を補完する領域
が画像全体に対して15% 以下であれば正確に補完処理でき、5.71 fps（frames per second:
1秒間に処理されるフレーム数）で実行できました。
成熟社会では、人を中心にした空間に転換することを目指し、既存の建物を取り壊して、広場
などオープンスペースへの転用や地下化、新たな再開発が始まるまでの遊休地活用など、ス
ケールダウンを含めた空間のあり方が検討されています。プロジェクトは、市民を含む関係者
で合意形成を図りながら進めることが大切であり、事業者・設計者は専門家として、プロジェ
クトの内容をわかりやすく可視化して説明することが求められます。紹介したDRは、建物を
取り壊した後の景観シミュレーションがより少ないコストでリアルタイムに可能であると共に、
建築・建設分野のDX（デジタル・トランスフォーメーション）に寄与する取り組みでもあり
ます。

この研究成果は、Journal of Computational Design and Engineeringに掲載されました *1。
また、2022年7月29日に大阪大学よりプレスリリースしました *2。

　図1　開発したDRによる景観シミュレーション風景（除去前／後）
　　　 ※上記の画像、キャプションをクリックするとDR動画がアップされているYouTube
　　　　 へリンクします。

　図2　提案方法の概要図

図3　2種類のデータセット（GSV: Google Street ViewとImageNet）を用いてGANで補完
　　 した結果（Output by GAN）と正解画像（Ground truth）、補完精度の比較の例：背景
　　 要素と補完領域の大きさ、学習データセットの種類によって補完精度（色の違いを示す
　　 CIEDE2000が閾値以下の割合で評価）がどの程度変化するのかを評価した。

参考文献
*1　Takuya Kikuchi, Tomohiro Fukuda, Nobuyoshi Yabuki, 2022, Diminished reality
using semantic segmentation and generative adversarial network for landscape assessment: Evaluation of image inpainting according to colour vision, Journal of Computational Design and Engineering, qwac067,

*2　建物取り壊し後の景観シミュレーションをリアルタイムに：２種類の深層学習とネット
ワーク通信でDR（隠消現実）を実現（大阪大学 ResOU（リソウ）・プレスリリース）
 

• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
•