2022.11.08

パラメトリック・ボイス　　　　　　　　　　　　　　　　大阪大学　福田 知弘

建物のファサードデータは、都市環境の情報基盤を整備する上で重要です。現実世界で既存の
建物からファサードを自動的に検出できれば、様々な分析を行うことができます。AI（深層学
習）を使うことで、数多くの既存建物を自動検出できるようになってきました。
深層学習で高精度に検出するためには、深層学習ネットワークを学習させるためのデータセッ
トを用意する必要があります。現状では、建物ファサードの写真を大量に集めて、写真に含ま
れる建物ファサードの領域を手作業でインスタンス注釈（アノテーション）する必要があり、
コストがかかってしまいます。
 
都市デジタルツイン（CDT）に注目
近年、国土交通省のプラトー（PLATEAU）など、都市デジタルツイン（CDT）の整備が進め
られており、建物のデジタルアセットが大量に作成されています。プラトーのデータベースか
らCityGML 2.0とFilmbox（fbx）形式で無償ダウンロードすることができます。
このデジタルアセットを活用して、現実世界の写真を用いて作成したデータセットと同等の品
質でデータセットを生成できれば、費用対効果は随分と高くなるでしょう。このような、現実
世界の写真を用いずに、実際のデータに限りなく近い人工データは合成データと呼ばれます。
以前のコラム「航空写真の薄雲を自動除去し3Dモデル等で高品質な建物マスク画像を生成」
では、建物の屋根領域を検出するための深層学習用合成データセットを作成するために、航空
写真をマッピングした3D都市モデルを活用する方法を取り上げました。今回は、建物ファサー
ドのデータセットを合成データで作成する方法を開発します。
プラトーで使用するモデルの詳細度は、建物ファサードがテクスチャマッピングされたLOD2
以上とします。
 
建物ファサードのアノテーション付き合成データを自動生成するシステムを開発
そこで筆者らは、CDTから合成データセットを自動的に生成するための新しいフレームワーク
を開発しました。
図1は、従来の手作業でアノテーションしたデータセットと、今回の自動でアノテーションし
た合成データセットの作成プロセスを比較しながら、深層学習ネットワークをデータセットで
学習させることで、現実世界の建物をインスタンスセグメンテーションするワークフローを示
しています。
図2は、東京の湾岸地区の3D都市モデルを俯瞰したものです。3D都市モデルには地理情報が含
まれているため、衛星写真や地形図をロードすることで仮想世界と一致させることができます。
 
結果
検証実験の結果について。図3は、CDTによる合成データと現実世界のデータを学習させ、個々
の建物ファサードをインスタンスセグメンテーションした結果です。CDT合成データのみで深
層学習ネットワークを学習させた場合、建物ファサードを良好に識別できました。赤破線の矩
形で示すように失敗した箇所もありました。
図4は、現実世界のデータと合成データを混合して深層学習ネットワークを学習させ、複数の
都市で建物ファサードをインスタンスセグメンテーションした結果を示しています。CDTで生
成した合成データを用いて学習させることにより、低層ビル、高層ビル、複合施設などを良好
に識別できました。また、現実データと合成データの混合（HSRBFIA-60）により、建物でな
い要素（図4a）、低層・中高層建物（図4b、図4c）、複雑な建物ファサード（図4d）まで高
精度に認識できることを確認しました。一方、カメラから遠い建物や建物ファサードが複雑な
構成である場合など、建物ファサードのインスタンスセグメンテーションが失敗しやすい箇所
を赤色の破線枠で表示しています。
また、2種類の合成データ（CDTベースと仮想ベース。前者は実世界に対応する建物が存在す
るが、後者は実世界に対応する建物が存在しない）を比較して、CDTベースの合成データは仮
想ベースの合成データに比べて、現実世界の画像を用いた深層学習ネットワークの学習を後押
しする効果があることを確認しました。現実データの一定量をCDT合成データと入れ替えた場
合に、現実世界の学習セットを使用した場合に達成できる性能とほぼ一致することも確認しま
した。
最後に提案方法は、各画像のアノテーションを手作業で行う場合に比べて、作業時間を
約1/2050に短縮しました。データセットの作成コストを大幅に削減することができると言え
るでしょう。
 
この研究成果は、Journal of Computational Design and Engineeringに掲載されました *1。
また、2022年9月6日に大阪大学よりプレスリリースしました *2。

　図1　手作業でアノテーションしたデータセットと自動生成した合成データセットの比較
　　　 ※上記の画像、キャプションをクリックすると画像の出典元の作成方法の概要が
　　　　 アップされているYouTubeへリンクします。

　図2　実験対象地域の3D都市モデル（東京都江東区・港区）：(a) CDT（上）と現実世界の
　　　 ストリートビュー（下）の同じ視点からのビュー。(b) CDTの俯瞰。

　図3　都市デジタルツイン（CDT）による合成データと現実世界のデータを学習させ、建物カテ
　　　　ゴリにおいて個々の建物ファサードをインスタンスセグメンテーションした結果：
　　　（左列）戸建て住宅、（左中列）低層建築物、（右中列）中層集合住宅、（右列）高層建
　　　　築物、上段：入力写真、中上段：正解画像、中下段：CDT合成データで学習させインス
　　　　タンスセグメンテーションした結果、下段：現実世界のデータで学習させインスタンス
　　　　セグメンテーションした結果 （赤破線の矩形：街並みの画像で、建物ファサードをイン
　　　　スタンスセグメンテーションする際に失敗した箇所を示す）。

　図4　合成データと実世界データの混合比率を変えたハイブリッドデータセット（HSRBFIA：
　　　 Hybrid collection of Synthetic and Real-world Building Facade Images and
　　　 Annotations）を用いて、建物の種類や大きさ別にインスタンスセグメンテーション
　　　 した結果： (a) 大阪の戸建住宅、(b) ロサンゼルスの戸建住宅、(c) ニューヨークの
　　　 中高層建物、(d) 上海の複合施設。HSRBFIA-60：現実データ60％、合成データ40％を
　　　 混合したデータセットであることを意味する（赤色の破線：ストリートビュー画像の
　　　 中で、建物ファサードのインスタンスセグメンテーションで失敗しやすい箇所を示す）。

参考文献
*1　Jiaxin Zhang, Tomohiro Fukuda, Nobuyoshi Yabuki, Automatic generation of
synthetic datasets from a city digital twin for use in the instance segmentation of
building facades, Journal of Computational Design and Engineering, Volume 9, Issue 5, October 2022, Pages 1737–1755,

*2　都市デジタルツインから合成データセットを自動生成：建物ファサードのインスタンスセ
グメンテーションの精度向上（大阪大学 ResOU（リソウ）・プレスリリース）

• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
•