2021.01.06

パラメトリック・ボイス　　　　　　　　　　 　 　 　　　 大阪大学　福田 知弘

はじめまして
ArchiFuture Webのコラムを担当させて頂くことになりました。日ごろ、環境設計情報学とい
う分野の教育・研究に従事しております。コラムでは、最近の取組みを中心にご紹介させて頂
きます。ご笑覧いただければ幸いです。
 
ディープラーニングの課題：膨大な学習サンプルの収集
AIの急速な発展を支える技術として、ディープラーニングがあり、各方面で実用化が進められ
ている。
建築・都市分野において、写真から得られる情報は、建物の配置や密度、景観、緑化率、天空
率など広く活用されている。現状は、ユーザーがディスプレイを眺めながら、ポチッ、ポチッ
とクリックやドラッグを繰り返しながら、写真をマニュアル作業で分析や評価することが多い
かもしれない。
ディープラーニングによるセグメンテーション（画像を複数の部分や領域に分割処理すること）
を利用すれば、写真から建物などの必要な情報を自動検出することができる。マニュアル作業
による疲れやヒューマンエラーなどを削減することに貢献できるだろう。
ディープラーニングの計算モデルはディープニューラルネットワーク（DNN）と呼ばれ、DNN
を十分に働かせるためには、人間同様に学習が必要で、膨大な学習サンプルを必要とする。
この収集作業は大きな課題である。例えば、実世界から建物を抽出する深層学習アプリを作ろ
うとすると、まず、実世界の建物写真を大量に集める必要がある。そして、その写真に含まれ
る建物の領域（正解）を選択する作業が必要になる。膨大である。
 
3Dモデルに注目
そこで筆者らは、3DモデルやVRシステムを学習サンプルの自動生成に応用できないかと考え
た。
3Dモデルの利点は、建物など対象物体（オブジェクト）の属性情報や仮想カメラ（カメラ）
の位置や向きなどのパラメータを自由に変更できることである。3D仮想空間でカメラを移動
すれば、大量の画像を自動生成できる。オブジェクトを種類や性質ごとに色分けして表示する
こともできるため、正解領域も自動で設定できる *1。
不安な点をあげれば、3Dモデルで表現した建物を学習サンプルとして深層学習させた場合に、
その深層学習アプリは実世界の建物を正確に抽出できるのか、ということである。3Dモデル
は、実世界や実物体に似せて表現することができるのか？
コンピュータグラフィックス（CG）分野では、古くから、写真を3Dモデルにマッピング
するテクスチャマッピング手法が考案されてきた。また近年では、物理ベースレンダリン
グ（Physically-based rendering：PBR）と呼ばれる、物理現象を詳細に表現したモデルで
レンダリングする方法がリアルタイム計算でも可能になってきた。今回は前者でやってみた。
 
3Dモデルを用いたDNN学習用サンプル自動生成
筆者らは、航空写真付き3Dモデルを利用して、建物の屋根などのマスク画像を含むデータセッ
トを自動生成するシステムを開発した（図1左）*2。
まず、航空写真付き3Dモデルを作成する。今回は建物屋根を抽出するので、3Dモデラー上で、
3Dモデルをビルのマスククラスとその他のクラスに分類している。作成した3Dモデルをゲー
ムエンジンに読み込む。
ゲームエンジンでは、3Dモデルのある範囲をレンダリングするためにカメラを用意する。そ
して、3Dモデルのその他のクラスを表示して、3Dモデルの上空からレンダリングする。これ
で航空写真が作られた。次に、ビルのマスククラスだけを表示させてから、先ほどと同じカメ
ラでレンダリングする。こんどは、ビルのマスク画像が作られた。この2枚の画像は、建物屋
根が正解であるアノテーション付きのデータセットである。
カメラの位置を変更しながら、以上の処理を繰り返していくと、大量の学習サンプルを自動で
生成できる。2900枚ほどの学習サンプルがわずか3分ほどでできあがった。
 
提案手法の検証
この学習サンプルをU-NetというDNNで学習させた。そして、別に用意した1400枚弱の航空
写真に、この学習済みU-Netで建物屋根を検出してみた。
図1右をご覧いただきたい。Inputは入力した航空写真、Predictionは筆者らの研究で検出した
予測領域（赤色）、Truthは筆者らがマニュアル作業で作成した正解領域（赤色）である。
検出状況をIoU（Intersection over Union．正解領域と予測領域の積集合を和集合で割り算
した値）で評価すると、0.622とそれなりの値となった。
将来、AIが一人前になることを夢みながら、地道な努力は続く。

　 図1　ディープラーニングのための航空写真付き3Dモデルを用いた建物屋根の自動生成

参考文献
*1　Fukuda, Tomohiro, Novak, Marcos, Fujii, Hiroyuki and Pencreach, Yoann, 2020,
Virtual reality rendering methods for training deep learning, analysing landscapes,
and preventing virtual reality sickness, International Journal of Architectural
Computing, Article first published online: September 16, 2020,

*2　 Ikeno, Kazunosuke, Fukuda, Tomohiro and Yabuki, Nobuyoshi, 2020,
Automatic generation of horizontal building mask images by using a 3D model with
aerial photographs for deep learning, Werner, L and Koering, D (eds.), Anthropologic:
Architecture and Fabrication in the cognitive age - Proceedings of the 38th eCAADe
Conference - Volume 2, TU Berlin, Berlin, Germany, 16-18 September  2020,
pp. 271-278,
 

• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
•