航空写真の薄雲を自動除去し3Dモデル等で
高品質な建物マスク画像を生成
2021.08.26
パラメトリック・ボイス 大阪大学 福田 知弘
都市計画、防災、建設プロジェクトなどでは、土地利用調査や災害発生時の被害状況を把握す
るために、航空写真から得られる情報が広く利用されています。近年では、無人航空機システ
ムの普及にともない、リアルタイム性を有する高解像度の航空写真を多量に取得できるように
なりました。
多量の写真を短時間で分析するために、ディープラーニングを用いた画像セグメンテーション
技術が活用されています。これは、画像をラベルやカテゴリに応じて領域分割する処理であり、
ここでは、航空写真から建物の平面形状などの必要な情報を自動検出することを指します。
3Dモデルを用いたディープニューラルネットワーク学習用教師データ自動生成法
ディープラーニングで画像セグメンテーションするためには、多量の教師データが必要となり
ます。教師データとは、対象の画像と、その画像中に目的の物体がどこにあるかを示したマス
ク画像のセットのことです。画像セグメンテーションの精度を高めるためには、検出したい対
象のような特徴を有する画像を教師データとして多量に学習させる必要があります。しかし、
多くの教師データは手作業で作成されており、時間がかかります。
そこで筆者らは、航空写真付きの3Dモデルを用いて教師データを自動生成する方法を開発しま
した（ コラム「3Dモデルを用いたAI学習用サンプル自動生成」：2021年1月6日掲載 ）。
雲の存在
航空写真を利用する際の悩みとして、雲の存在があります。雲が写っている航空写真を教師
データセットとして使用すると、雲がノイズとなって、学習精度が低下してしまいます。
ところが、手作業で航空写真から雲を除去するには時間がかかります。さらに、雲を除去した
後には地上にある建物などを描かなければなりません。
敵対的生成ネットワーク（GAN）に注目
そこで、敵対的生成ネットワーク（GAN： Generative Adversarial Networks）を応用して、
雲を除去できないか検討しました。GANは、深層学習を用いた生成モデルであり、存在しない
データの生成や、既存のデータをその特徴に応じて変換することを可能にします。
こうして筆者らは、GANによって薄雲を除去した航空写真をテクスチャとして貼り付けた3D
モデルを用いて、深層学習モデルの学習に利用するための建物マスク画像を自動的に生成する
手法を開発しました（図1, 2） *1。
プロトタイプ
プロトタイプシステムは、ゲームエンジンをプラットフォームとしており、地形と建物を含み、
航空写真をテクスチャマッピングした3Dモデルを建物とそれ以外のクラスに分けて設定します。
そして、表示させるクラスを自動的に切り替えるとともに、仮想カメラを次のエリアに移動さ
せて教師データとなるマスク画像と航空写真を出力します。
次に、GANによって航空写真を雲のない画像に再生することで、航空写真付きの3Dモデルから
マスク画像と雲のない航空写真のデータセットを自動的に生成します。プロトタイプシステム
によって出力したデータセットをディープニューラルネットワークに学習させ、鳥取県境港市
などを対象に、建物の検出精度を確かめました（図3）。
結果、プロトタイプシステムは、6956セットのマスク画像と雲のない航空写真を438秒（7.3分）
で生成することができました。また、GANによりどの程度の雲量まで除去可能であるかを、
ランドサット 8の雲量評価検証データと比較しました。さらに、提案手法で作成したデータセッ
トで学習したモデルの検出精度は、IoU=0.651でした。IoUは、検出した領域と正解領域がど
れくらい重なっているかを表す指標です。
展望
今後、航空写真上の建物検出に限らず、航空写真上の道路や河川の抽出、地上で撮影された写
真から見た建物など、様々な対象の教師データセットの自動生成が可能になると期待されます。
また、本手法によって作成できるマスク画像は、深層学習用の教師データとしての利用に限ら
ず、ジャンバチスタ・ノリの図のような都市の可視化にも活用でき、都市計画、建設プロジェ
クトなどに大きく貢献することが期待されます。
最後に、この研究成果は、8月20日に大阪大学よりプレスリリースしました *2。
図1 GANによって雲を除去した結果と正解画像の比較
Input images (include clouds)：入力画像（雲を除去する前の航空写真）、
Output images by GAN（proposed method）：GANによって雲を除去した結果、
Truth images：正解画像
図2 提案手法の概要。航空写真付きの3Dモデルをゲームエンジン上で建物のみとその他の
クラスに分類し、これらを切り替えながら、仮想カメラでマスク画像と航空写真を自
動的に出力します。その後、出力した航空写真に含まれる雲を、敵対的生成ネット
ワーク（GAN）を用いて除去することで、高品質なデータセットを自動的に出力します。
図3 プロトタイプシステムによって出力したデータセットを学習した深層学習モデルの建物
検出結果
Input：入力画像（建物を検出したい画像）、Prediction（_baseline）：建物検出結果
（GANによる雲除去を実行した場合）、Prediction（_thin cloud removal）：建物検出
結果（GANによる雲除去を実行した場合）、Truth：正解画像
*1 Kazunosuke Ikeno, Tomohiro Fukuda, Nobuyoshi Yabuki, 2021, An enhanced 3D
model and generative adversarial network for automated generation of horizontal
building mask images and cloudless aerial photographs, Advanced Engineering
Informatics, Volume 50, 101380,
*2 航空写真の薄雲を自動で除去 深層学習用建物マスク画像の自動生：GANと3Dモデルで
効率的に高品質な建物マスク画像の生成を実現（大阪大学 ResOU（リソウ）・プレスリリース）
