Magazine(マガジン)

コラム

深層学習で未知形状の建築廃棄物の重さ推定

2024.03.14

パラメトリック・ボイス                大阪大学 福田 知弘

廃棄物の再利用に向けた深層学習の応用
建設解体廃棄物(CDWConstruction and demolition waste)は建物の解体中などに発
生します。その一部は再利用可能であり、運搬コストを考えると現場で仕分けする必要があり
ますが、多くの手間やコストがかかります。そこで、深層学習を駆使して自動分類するシステ
ムの開発が注目されておりCDWの形状や材料を見分けその重量を推定する能力を持つこと
が期待されています。
研究コミュニティでは、形状が未知である対象にも適応できる方法やシステムの開発が議論さ
れています。そのアプローチとして、点群と3Dインスタンスセグメンテーションを応用し、
CDWを効率的に分類し、推定することを目指しています。
建設以外の分野では、果物の重量推定や牛の体積計算などが、同様のアプローチにより提案さ
れていますしかしCDWのような未知の形状に対応するためにはさらなる技術革新が求め
られます。
 
3Dインスタンスセグメンテーション
筆者らは、この課題解決に向けて、点群と3Dインスタンスセグメンテーションを応用して、
CDWの自動分類と重量推定の両方を可能にするシステムを開発しています。
ここでまず3Dインスタンスセグメンテーションについて述べますそもそもインスタンス
セグメンテションは同じ種類で別のオブジェクトを個別かつ自動的に分類する技術であり、
深層学習モデルにより実現しています。当初は、2D画像を対象としたインスタンスセグメン
テーションが開発されてきましたが、最近では3D情報を対象とした3Dインスタンスセグメン
テーションも開発されていますこれは生成された3D点群シーンの中で、各点の位置関係と
オブジクトを構成するクラスタの色特性情報を学習することにより3D空間内で類似したオ
ブジェクトを自動分類できる方法です。
 
点群と3DインスタンスセグメンテーションによるCDW重量推定システムの開発
筆者らの提案方法についてまず現場の点群を生成し次に3Dインスタンスセグメンテショ
ンを実施してCDWを個別に分類します。最後に、分類したCDWのメッシュを構築し、体積を
計算した上で、推定されたクラスの既知の密度を乗じて重量を計算します(図1)。
システムの実装についてまず3Dインスタンスセグメンテションモデルはデフォルト状態で
はCDWを満足に検出することができません。さらに、公開されている点群データセットは
CDWに関するものが十分ではありませんそのため筆者らは、現場の写真からSfM(ストラク
チャー・フロム・モーション)を用いて点群を生成し、それらを点群データセットとして学習
させた独自の3Dインスタンスセグメンテーションモデルを構築しました。この際、学習デー
タのアノテーション付与やインスタンスセグメンテーションモデルの学習には大規模な計算リ
ソースが必要であるためSQUIDという大阪大学のスーパーコンピュータを活用しました
終的に、各CDWの体積と重量を計算し、実際の測定値と比較しました。
尚、今回は穴や空洞がなく、単一材料で構成された未知のCDW形状を対象としています。

 図1 提案方法のシステムフロー:(ブルー)点群の生成、(オレンジ)3Dインスタンスセグメ
    ンテーションによるCDWの個別分類、(グリーン)CDWの体積と重量計算

 図1 提案方法のシステムフロー:(ブルー)点群の生成、(オレンジ)3Dインスタンスセグメ
    ンテーションによるCDWの個別分類、(グリーン)CDWの体積と重量計算


CDWの自動分類と重量推定システムの評価と展望
検証実験では開発したシステムの精度や誤差率を通じて性能を評価しました。図2は、3D
インスタンスセグメンテーションによる点群の分類結果です。自動分類は19個のCDWを正し
く抽出し、体積推定では平均誤差率が16.6%±6.6%でした。また、重量推定の平均誤差率は
12.9%±6.5%でした。
一方、複雑な形状や複合材料の廃棄物に対するシステムの適応性や、重なり合う廃棄物の処理
方法など、課題が残されています。
この研究成果は、オーストリア・グラーツ工科大学で開催されたEducation and Research in
Computer Aided Architectural Design in EuropeeCAADeの2023年国際会議で口頭発表
しました*1全文査読を通過した論文は論文デタベースScopusやCuminCADにインデック
スされています。

 図2 3Dインスタンスセグメンテーションによる点群の分類結果:(1列目)CDWを撮影した
    写真の例、(2列目)写真群から生成した点群は提案システムの入力データ、(3列目)
    提案システムの出力結果、(4列目)正解。各出力結果において、色の違いは異なるオ
    ブジェクトと推定された結果であることを表す。3列目と4列目において、同じオブジェ
    クトの色同士が異なる場合があるが、色の違いは精度に影響しない。

 図2 3Dインスタンスセグメンテーションによる点群の分類結果:(1列目)CDWを撮影した
    写真の例、(2列目)写真群から生成した点群は提案システムの入力データ、(3列目)
    提案システムの出力結果、(4列目)正解。各出力結果において、色の違いは異なるオ
    ブジェクトと推定された結果であることを表す。3列目と4列目において、同じオブジェ
    クトの色同士が異なる場合があるが、色の違いは精度に影響しない。


 図3 オーストリア・グラーツで開催されたeCAADe 2023での発表風景。AI、BIM、デジタル
    ファブリケーション、XRなどに加えて、気候変動や環境・エネルギー問題、材料開発を
    対象とした発表もみられる。

 図3 オーストリア・グラーツで開催されたeCAADe 2023での発表風景。AI、BIM、デジタル
    ファブリケーション、XRなどに加えて、気候変動や環境・エネルギー問題、材料開発を
    対象とした発表もみられる。


*1 Shimizu, H., Fukuda, T., Yabuki, N. (2023). Deep-learning Point Cloud Classification for Estimating the Weight of Single-material Construction and Demolition Waste of Unknown Shape, Proceedings of the 41st Conference on Education and Research in Computer Aided Architectural Design in Europe (eCAADe 2023), Volume 2, 609–618, https://doi.org/10.52842/conf.ecaade.2023.2.609

福田 知弘 氏

大阪大学 大学院工学研究科 環境エネルギー工学専攻 准教授