2022.03.22

パラメトリック・ボイス　　　　　　　　　　 　 　 　　　 大阪大学　福田 知弘

以前のコラム「将来景観ビジュアリゼーションのためのAR/MRと新技術」では、まちの将来の
姿をAR/MR（拡張現実／複合現実。本稿では、MRで統一）で表現する際に、現実世界とBIMな
どで作る3Dモデルの前後関係が矛盾してしまうオクルージョン問題を解決する必要があり、深
層学習をMRに統合したシステムについて紹介しました。当時は、セマンティックセグメンテー
ションという深層学習を使いました。深層学習は、日進月歩どころか、秒針分歩で進化してお
り、これまでできなかった景観MRの高度化に向けて、学生たちと研究開発を続けています。
 
セマンティックセグメンテーションをMRに統合したシステムの課題
セマンティックセグメンテーションは、画像中のすべての画素（ピクセル）に対して、クラ
ス（カテゴリー、種類）別にラベル（正解）を付けます。クラスの分類は、都市や医療などの
対象によって異なりますが、都市であれば、ビル、空、樹木、車道、車線、歩道、フェンス、
人、自動車、トラックなどの種類によって分けます。すなわち、セマンティックセグメンテー
ションを使えば、現実世界の画像や映像に含まれる様々な要素を種類ごとに分類することがで
きます。
これをMRシステムに統合することにより、例えば、フェンスと樹木の後ろに3DモデルをMR表
示することができます。MRシステムは、リアルタイムに処理するため、MR実行中に現実世界
の樹木が風で揺れたり、車や人が動いたとしても、その動きと共にクラスを検出し続けること
ができるので、動く物体の向こうに3Dモデルを表示することができます。このことは、「動的
オクルージョン」と呼ばれます。
しかしながら、繰り返しになりますが、セマンティックセグメンテーションは、要素を種類ご
とに分類するために、樹木を例にとると、全ての樹木を同じものとして扱ってしまいます。そ
のため、ある樹木と別の樹木の間に3D建物モデルを配置するとか、ある自動車と別の自動車
の間に3D樹木モデルを挿入することは、できません。
 
インスタンスセグメンテーションに注目
ある自動車と別の自動車の間に3Dモデルを挿入するためには、同じ種類（クラス）に含まれる
オブジェクトを別々に認識する必要があります。これを実現するモデルは深層学習の分野で研
究開発が進められており、インスタンスセグメンテーションと呼ばれます。
筆者らは、YOLACT++というインスタンスセグメンテーションモデルをMRシステムに統合し
ました。さらに以前のシステムでは、3Dモデルの前景となるセマンティックセグメンテーショ
ンのクラスを事前に設定する必要がありましたが、今回のシステムでは手動操作をできるだけ
省こうと、同じ種類のそれぞれのオブジェクトに対して3Dモデルとの前後関係を自動的に判別
する機能を、簡単な数学モデル（画面のy座標値）を用いて実装しました。
 
自動車をセマンティックセグメンテーション対象として実装、実験
図1は、大阪大学の近くにある国道171号線（通称：イナイチ）で、京都から西宮を経て神戸ま
で続く幹線道路です。画面左に進行する片側2車線道路が東行き（京都方面）、中央のゼブラ
ゾーンを挟んで、画面右に進行する片側2車線道路が西行き（西宮方面）です。このゼブラゾー
ンに、3D中央分離帯モデルを配置してみます。これをMRで表現するためには、東行きの自動
車の向こう、西行きの自動車の手前に3Dモデルを配置しなければなりません。以前のシステム
では、3D中央分離帯モデルを、全ての車の手前か、全ての車の向こうにしか、配置することが
できませんでした。さらに、オクル―ジョン対象である自動車クラスを予め指定しておく必要
がありました。
今回のシステムでは、図1（左上）のイナイチの映像から、東行きの自動車のみを自動的に抽出
して（右上）、抽出したピクセルをオクルージョン対象としてマスク処理を行います（右下）。
マスク処理したピクセルは、3Dモデルの手前に描かれます。この処理をリアルタイムに実行す
ることで、東行きの自動車の向こう、西行きの自動車の手前に3D中央分離帯モデルをMR表現す
ることができました（左下）。
尚、本稿では、前後関係の自動判別処理をするために、画面の縦方向の座標（y座標値）を使っ
ているため、自動車は画面の中で水平に走行する必要があります。例えば、画面の中で自動車が
斜めに走行している状態では、正確なオクル―ジョン処理はできなくなります。
最後に、この研究成果は、建築・都市のeCAADe 2021（欧州におけるコンピュテーショナル建
築設計の教育と研究に関する学会）で発表しました *1。今回の成果を踏まえての、より複雑な
オクルージョン処理については、改めてご紹介したいと思います。

　図1　インスタンス･セグメンテーションと簡単な数学モデルを用いてオブジェクト単位で動的
　　　 オクルージョンできるMR。この事例のオブジェクト単位とは個々の自動車を指します。
　　　 (左上)入力画像（ウェブカメラ映像のフレーム）、(右上)インスタンスセグメンテーショ
　　　 ンと画面y座標値で東行きの自動車のみを抽出、(右下)(右上)で抽出した領域（緑）を前
　　　 景用にマスク処理、(左下)3D中央分離帯モデルを合成したMR出力。東行きの自動車の向
　　　 こう、西行きの自動車の手前に3Dモデルが配置されています。

参考文献
*1　Mizuki Nakabayashi, Tomohiro Fukuda, Nobuyoshi Yabuki, 2021, Mixed Reality
Landscape Visualization Method with Automatic Discrimination Process for Dynamic
Occlusion Handling Using Instance Segmentation, Proceedings of the International
Conference on Education and Research in Computer Aided Architectural Design in
Europe,2, pp. 539-546.

• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
•