実物の遠隔共有：AIによるリアルタイム点群補完
2023.08.22
パラメトリック・ボイス 大阪大学 福田 知弘
はじめに
建築の分野では物理的な模型などの実物がよく使用されますが、ウェブ会議では実物を3D情
報として共有したり、遠隔地の参加者がその3Dモデルを操作するのは難しいです。BIMなど
のソフトを使った方法では、実物を3Dモデル化するには時間がかかり、実物がリアルタイム
で変化する場合には遠隔の参加者と変化を共有することはできません。
そこで私たちは、実物をリアルタイムで3Dモデル化し、参加者同士が対話的に共有できる複
合現実（MR）システムを開発しています。
最初に、実物の点群をRGB-Dカメラでリアルタイムに生成し、受信者がその3Dモデルを共有
できるMRシステムを開発しました*1。受信者は、3Dモデルを現実世界に重ねて、自由な視
点から見ることができます。しかし、取得した点群には人や模型などが含まれており、これら
のオブジェクトを個別に操作したいという要望が出てきました。
そこで、次に点群間の距離を手がかりにして*2、さらには深層学習のインスタンスセグメン
テーションを使用して*3、点群内の個々のオブジェクトを認識し、参加者がリアルタイムで
点群を個別のオブジェクトとして操作できるMRシステムを開発しました。しかし、実物の背
面や物体同士の重なりなど、カメラで撮影できない部分では、点群の情報が欠落してしまいま
す。
この課題は、複数のカメラを使用すれば解決できる可能性がありますが、私たちはできるだけ
シンプルにアプローチしたいと考えています。そのため、点群の欠損を補完する深層学習を導
入し、RGB-Dカメラで取得した点群の不足部分を再構築し、補完された点群を含めて3D遠隔
共有ができるMRシステムの開発を目指します*4。
提案方法
図1は、提案された方法の概要を示しています。最初に、送信者側（地点A）では、共有したい
実物をRGB-Dカメラを使用してリアルタイムに点群化し、インスタンスセグメンテーションに
よってオブジェクトごとに点群を分割します（点群セグメンテーション）。次に、オブジェク
トごとに分割された点群に対して、点群の欠損を補完するための処理を行い（点群補完・点群
合成）、これを受信者側（地点B）に送信します。受信者は、補完された点群をMR空間で見た
り操作したりすることができます（MR表示・操作）。
以下に、各プロセスの詳細な処理方法を説明します。
・点群セグメンテーション：高速な画像ベースのインスタンスセグメンテーションを用いて、
各オブジェクトの輪郭と内部領域を抽出し、それに関連するRGB値と点群の座標値を取得し
ます。それぞれのオブジェクトにIDを付与して、オブジェクトごとに分割された点群を作成
します。その後、色情報を持たない点群データを点群の補完処理に供給します。
・点群補完：まず、点群データをカメラの視点から後方にあるノイズを取り除きます。次に、
正規化を行い、点群の補完処理に適したスケールに変換します。そして、深層学習を使用し
て、特徴点同士の意味的および幾何学的な構造を分析し、欠損している部分の点群を推定し
て補完します。最後に、オブジェクトから抽出されたRGB値とIDを使用して、補完された点
群を完成させます。
・点群合成：最初に、ダウンサンプリングを行います。オリジナルの点群データと補完された
点群データは、それぞれ異なる比率でダウンサンプリングできます。次に、これらの点群
データを合成して、欠損部分が補完された合成点群データを生成します。
・MR表示・操作：合成された点群データを受信者側（地点B）のヘッドマウントディスプレ
イ（HMD）に送信します。受信者は、グラブ操作やレイ操作を使用して点群データを移動や
回転させることができます。
図1 提案方法の概要
点群補完の精度評価
まず、提案した方法の点群補完の性能を評価するために、Chamfer Distance（CD）という尺
度を使用しました。CDは、2つの点群間の位置誤差を測る指標で、各点から相手の点までの最
近接距離の平均を計算して求めます。値が小さいほど、補完の精度が高いことを示します。
検証実験では、従来の方法で補完されていない点群と提案法によって補完された点群のCDを比
較し、補完処理による欠損改善の効果を評価しました。実験に使用する実物は、3Dモデリング
ソフトを用いて椅子を作成し、その3Dモデルを3Dプリンターで実際の物体として出力しまし
た（図2）。提案方法を組み込んだシステムを用いて、この実物体のリアルタイムな点群デー
タを取得し、補完処理を行いました。また、比較のために、正確な点群データ（真値）も、椅
子の3Dモデルから変換ソフトを使用して作成しました。
実験の結果、補完後の点群データのCD値は、補完前の点群データと比較して著しく減少してお
り、補完の効果が確認できました。また、椅子を正面から撮影した場合、背もたれ部分が、斜
めから撮影した場合、脚の部分が補完されていることも確認できました。
図2 3Dモデル（B）から作成した、真値となる点群（A）と物理模型（C）
図3 補完前のオリジナル点群と補完後の合成点群とのCDの比較
（CD1：オリジナル点群と真値のCD、CD2：合成点群と真値のCD）
実地評価
提案法を用いて、遠隔地にいる受信者と3D実物体をリアルタイムで共有し、対話的なコミュニ
ケーションが可能であるかどうかを調べるため、室内に家具を配置する会議を行いました。
具体的な手順は以下の通りです。
1. ゲームエンジンを使用して作成した室内モデルを、MR空間に配置します。
2. MR環境で受信者が行う操作を、Windows Device Portalを介して送信者側に共有します。
3. 送信者側が実物の椅子を共有することで、MR上で椅子の3Dモデルをリアルタイムに受信者
と共有します。
4. 送信者と受信者の相互操作により、実物の椅子から生成・補完した3Dモデルを室内環境内で
再配置します。
図4は、実験の様子を示したもので、送信者と受信者がリアルタイムで椅子モデルの点群を個別
に操作し、室内の3Dモデルに複数の椅子を再配置する様子が確認できます。ただし、リアルタ
イム性を保つために、点群の数を削減するダウンサンプリングが行われているため、視認性が
低下していることに注意が必要です。
図4 遠隔地にいる2人のユーザーによる室内環境の家具配置検討
おわりに
本稿では、建築分野での実物体の遠隔共有や操作を可能にするために、実物体からリアルタイ
ムな点群を生成し、MR環境で体験できるシステムの開発に取り組みました。点群の欠損を解
消するために、深層学習を使用した補完プロセスを導入しました。
実験では、この補完プロセスの性能を椅子の模型を用いて評価し、また遠隔地にいる2人のユー
ザーが共同作業を行う場面でテストしました。その結果、送信者が実物体を隠すことによって
生じる点群の欠損が補完され、複数のオブジェクト点群を個別に操作することが示されました。
この研究の一環として、筆頭著者の大西諒さんが2023年3月21日に、インド・アーメダバード
で行われたCAADRIA 2023国際会議で成果を発表しました（図5） *4。3Dモデルを生成や補
完する分野は急速に進化しており、今後は通常のRGBカメラを使用した方法なども研究が進め
られていくことが期待されます。
図5 インド・アーメダバードで開催されたCAADRIA 2023で、
筆頭著者・大西諒さん（博士前期課程2年）が口頭発表しました。
大西さんは、Young CAADRIA Awardを受賞しました。
用語の説明
・MR（複合現実）：バーチャルと現実が混在する技術で、バーチャルと現実の間にある様々
な割合の状態を表現します。
・点群：3D空間内の点の座標と色情報から成るデータの集合体。
・RGB-Dカメラ：カラー画像（RGB）に加えて、対象までの距離（D）を計測できるセン
サー。
・深層学習：機械学習の一方法で、コンピュータが自然なタスクを学習する技術。ディープ
ラーニングとも呼ばれます。
・インスタンスセグメンテーション：画像中の物体にクラスラベルと一意のIDを割り当てる技
術で、同じクラスに属する異なるオブジェクトを区別することができます。
参考文献
*1 Fukuda, T., Zhu, Y., Yabuki, N. (2018). Point Cloud Stream on Spatial Mixed Reality: Toward Telepresence in Architectural Field, Proceedings of the 36th eCAADe Conference, Vol. 2, 737-744.
*2 石川大地，福田知弘，矢吹信喜.（2020）. 高速点群セグメンテーションと受信者のオブジェクト操作を可能とする３次元実物体の複合現実による遠隔共有手法，日本建築学会環境系論文集，第85巻，第778号，1017-1026.
*3 Onishi, R., Fukuda, T., Yabuki, N. (2022). A Remote Sharing Method of 3D Physical Objects Using Instance-Segmented Real-Time 3D Point Cloud for Design Meeting, Proceedings of the 27th International Conference on Computer-Aided Architectural Design Research in Asia (CAADRIA 2022), 395-404.
*4 Onishi, R., Fukuda, T., Yabuki, N. (2023). Remote Sharing System for 3D Real Objects with Point Cloud Reconstruction Using Deep Learning Point Cloud Completion, Proceedings of the 28th International Conference on Computer-Aided Architectural Design Research in Asia (CAADRIA 2023), Volume 2, 381-390.
