大容量3DモデルをMR体験するために
2023.01.11
パラメトリック・ボイス 大阪大学 福田 知弘
MR *1 は、建築・都市の3Dモデルやシミュレーション結果を現実世界に重ね合わせて使用する
ことができ、AEC *2 分野では、設計検討、リノベーション、建設現場、維持管理などの分野で
注目されています。メタバース、デジタルツインとも親和性が高い。
一方、AEC分野で使われる3Dモデルは複雑でデータ量は大容量になりがち。MRを処理する端
末（MRクライアント）には高性能なGPUが求められるなど高い演算能力が要求されます。
データ量を軽減するために3DモデルのLOD *3 を自動制御する方法も検討されていますが、適
切なLOD処理をリアルタイムに実行することは難しい。
負荷の高い処理に対する他のアプローチとして、インターネットに接続された演算能力の高い
サーバにオフロードする方法が検討されています。MR分野でいえば、トラッキング *4 とレン
ダリングのいずれか、あるいは、両方をオフロードする方法となります。
トラッキングとレンダリングをサーバにオフロードするMRシステム
そこで、筆者らは以下を特長とするMRシステムを開発しました。
・MRトラッキングとレンダリングの両方をサーバにオフロードすることで、MRクライアント
では、大容量の3Dモデルを扱う際にもリアルタイム処理が可能になります。
・複数のMRクライアントは、3Dモデルをクライアント側にダウンロードすることなく共有で
きるため、サーバ内の3Dモデルを必要なタイミングで更新することができ、ひとつの3Dモ
デルを共有したMR表示が可能になります。
・MRクライアントでの処理はすべてWebブラウザで行うことができます。また、ジャイロセ
ンサなどの特別なセンサは不要なので、RGBカメラを搭載した機器（スマホ、タブレット、
PC）であればシステムを利用することができます。
一連のMR処理フローを紹介します。
・クライアント端末は、RGBのカメラ画像（実画像）をキャプチャして、インターネット経由
で、サーバに送信します。
・サーバは、クライアントから受信した実画像をもとにトラッキング処理を行います。このト
ラッキング処理により、現実世界でのクライアントの位置や姿勢を推定し、3次元仮想空間
内の仮想カメラに反映させます。仮想カメラは、3Dモデルやシミュレーション結果をレン
ダリングし、その結果と実画像を合成します。合成したMR画像をクライアントに送信しま
す。
・クライアント端末は、受信したMR画像を表示します。
・以上の処理を繰り返します。
プロトタイプシステムでの実験
上に述べた提案方法をプロトタイプシステムとして実装し、インテリアデザインとそれに伴う
室内の採光シミュレーションの日変化を検討対象として実験しました。
3Dモデルのデータ量による違いを比較するため、3つのデザインシナリオを設定しました。
研究室の学生室の窓際にある6人掛けのテーブルに、
1) 何も置かない状態（現状。定義する3Dモデルは学生室のみ、約19万ポリゴン）、
2) 机の上にディスプレイやキーボードなどの機器を置いた状態（プランA。3Dモデルは学生
室+機器、約192万ポリゴン）、
3) プランAに加えて窓際に植物を置いて日差しを遮った状態（プランB。3Dモデルは学生室+
機器+植物、約266万ポリゴン）。
シミュレーション日時は冬至の朝7時から19時30分とし、このシミュレーション結果を10秒間
の早回し表示としました。クライアント端末は、スマホとノートPCとしました。サーバはデス
クトップPCをクライアント端末と同一のインターネットに用意し、インターネット接続は、
LANに接続するWiFiルータを使用しました。
結果
本実験では、サーバ側で学生室およびプランA、Bに応じた3Dモデルを用いた室内採光シミュ
レーションを行いました。2つのクライアント端末では、シミュレーション結果をそれぞれの
視点からリアルタイムに可視化することができました（図1）。
スマホの描画速度は、24.4～28.9 fps *5、クライアント—サーバ—クライアント間で発生す
る遅延（レイテンシ）は、386～438ミリ秒でした。
一方、ノートPCの描画速度は、7.8～8.8 fps、クライアント—サーバ—クライアント間で発生
する遅延（レイテンシ）は、693～769ミリ秒でした。
いずれのデバイスにおいても、3つのシナリオの間では描画速度・遅延とも大きな差は見られ
ず、トラッキングとレンダリングをサーバ側にオフロードした効果が表れたと言えます。
一方、スマホの方がノートPCよりも描画速度が速く、遅延が小さくなりました。このことは正
直、驚きました。詳細な要因はわかっていませんが、スマホの方がノートPCよりも、このよう
なストリーミング処理に適応できているということでしょうか。
図1 クライアント端末でのMR出力画像の例。オレンジ色の部分は直射日光の当たる場所を
シミュレーションした結果。左列：現状、中列：プランA（装置のみ）、右列：プラ
ンB（装置+植物）。上段：スマホ、下段：ノートPC。
このように、ストリーミング型のMRシステムにすることで、クライアント端末が高性能でな
くとも、大容量の3Dモデルやシミュレーション結果をMR体験することが可能になりました。
また、複数のクライアント端末でひとつのMR環境を共有することも可能になりました。
この研究成果は、2022年7月に国際会議 Annual Modeling and Simulation
Conference（ANNSIM）2022で論文発表しました（図2） #1。
図2 米・サンディエゴで開催されたANNSIM 2022で口頭発表する筆頭著者・博士前期課程
辻本（左端）。
論文を執筆するための研究推進、英文論文の執筆と投稿、複数の専門家から査読を受け
ての修正稿の作成と再投稿・最終アクセプト、英語でのパワポ作成と口頭発表の準備、
渡航の手配（含・現地PCR検査手配）、そして、発表本番。国際会議で発表するための
一連のタスクを経験されました。
発表では、現地サンディエゴの3Dモデルを取り入れたMRデモンストレーションは大変
挑戦的で刺激的だったようで、発表後、多数のオーディエンスから質問を受けていまし
た。
*1 Mixed Reality: 複合現実感、現実世界と仮想世界を融合するための構築・描画技術
*2 Architecture, Engineering and Construction: 建築、土木エンジニアリング、建設
*3 Level of Detail: 詳細度
*4 追跡、追尾。MRユーザの位置、姿勢などのデータを継続的に収集し、3Dモデルを現実
世界の適切な状態（位置、向きなど）で描画するための技術
*5 frames per second: 一秒間に描画するフレーム数
参考文献
#1 R. Tsujimoto, T. Fukuda and N. Yabuki, "Server-Based Mixed-Reality System For
Multiple Devices To Visualize A Large Architectural Model And Simulations," 2022
Annual Modeling and Simulation Conference (ANNSIM), 2022, pp. 605-616, doi:
10.23919/ANNSIM55834.2022.9859400.
