概要

　近年，多くの企業や教育機関などがデジタルツインやメタバースの技術を活用して，現実空間とデジタル空間の融合が進められている．このような取り組みは，効率的な情報管理や高度なシミュレーション技術の導入を通じて，我々の社会や産業構造に大きな影響を与えている．総務省によると，デジタルツインのグローバル市場は2022年で99億ドルから2035年には約63倍の6255億ドルに成長すると予測されている[1]．デジタルツインは，現実空間を詳細にデジタル上で再現し，状況の監視やシミュレーションができ，これにより教育，製造業や都市計画などの様々な分野で応用されている．例えば，国土交通省では，3次元点群データを用いて出来形管理や災害時の査定に活用されている．しかし，現在利用されている高精度な点群データ計測には，専用の高価な計測機器が必要であり，コストや汎用性に課題がある．最近では，スマートデバイスに現実空間をスキャンできる機能が搭載されたモデルも登場し，多くの人に触れる機会が増えている（図1）．国土交通省でもスマートデバイスによる出来形管理の要領[2]，災害時の対応や復旧計画などが取り組まれている事例が報告されており，簡易なデバイスを用いることで作業の効率化を目指す取り組みが行われている．しかし，スマートデバイスで取得できる点群データには多くのノイズが含まれているため，デジタル空間として利用するには課題がある．これらの課題を解決するためには，スマートデバイスを用いた効率的かつ高精度なノイズ除去手法の開発が求められている．

図1 スマートデバイスでの計測

既存研究

　点群データに発生するノイズを除去する既存研究は，3次元の点群データを2次元の画像に変換してノイズ除去する手法[3]と点同士の距離を計算してノイズ除去する手法[4]が挙げられる．

　3次元の点群データを2次元の画像に変換してノイズ除去するでは，3次元の点群データを2次元の画像に変換し，変換した画像を用いてノイズ除去する手法である．まず，入力された点群データを距離画像に変換する．そして，変換した距離画像に対して，Transformerベースの深層学習モデルを適用し，ノイズを除去する．上記の方法により，深層学習モデルが大規模な点群データを直接処理する際の制約を軽減し，効率的にノイズを除去できる．

　点同士の距離を計算してノイズを除去する手法（SORフィルタ）は，一定の距離にある点の数がしきい値以下の場合にノイズとして除去する手法である．まず，点同士の距離を計算する．次に，点から一定の距離以内にある点の数をカウントする．そして，周囲の点の数がしきい値以下の点をノイズとして除去する．本手法は，汎用的にノイズを除去でき，様々な点群データに対応できる．

　前述した既存研究をスマートデバイスで点群データを計測時のノイズ除去に適用する場合，2つの課題が生じる．1つ目は，深層学習と用いた場合，事前の学習が必要な課題である．そのため，多種多様な点群データに対して汎用的にノイズ除去できない．2つ目は，3次元の点群データを2次元の画像に変換してノイズ除去する手法やSORフィルタを適用した場合，物体の点の一部をノイズとして誤判定する課題がある．これは，距離画像に変換した際にノイズと正しいデータの境界線が曖昧になり，正しいデータもノイズとして判定することや物体の角部分は点の密度が低くなり外れ値として認識することが原因である．そのため，物体の角部分から発生するノイズを除去できるが，正しいデータも同時に除去する問題がある．上記の課題に対して、1つ目の課題には，深層学習に依存せずに，計測時に取得できるデータのみでノイズ除去して対応する．2つ目の課題に対しては，エッジ画像を用いて角部分の点を取得して対応する．

提案手法

　本研究で提案する手法の流れを図2に示す．提案手法は，ベクトル推定機能とノイズ除去機能で構成される．入力データは，スマートデバイスに搭載されているLight Detection And Ranging（以下，LiDAR）[5]で計測した1フレームの点群データとカメラの映像，座標と視線ベクトルなどを含んだカメラデータ，出力データはノイズ除去した1フレームの点群データとする．

図2 提案手法の流れ

a) 点高密度化機能

　本機能は，スマートデバイスで点群データを計測する際に高密度に点を取得する機能である．図3に点高密度化のイメージを示す．現在，スマートデバイスで提供されているフレームワーク[6]では，距離が開いている状態で等間隔に点を配置しており，点の密度が低く詳細な情報を得ることができない．そこで，等間隔に配置されている点の間隔を小さくし，さらに，点の取得できる量を増加すると，詳細に形状を把握できる．

図3 点高密度化のイメージ

b) ベクトル推定機能

　本機能は，エッジ画像を用いてカメラの座標から物体の角部分へのベクトルを求める機能である．図4にベクトル推定のイメージ図を示す．まず，Canny法を用いてカメラ映像からエッジ画像を作成する．次に，エッジ部分のピクセル座標とカメラの画角を用いて，基本ベクトルからの角度を算出する（図5）．そして，基本ベクトルから算出した角度へ傾いたベクトルを推定する．最後に，基本ベクトルを基準としたベクトルを実際のカメラ座標と視線ベクトルを基準として回転させることでベクトルを推定する．

図4 ベクトル推定イメージ

図5 エッジのピクセルへの角度を算出

c) ノイズ除去機能

　本機能は，1フレームの点群データで物体の角部分から発生するノイズを除去する機能である．本研究では，点の密度からノイズを検出する手法とエッジ画像を利用してノイズを検出する手法を用いてノイズを抽出する．そして，抽出したノイズの中で，実際には正しいと予測される点を残し，それ以外をノイズとして除去する．

　点の密度からノイズを検出する手法では，点の密度が薄い場所の点をノイズとする．図6に点密度によるノイズ検出のイメージ図を示す．まず，点群データを指定した長さでボクセル状に分割する．次に，分割したボクセル内の点の量が一定の数以下ならボクセル内の点をノイズとする．そして，全ボクセルを探索しノイズとなる点を取得する．

図6 点密度によるノイズ検出

　エッジ画像を利用してノイズを検出する手法では，ベクトル推定機能によって推定したベクトル付近の点をノイズとする．まず，推定されたベクトルとの距離が一定以内にある点を取得する．次に，取得したノイズと点の密度を用いて検出したノイズを統合する．そして，統合した点からベクトル付近に存在して，カメラの座標に近い点を残し，それ以外の点をノイズとする（図7）．

図7 エッジ画像によるノイズ除去イメージ

検証実験

実験内容

　本実験で利用した実験機器と提案手法の評価方法を説明する．計測した物体を図8に示す．計測の対象とした物体は，幅80cm，高さ60cmの板と幅48cm，高さ53cmの箱である．点群データの計測にはApple社の第3世代iPad Pro 11インチMHQT3J/Aを用いた．点群データの可視化，編集にはCloud Compare[7]を用いた．本ソフトウェアはオープンソースであり，点群データやメッシュの処理が可能なソフトウェアである．本研究では，結果の可視化に用いた．

図8 計測対象物

　実験手順は，まずiPad Proを用いて対象物の点群データを計測する．計測では，提案手法を適用した点群データと適用していない点群データの2種類を計測し，目視で確認できるようにする．次に，提案手法を適用していない点群データを，SORフィルタでノイズ除去する．最後に，正解の点群データ，提案手法を用いた点群データとSORフィルタのみでノイズ除去した点群データを比較し，適合率，再現率，F値で評価する．正解データは，Cloud Compareでノイズを手動で除去して作成した．適合率とは，正解と予測したデータのうち，実際に正解であった点の割合のことである．再現率とは，正解データのうち，予測されたデータによって正しく特定された点の割合である．F値とは，適合率と再現率の調和平均のことである．

検証結果と考察

　検証実験で計測した点群データ，ノイズ除去前の点群データを図9，図10に，ノイズを可視化した点群データと提案手法により取得した点群データの比較を図11，図12，図13に示す．また，ノイズを可視化するために出力データの点を白色に，ノイズとなる点を赤色とした．

図9 計測した点群データ（板）

図10 計測した点群データ（箱）

図11 計測した点群データと提案手法による点群データの比較（板）

図12 計測した点群データと提案手法による点群データの比較（箱-正面）

図13 計測した点群データと提案手法による点群データの比較（箱-斜め）

　表1の結果から，SORフィルタと提案手法を比較した時，提案手法の再現率，F値はすべて高いスコアを示していることがわかる．SORフィルタのみでは，必須となる点まで除去しているが，提案手法では，過剰に除去せずに点を取得している．しかし，適合率で比較すると全体的にSORフィルタよりも低い傾向にある．提案手法では，一部ノイズとなる点を除去できていないことがわかる．これは，エッジへのベクトル付近の点の中でカメラに近い点を取得する際の範囲が広いことが問題と考えられる（図12）．そのため，カメラに近い点を取得する際の範囲の縮小や点の量での判断を改良した機能が必要となる．また，提案手法の点密度によるノイズを検出する手法にも改良が必要である．最後に，現在1フレームの点群データの処理に約2秒の時間を要する．今後，計測する際に1フレームごとに止まる時間をなくすため，より高速な処理が求められる．

図12 エッジ部分の過剰な点の取得

おわりに

　本研究では，スマートデバイスでの点群データ計測時に物体の角部分から発生するノイズをエッジ画像と点密度を用いて除去する手法を提案した．そして，検証実験により，点群データを計測時にノイズ除去できることを確認した．しかし，点密度によるノイズの検出を距離に応じて変更が必要な課題とリアルタイムで処理できない課題がある．そのため，今後は，エッジ部分の点を取得する機能の改善や1フレームの処理時間を減少させ，提案手法の実現可能性を高めること目指す．

参考文献

1. 総務省：令和6年版　情報通信白書｜デジタルツイン，https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r06/html/nd217530.html，2025.1.11.
2. 地上写真測量（動画撮影型）を用いた土工の出来高算出要領（案），https://www.mlit.go.jp/tec/constplan/content/001612924.pdf，2025.1.11.
3. R. Gao, M. Li, S. J. Yang, K. Cho：Reflective Noise Filtering of Large-Scale Point Cloud Using Transformer, Remote Sensing, Vol.14, No.3, pp.577, 2022.
4. Removing outliers using a StatisticalOutlierRemoval filter，https://pcl.readthedocs.io/projects/tutorials/en/latest/statistical_outlier.html， 2025.1.12.
5. Apple inc.：拡張現実，https://www.apple.com/jp/augmented-reality/， 2025.1.12.
6. Capturing depth using the LiDAR camera，https://developer.apple.com/documentation/avfoundation/capturing-depth-using-the-lidar-camera，2025.1.12.
7. Daniel Girardeau-Montaut：CloudCompare – Open Source project，http://www.danielgm.net/cc/，2025.1.12.