大阪電気通信大学

歴史的文化財のデジタルアーカイブにおける計測データの欠損補完技術に関する基礎的研究

概要

 近年,SDGsが提唱されたことにより,世界各国で様々な取り組みがなされており,国内でもSDGsが掲げる目標の達成を掲げる取り組みが急増している.例えば,SDGsが掲げる目標の「11.住み続けられるまちづくりを」の項目にある達成目標の1つに「世界の文化遺産や自然遺産を保護し,保っていくための努力を強化する[1]」とあり,火事や老朽化から文化遺産を保護する必要がある.既存研究では,図1に示すように,地上設置型レーザスキャナにより計測した文化遺産の点群データをボクセル分割し,深層学習を用いてエッジ部分を推定する手法を提案[2]されている.しかし,地上設置型のレーザスキャナの計測の問題点として,測定環境の明るさ,反射,影などの影響で計測できない部分が生じる場合が多い.そこで,本研究では,地上設置型レーザスキャナにより計測した文化遺産の点群データから欠損部分を推定し,その部分に対して点群データを補完する手法を提案する.そして,検証実験により,設計値の保持と補完されているかを評価し,提案手法の有用性を確認する.

既存手法

 点群データから欠損部分を推定し,その部分に対して点群データの補完する既存研究は,平面とエッジ情報を用いて欠損補完する手法[3],ボロノイ分割や角度情報を用いて欠損補完する手法[4][5],深層学習を用いて補完を生成する手法[6][7]やボール接触点を基に三角形を生成し欠損補完する手法[8]が提案されている.

事前調査

 既存手法を文化遺産の点群データに適用し,各手法を事前調査として比較,評価を行いことで,提案手法に最適なアプローチを明らかにする.具体的には,欠損領域を含む点群データに対して既存手法の有効性を検証し,それぞれの特徴や課題を明確化する.それにより,提案手法の構築に適したものを特定することを目的とする.

 本調査では,実際に計測された文化遺産の点群データを評価対象として利用した.評価は,実際に計測された文化遺産の欠損領域を含む点群データの一部を対象(図2,図3)に行った.既存手法を適用し,その補完結果を基準となる形状と比較した.評価方法として,欠損部分に対して,点群データで補完ができているか可視化の確認と欠損箇所以外で生成された点群データがノイズになっていないことの確認を行う.

図2 欠損領域を含む点群データ
(狛犬)
図3 欠損領域を含む点群データ
(狛犬)

● 平面とエッジ情報を用いて欠損補完する手法
 図4に示すように,欠損部分ではない箇所に点群データが生成され,パラメータの値を変更しても結果が変わらなかっ  た.ボロノイ分割や角度のパラメータの値によって,検出される範囲が広がり,周辺に点群データが生成されると推測

図4 平面とエッジ情報を用いて欠損補完する手法の結果

● ボロノイ分割や角度情報を用いて欠損補完する手法
 図5に示すように,一部の平面箇所に点群データが補完されたが欠損部分ではない箇所にも点群データが生成された.ボロノイ分割や角度のパラメータの値によって,検出される範囲が広がり,周辺に点群データが生成されると推測

図5 ボロノイ分割や角度情報を用いて欠損補完する手法の結果

● 深層学習を用いて,形状や色の補完を行う手法
 図6に示すように,欠損部分に補完されているが,入力データと大きく異なる形状が出力された.文化遺産のような複雑な形状を学習データにしていないため,形状が異なる結果

図6 深層学習を用いて形状や色の補完を行う手法の結果

● ボール接触点を基に三角形を生成し,欠損補完する手法
 図7に示すように,一部の平面箇所に点群データが補完されているが,欠損箇所を完全に補完されない.欠損箇所に対して,ボールの大きさが小さく,一部で補完されていない箇所が発生した.

図7 ボール接触点を基に三角形を生成し,欠損補完する手法の結果

 4つの既存手法の結果を踏まえると,ボール接触点を基に三角形を生成し,欠損補完する手法が点群データ補完に最も適している手法と考える.他の手法と比較して,点群データの密度が高い場合において,形状の一貫性を保ちながら補完ができる.しかし,広範囲の欠損に対する限界を検知する必要があるため,異なる大きさのボールを複数用意して,ボール接触点を基に三角形を生成し,補完の一貫性と精度をさらに向上させる.

提案手法

 提案手法の処理フロー図8に示す.提案手法は,エッジ抽出機能,欠損領域補完機能により構成される.入力データは,地上設置型のレーザスキャナなどで計測した点群データとする.出力データは,欠損部分が補完された点群データとする.

図8 処理フロー

a) エッジ抽出機能

 本機能では,地上設置型レーザスキャナで取得した点群データから PCA(主成分分析)[9]を用いてエッジ部分を抽出する.まず,図9 に示すように示すように地上設置型のレーザスキャナで計測した点群データを点群がどの方向に最も広がっているかを示す固有ベクトルの値を計算し,ある点の半径内にある近傍点から PCA を適用して得られた固有値から,3 つの次元特徴を算出する.その最大値が「1 次元的特徴」である値をエッジ点として選択して抽出する.

図9  エッジ抽出機能

b) 欠損領域補完機能

 本機能では,図10 に示すように点群データから欠損領域を補完する.まず,ボール接触点を基に三角形を生成し,欠損補完する手法の BPA(Ball-Pivoting Algorithm)を用いて,エッジ部分を抽出した点群データ上の 3 点からなる初期三角形を基点する.次に,1ボールによる探索は異なる大きさのボールを3つ用い,それぞれ転がすことで次の接触点を探索.新たな点が見つかるたびに既存の点と組み合わせて三角形を形成する.最後に,メッシュを再構成した上で,点群データの補完が可能とする.3つの異なる大きさのボールをそれぞれ指定した値は,表1に示す.

図10  欠損領域補完機能
表1 パターンごとのボールの大きさ

実証実験

 実際に計測された文化遺産の点群データを評価対象として利用した.評価は,実際に計測された文化遺産の欠損領域を含む点群データの一部を対象に,既存手法を適用し,その補完結果を正解の寸法値と比較して評価する.評価方法は,地上設置型レーザスキャナで計測した点群データと提案手法を用いた点群データの設計値の保持と,補完された点群データ可視化結果を評価する.設計値の計測の際には,実際の測量と同様の方法で,指定した2点の距離を1か所ごとに10回計測し,それらの平均値を寸法値とする.

結果と考察

 これらの点群データを対象に,本実験で評価する箇所を図 11に示す.狛犬と灯籠の欠損部分を中心に寸法値を計測を行う.寸法値を計測を行う理由として,補完後に設計値誤差を引き起こすノイズが発生していないかを確認するためである.

図11 評価する箇所

 点群データから提案手法により点群補完した結果を図12,図13,図14に示す.提案手法を用いて補完した点群データの設計値の結果を表2に示す.

図12 補完後の実行結果(①の場合)
図13 補完後の実行結果(②の場合)
図14 補完後の実行結果(③の場合)
表2 点群データの設計値の結果

 以上の結果から,提案手法を用いて設計値の保持と点群データが補完可能であるかを確認した.しかし,補完されていない箇所が見られた.これは,指定したボールの値が欠損領域の大きさに適していなかったため,不要な箇所に点群データが生成やBPAで生成された三角形が,欠損領域の大きさに適していなかったので,必要な箇所に点群データを補うことができなかったと考える.また,提案手法による出力データの計測誤差は0.13cmまで抑えることができたが,計測位置に設定していた付近に点群データが生成されたため,誤差が生じたためと考えられる.今後は,既存手法[10]を参考に,欠損領域を点群データで補完する提案手法を改良し,補完精度の向上を目指す.また,点密度の違いやボロノイ分割による面積情報を活用して欠損領域を正確に特定し,密度の低い部分には大きなボール半径を,密度の高い部分には小さなボール半径を動的に調整することで,適切に補完ができると考えられる.

おわりに

 本研究では,既存研究を事前調査して性能を比較,評価し,新たに文化遺産の点群データを補完する手法を提案した.検証実験により,提案手法を用いて設計値の保持と点群データが補完可能であるか確認した.ただし,補完されていない箇所が見られた.これは,指定したボールの値が欠損領域の大きさに適していなかったため,過剰な点の生成やBPAで生成された三角形が,欠損領域の大きさに適していなかったと考えられる.また,提案手法による出力データの計測誤差は0.13cmまで抑えることができたが,非線形の形状を含む一部の欠損部分において補完に失敗する所が見られた.そのため,今後は,欠損箇所を点群データで補完する処理の改良により,線形および非線形の形状に対応して補完精度の高精度化を目指す.

参考文献

[1].日本ユニセフ協会(ユニセフ日本委員会):SDGs17 の目標,
https://www.unicef.or.jp/kodomo/sdgs/17goals/,2025.1.24.
[2].小林満里奈,中原匡哉:歴史的文化財のデジタルアーカイブのための点群データを用いた設計値の抽出に関する研究,情報処理学会,第86回全国大会講演論文集,Vol.86,No.4,pp.747-748,2024.
[3].Open3D:Point cloud – Open3Dprimary (d251815) documentation,https://www.open3d.org/docs/release/tutorial/geometry/pointcloud.html#Planar-patch-detection,2025.1.3.
[4].大阪工業大学:3次元計測点群の欠損検出,https://www.oit.ac.jp/japanese/sangaku/oit-id/img/poster/IM08.pdf,2025,1,6
[5].大阪工業大学:3次元計測点群の欠損補完,https://www.oit.ac.jp/japanese/sangaku/oit-id/img/poster/IM09.pdf,2025,1,6
[6].Z.Qi, X.Liu, X.Liu, J.Yang, Y.Zhang: PSNet:a deep learning model based digital phase shifting algorithm from a single fringe image, arXiv, Vol. 2303.07606, 2023.
[7].L.Pan, X.Chen, Z.Cai: VRCNet:Variational Relational Point Completion Network, arXiv,2104.10154,2021
[8].F. Bernardini, J. Mittleman, H. Rushmeier, C. Silva and G. Taubin, “The ball-pivoting algorithm for surface reconstruction,” in IEEE Transactions on Visualization and Computer Graphics, vol. 5, no. 4, pp. 349-359, Oct.-Dec. 1999.
[9].赤塚紘輝,原潤一,渡辺裕:主成分分析を用いた点群特徴抽出に関する一検討,電子情報通信学会,情報処理学会研究報,Vol.2019-AVM-104No.3pp.1-2,2019.
[10].永井太樹,村木 祐太,手島裕詞,小堀研一:密度不均一な点群のための欠損抽出の一手法,情報処理学会,第84回全国大会講演論文集,Vol.84,No.4,pp.291‐292,2022.

作者プロフィール

小林満里奈

大阪電気通信大学 総合情報学部情報学科 4年 データサイエンス研究室

コメント