国立研究開発法人日本原子力研究開発機構と、福島第一原発の廃炉現場等の環境データについて、現場変化前後の差分情報を自動的に同期する手法の研究開発を行っています。本プロジェクトは経済産業省の「廃炉・汚染水対策事業費補助金」事業の一環として実施されてます。原子炉建屋内で取得された時系列の点群データに対して、点群データの効率的な差分計算、深層学習を用いた点群データの自動認識を行い、原子炉建屋内の状況（ここでは、CAD/BIMモデル）の自動更新を可能としました。
従来は原子炉建屋内のリアルタイムな状況を把握することが困難でしたが、本アプローチを用いることで自動で最新の原子炉建屋内の状況（環境データベース）を作業者に提供することが出来ます。
点群データを高精度に認識するために、福島第一原子力発電所内の事故後に3D計測された点群データ群と対話的に作成されたCADデータを用いて深層学習用の教師データを作成しました。認識率を向上させるために教師データをデータ拡張させたあと、PointNet++による自動認識を行いました。PointNet++は点群データを直接入力して学習が行えるニューラルネットワークです。本ネットワークは入力点群の順序や密度に対してその出力結果が大きな影響を受けない特徴を有しています。
学習データの作成では、与えられた点群データとCADデータから任意方向の学習データ作成を可能とするVirtual Cloud Corrector（VCC）を開発しました。VCCを用いることで点群データのデータ拡張が可能となり、全体の認識精度が飛躍的に向上します。また、点群データの密度変化による性能評価を行い、ダウンサンプリングした点群データでも認識性能が低下しにくいことを確認しました。
さらに得られた点群データから構造化された3Dモデルを生成して、線源・線量率推定のシミュレーションに利用します。また、計測したデータは既知のデータと同期して差分情報のみを抽出することで自動的に環境データベースを更新することが可能となります。以下の図は点群、CAD/BIMデータの自動更新の流れを示しています。この図の中で大きな役割を担っているのが点群データの深層学習による点群認識です。7種類のカテゴリー分類の認識率は約96.3％（2024/11/1時点）であり、この数値はデータ拡張や深層学習フレームワークの改良により、さらに精度の向上が期待できます。
以下の図（左）では、パイプが削除され、新しいタンクが設置されています。パイプが削除または移動した場合、新しく追加された点群モデル群と比較を行います。同様な点群モデルが近くに発見されない場合はパイプが削除されたと判断します。新たに発見された場合、そのパイプはその場所に移動したと判断します。
次に削除または移動された点群モデルからCADモデルを更新します。更新方法では点群モデルとCAD部品モデルを比較して、点群モデルに対応するCAD部品モデルを変更します（削除または移動）。タンクのように新しい点群モデルが出現した場合は、メッシュモデル（3角形メッシュ，4面体）を生成して、CADモデルにこのメッシュモデルを追加します。
抽出した点群を学習器でクラス分類したあとに、その点群データと該当するCAD部品モデルの頂点座標と比較することで、点群データとCAD部品モデルの対応付けを行っています。頂点座標の比較では、Random Sample Consensus（RANSAC）法[3]とIterative Closest Point（ICP)法[4]を併用しています。RANSAC法は外れ値を含むデータセットからモデルを推定する反復アルゴリズムで、外れ値に対して頑健であり、その影響を受けにくい特徴があります。ICP法の原理は点群間の近傍点の距離最小化を繰り返し計算することで2つの点群を重ね合わせることが可能で、RANSAC法に比べて、精度の高い位置合わせが可能なため、RANSAC法で最初に位置合わせした後、ICP法で精度の高い位置合わせを行っています。以下の図は、差分計算とCAD部品モデルとの対応付け方法を説明しています。
1)T. Kato, H. Takahashi, M. Yamashita, A. Doi, T. Imabuchi, “Development of time-series point cloud data changes and automatic structure recognition system using Unreal Engine”, Journal of Artificial Life and Robotics, 2025.
2)H. Takahashi, T. Kato, M. Yamashita, A. Doi, T. Imabuchi, “Development of a Virtual 3D Scanner for Data Augmentation in Point Cloud Shape Recognition”, 29th AROB2024, pp. 1093-1096, B-Con PLAZA, Beppu, 24-26 January, 2024.
3) T. Kato, H. Takahashi, M. Yamashita, A. Doi, T. Imabuchi, “Development of time-series point cloud data changes and automatic structure recognition system using Unreal Engine”, 29th International Symposium on Artificial Life and Robotics(AROB 29th 2024), pp. 1097-1100, B-Con PLAZA, Beppu, 24-26 January, 2024.
4)G. Zhi Yi, H. Takahashi, T. Katoh, M. Yamashita, A. Doi, ” 3DModeling from Video Images using NeRF Technology and its Evaluation”, The 27-th International Conference on Network-Based Information System(NBiS2024), Workshop(INVITE), South Korea, 2024/9.
5) 土井 章男，高志毅，高橋弘毅，加藤徹，山下圏，”NeRF技術を用いた画像からの可視化と3Dモデリング”，日本バーチャルリアリティ学会テレイマ―ジョン技術研究会，2024/02/22.
6) 高橋弘毅,加藤徹, 山下圏,土井章男,今渕貴志, “Segment Anything ModelとGenerative Image Inpaintingを用いた水中ビデオのノイズ除去”,第25回計測自動制御学会システムインテグレーション部門講演会, 2024. (SI2024)
7) 高志毅, 加藤徹，高橋弘毅, 土井章男, “災害からの復興に向けた3D計測と点群処理技術の活用”, 「シミュレーション」, シミュレーション学会, Vol. 38, No. 4, 2019.