深層学習を用いたカスタムメイド型骨用プレートシステムの研究開発
現在、骨折手術では標準骨に適合するようにデザインされている「解剖学的骨用プレート」が使用されている。解剖学的骨用プレートは、患者に適合するため術中に変形作業が必要である。その技術は医師の技量に依存するため、手術時間を左右する。手術時間の延長により、出血、X線被曝、感染リスク、人件費を含めたコストの増加も問題となる。また、変形作業はプレートの強度に影響を及ぼし、本来であれば工学的に許容されない。
こういった問題を解決するためカスタムメイド型骨用プレートの開発が進められてきている。しかしながら、デザインの決定や海外製造がボトルネックとなり、納期が4週間以上を要するため、骨折ではなく待機が可能な変形治癒や腫瘍などに使用が限定される。既存のカスタムメイド型骨用プレートの製造は、医師の発注に基づきインプラントメーカーのエンジニアがデザインと応力解析を行い、医師の承認を経てデザインを確定するというプロセスを取っており、当該プロセスを取ることが納期が長くなる主要因となっている。
既存のカスタムメイド型骨用プレートの課題を解決するため、申請者らはカスタムメイド型骨用プレートのデザインソフトウエアの開発を行ってきた。本ソフトウエアは、従来はインプラントメーカーのエンジニアが行っていたプレートデザイン等を、平易な対話操作で最終責任を担う医師自ら短時間で可能とし、デザイン決定までの期間を大幅に短縮する(骨折の整復からプレートのデザイン+応力解析+データ出力まで10分以内)。しかしながら、プレートのデザインを正確に行うためには、骨折した状態から元の正常な状態を復元する必要がある。この復元作業は整復作業とも呼ばれ、骨折した断面の情報を元に正確に接合す作業となる。この作業は対話的に実施すると非常に時間を要するため、ソフトウエアが自動で行うことが望ましい。また、複雑骨折(長骨の単純骨折以外の骨折症例)の場合、対話作業での修復が不可能である。そのため、我々は、骨折部の自動認識・整合処理を全自動で実施することを研究目標としている。
また、医療機器製造業等との連携を通じ国内製造・流通体制を構築し、骨折診断後5日以内の納品を実現する。短納期のカスタムメイド型骨用プレートの提供により、医師の技量に依らない短時間の骨折手術を実現し、医療の標準化に繋げる。
救急車両内の心電図を人工知能(Artificial Intelligence)で解析するシステム構築と救急医療への適応
心筋梗塞などの虚血性心疾患は、心臓を養う冠動脈の動脈硬化により血管の内腔が狭くなり、血液の流れが制限されて生じる。冠動脈が閉塞すると約40分後から心内膜側の心筋は壊死が発生する。さらに壊死は次第に心外膜側へ波状に広がり、壊死が広汎に及べば心不全やショックを合併する可能性が高くなる。特に急性心筋梗塞は強い胸痛が継続的に持続し、心電図の所見や血清酵素の上昇から診断されるため、心電図検査は簡便な手法であるが、急性心筋梗塞の診断には極めて有用である。
発症直後ではT波の増高だけしか認められず、専門医でないと見逃すこともあるが、2~3時間後には特徴的なST上昇が認められる。また、心電図のST上昇を示す誘導箇所から心筋梗塞の場所、どの冠動脈が閉塞しているかも判断出来る。特に急性心筋梗塞は非常に重症な病気であり、すみやかに専門医の診療を受けることが重要となる。
そこで、我々は救急車内で計測した心電図を用いて、救急車が病院に到着するまでの時間内で(5分以内を想定)、心電図を機械学習(深層学習)でデータ解析し、その解析結果を医師や看護師に分かり易く提供するシステムを構築する。診断レベルは循環器内科の医師レベルを目指し、専門外の医師を診断支援することを目的とする。心電図情報はクラウド型12誘導心電図伝送システムから得られる。心電図データはクラウド上でデータ解析が実行され、医師や看護師はその結果をタブレット端末やスマホ端末で参照する。心電図のデータ解析には、特徴となる波形を見つけて急性心筋梗塞や狭心症の兆候を早期に発見する。また、診断支援の精度を向上させるために、岩手医科大学や岩手県予防医学協会で保有する10万件以上の患者データの心電図情報を活用する。
岩手医科大学医学部の伊藤智範教授は新しい心電図ICカード登録システムによる「急性心筋梗塞早期診断参照システム」を研究開発中であり、心電図の読解や解析のエキスパートであり、本事業で得られた成果はこの「急性心筋梗塞早期診断参照システム」に組み込むことが可能である。同大学医学部の森野禎浩教授は心血管インターベンションの臨床と研究に約20年間従事され、冠動脈放射線療法や薬物溶出性ステントの米国FDAの承認データを提出した経験されており、医療機器の承認プロセスにも精通されているため、将来は医療機器として国内および欧米での事業化や製品化に最適な人材である。岩手県立大学ソフトウェア情報学部のバサビ チャクラボルティ教授は機械学習(深層学習)を用いた多次元時系列データ解析の専門家であり、これまでに研究開発したデータ解析手法や知見を心電図のデータ解析に応用する。同大学の土井章男教授は森野禎浩教授チームと2015年から「心臓定量化ソフトウェアの研究開発」の共同研究を行っており、心臓画像の深層学習による解析技術や循環器内科分野の専門技術と経験を有している。
本事業は岩手県で主活動を展開する大学教員とスタッフで行い、両大学は近隣しているため相互のコンタクトがとりやすいだけでなく、得意分野・専門領域が有機的に絡む4名の研究者で組織している。そのため、この4名の医師および教官が協力することで、精度の高い実用的な岩手県発の心電図解析システムが構築可能と確信している。
(本研究の一部は、公益財団法人JKAの研究支援を得ています)
1) R. Oikawa, A. Doi, B. Chakraborty, T. Itoh, O. Nishiyama, ”Classification of Prehospital-Electrocardiograms taken in Ambulance According to Severity using Deep Learning Neural Network“, 4th IEEE Eurasia Conference on Biomedical Engineering Healthcare and Sustainability 2022, Taiwan, 27-29 May, 2022.
患者に合わせて手術をガイドする整形外科手術支援に関する研究開発
近年、高齢化によって骨折や骨の擦り減りの治療を目的とした外科手術が増加している。治療には人工関節装着や骨切り術があり、骨の状態や人工関節形状に合った正確な術前計画の立案が必要である。さらに術中では患者の骨に合った「手術用骨切ガイド」があれば、正確で安全な手術が可能となり、患者と医師の双方に負担も少ない。本研究ではこれらの要望を満たし、安全で正確な整形外科手術を実現する「テイラーメイド整形外科手術支援システム」を構築する。対象とする部位は手術数が増加している大腿骨、膝、脊椎、指である。
本プロジェクトではこれまで岩手県立大学で研究開発してきた整形外科向け術前計画支援システム:JointVisionを基本部分として使用している。JointVisionは3次元画像に対する入出力、画像編集、画像表示、計測などの基本機能があり、膝HTO、股ARO、人工関節置換術において、複数の病院で臨床応用を行っており、その有効性が評価されている。2021年度はこのJointVisionの使い易さの向上や新しい機能の追加に取り組んでいる。既に完了した機能アップとしては、ユーザインターフェースの向上が挙げられる。旧バージョンのJointVisionはメニューが固定されていないメニュー(フローティングメニューと呼ばれる)であった。臨床応用した医師からは、このフローティングメニューが使いにくいと言った意見が寄せられていた。そのため、固定メニューを可能とする改良を行った。フローティングメニューに比べて、整理された固定メニューは定型業務のような簡単な手術には覚えやすく、作業効率が良い。
2022年では、JointVisionにカスタム骨折プレート機能、お絵描き表示機能、消しゴム機能、高品質ボリュームレンダリング機能などを追加した。カスタム骨折プレート機能では、患者の骨折を整形したあとにその骨表面に沿ったネジ穴付きプレートが設計可能である。プレート変形操作は、テンプレートを配置したあとに骨表面を数学的な曲面に近似して、プレート全体が数学的な曲面になるように行っている。ネジ切りに関しては、整形した骨折状況を参照しながら、スクリューの方向や位置を指定するため、正確にカスタム骨折プレートが患部に装着可能となった。2023年では、カスタム骨折プレートのカスタム手術ガイドを自動設計する機能を追加した。カスタム手術ガイドがあれば、手術時の正確なドリル操作が可能となる。従来はカスタム手術ガイドを設計するために汎用のCADシステムを使用する必要があったが、この機能を使用することで、カスタム骨折プレートに合ったカスタム手術ガイドを自動で設計出来る。また、病院内に専用の3Dプリンタがあれば、その場で3D出力を行い、滅菌したあとは手術での利用も可能になる。
(本研究の一部は、公益財団法人JKAの研究支援を得ています)
1) Y. Mita, T. Kato, S. Sekimura, H. Takahashi, A. Doi, T. Mawatari, and T. Sugawara, “Automatic detection and evaluation of spine from CT images using deep learning”, The 2020 International Conference on Artificial Life and Robotics (AROB2020), Japan(Bepu), 2020/1.
2) S. Sekimura, T. Kato, H. Takahashi, A. Doi, T. Mawatari, and T. Sugawara, “Development of automatic bone extraction tool from CT images using deep neural network”, The 2019 International Conference on Artificial Life and Robotics (AROB2019), Japan(Bepu), 2019/1.
復興加速化プロジェクト – 東北地方の復興加速化、観光資源の保存と活用、福島第一原発の廃炉支援
被災地自治体では、住民説明会やホームページで復興計画を説明する際、2次元図面を配布しています。しかし2次元図面では、高さ情報や相対位置を視覚的に捉えるのが困難です。こうした背景を受けて、現在、大槌町、陸前高田市、宮古市の都市計画データを基にして、3次元CADによる3D復興計画モデルを作成し、実際に計画の策定や説明会に活用することで、有効性を評価しています。また、3D復興計画モデルを作成する上での問題として、a)容易なモデル作成手法の確立、b)各自治体や大学での環境整備、c)土木・建設業の3次元CADが扱える人材不足、が挙げられます。
これらの問題を解決するため、CIMの概念を取り入れた3D復興計画モデルの作成手法の構築、さんりく沿岸の各自治体や大学における十分な環境の整備、土木・建築業の3次元CAD技術者の育成を目指しています。また、効率的な3Dモデルを作成するために、最新のレーザ計測装置やドローンで撮影したビデオ画像による生成手法の研究を行っています。本研究の一部は岩手県立大学地域政策研究センターの復興加速化プロジェクトの研究助成を受けています。
2021年、2022、2023年度では、福島第一原発の廃炉現場等の環境データについて、現場変化前後の差分情報を自動的に同期する手法の研究開発を行いました。本事業は経済産業省の「廃炉・汚染水対策事業費補助金」事業の一環として実施しています。原子炉建屋内で取得された時系列の点群データに対して、点群データの効率的な差分計算、深層学習を用いた点群データの自動認識を行い、原子炉建屋内の状況の自動更新を可能としました。
従来は原子炉建屋内のリアルタイムな状況を把握することが困難でしたが、本アプローチを用いることで自動で最新の原子炉建屋内の状況(環境データベース)を作業者に提供することが出来ます。
点群データを高精度に認識するために、福島第一原子力発電所内の事故後に3D計測された点群データ群と対話的に作成されたCADデータを用いて深層学習用の教師データを作成しました。認識率を向上させるために教師データをデータ拡張させたあと、PointNet++による自動認識を行いました。PointNet++は点群データを直接入力して学習が行えるニューラルネットワークです。本ネットワークは入力点群の順序や密度に対してその出力結果が大きな影響を受けない特徴を有しています。
学習データの作成では、与えられた点群データとCADデータから任意方向の学習データ作成を可能とするVirtual Cloud Corrector(VCC)を開発しました。VCCを用いることで点群データのデータ拡張が可能となり、全体の認識精度が飛躍的に向上します。また、点群データの密度変化による性能評価を行い、ダウンサンプリングした点群データでも認識性能が低下しにくいことを確認しました。
さらに得られた点群データから構造化された3Dモデルを生成して、線源・線量率推定のシミュレーションに利用します。また、計測したデータは既知のデータと同期して差分情報のみを抽出することで自動的に環境データベースを更新することが可能となります。
1) 槻ノ木沢拓孝,佐井守,原田昌大,小林剛,榊原健二,土井章男, “GIS, 点群データ等を活用した地域資源の可視化と地域課題解決”, 第46回テレイマ‐ジョン技術研究会, 日本バーチャルリアリティ学会, 2022/3/9.
2) Z. Gao, A. Doi, T. Kato, H. Takahashi, K. Sakakibara, T. Hosokawa, M. Harada, “Utility pole extraction processing of point cloud data from 3D measurement and its applications”, iCAST2020, 2020/12.
3) 高志毅, 加藤徹,高橋弘毅, 土井章男, “災害からの復興に向けた3D計測と点群処理技術の活用”, 「シミュレーション」, シミュレーション学会, Vol. 38, No. 4, 2019.
心臓カテーテル手術を支援する心臓定量化ソフトウェアの研究開発
弁膜症、先天性心疾患、肺血栓塞栓症などの構造的心疾患(SHD:Structural Heart Disease)のために、術前に得られる画像情報から、解剖の3次元可視化、定量・定性評価などを正確かつ円滑に行えるソフトウェアの研究開発が強く求められている。しかしながら、本領域の研究開発は非常に遅れている。商用の医用画像処理システムは主に静的な画像を対象としており、各社ごとに機能が特化している。また、製品価格も高価であるため、汎用的な使用を妨げているのが現状である。
研究用途のオープンなシステム(Osirix、ImageJ、3D Slicer)は利用可能であるが、心臓特有の軟部組織臓器や心臓弁に着目したカテーテル手術を目標としたシステムでないため、機能面において不十分である。そのため、本共同研究注1)においては、心臓血管や軟部組織に着目した動的な3D心臓モデル構築を行い、同時にカテーテル操作が可能な術前計画支援システムを研究開発する。カテーテル手術で特に重要な2つの治療手技(ブロッケンブロー手技(心房中隔穿刺)と左心耳閉鎖術)に着目して、治療手技をシミュレーションする機能を実現する。左心耳閉鎖術は左心耳内に血栓が出来るのを防ぐことが可能で、脳梗塞や血栓塞栓症を予防する。左心耳閉鎖デバイスWatchmanは米国で既にFDA承認を獲得しており、日本でも治験の状況にある。
(本共同研究の一部は公益財団法人JKAの研究支援を得ています)
1) R. Oikawa, A. Doi, M. Ishida, and B. Chakraborty, “Automatic extraction and visualization of coronary artery calcium by optical frequency domain imaging”, 27th International Symposium on Artificial Life and Robotics (AROB 27th 2022), 2022/1/25-27.
2) M. Hozawa, Y. Morino, Y. Matsumoto, R. Tanaka, K. Nagata, A. Kumagai, A. Tashiro, A. Doi, K. Yoshioka, “3D-computed tomography to compare the dimensions of the left atrial appendage in patiens with normal sinus rhythm and those with paroxysmal atrial fibrillation“, Journal of Heart and Vessels, ISSN 0910-8327, Springer , 2018.
3) I. Takayashiki, Shoto Sekimura, A. Doi, T. Kato, H. Takahashi, S.Sekimura, M. Hozawa, Y. Morino, “Method for left atrial appendage segmentation using heart CT images“, The 10th Int. Conf. on Awareness Science and Technology (iCAST2019), 2019/10. [Video]
4) H. Takahashi, T. Katoh, A. Doi, M. Hozawa, Y. Morino, “Proposal of transesophageal echo examination support system by using CT image”, P2P, Parallel, Grid, Cloud and Internet Computing(3PGCIC) Int. Conference, 3PGCIC-2019 Proceeding, 2019/11. [Video]