Development of technique for three-dimensional panorama observation of digestive tract with an endoscopy which mounted a compound eye system.

开发利用搭载复眼系统的内窥镜对消化道进行三维全景观察的技术。

• 批准号: 18K08003
• 负责人: 渡部 健二
• 金额: $ 2.75万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-01 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-18K08003/
• 关键词: 消化器複眼内視鏡; 三次元パノラマ; ステレオマッチング; フレームマッチング; 三次元パノラマ観測技術; 複眼消化器内視鏡

我々は複眼内視鏡を用いた三次元パノラマ観測技術を確立しようとしている。本研究はその概念実証であり、三次元パノラマの技術的基盤の確立が本研究の目標となる。2018年度は研究環境の整備を行い、2019年度はシミュレーションモデルおよび生体ex vivoモデルでの検討を行った。１）シミュレーションモデル：円柱の内腔に直径1cmの正方形模様を張り付け、複眼内視鏡を80mm移動させながら連続して画像を取得した。前後フレームのマッチングにより移動量を推定、画像をつなぎ合わせることで三次元パノラマを作成した。a）移動量推定精度：直径26mm円柱で0.8mm、直径31mm円柱で1.0mm、直径36mm円柱で誤差1.2mmであった。b）形状認識精度：三次元パノラマで再構築された正方形の一辺の長さの推定は、直径26mm円柱で誤差0.51％、直径31mm円柱で誤差0.63%、直径36mm円柱で誤差0.47％であった。２）生体ex vivoモデル：豚の食道を円柱の断面の上に載せ、直径1cmの正方形を張り付けた。複眼内視鏡は同モデルに平行して80mm移動させ同様の解析を行った。移動量推定の誤差は0.8mm、正方形の測定誤差は0.66％であった。2020年度は研究代表者の異動および新型コロナウイルス感染症の感染拡大により実験は停止状態となったが、三次元パノラマの技術的基盤の確立に関するこれまでの基礎的研究成果を論文発表した。感染症の収束を期待して2021年度に研究延長申請を行い、今後の課題であるステレオマッチングの向上、複雑なシミュレーションモデルでの検証について共同研究者とオンラインで打ち合わせを行ったが、感染症は収束せず研究継続は困難と判断して本研究を廃止した。

我们正在尝试使用复合眼内窥镜建立三维全景观察技术。这项研究是概念的证明，这项研究的目的是为三维全景建立技术基础。在2018年，我们开发了一个研究环境，并在2019年进行了模拟模型和一个生物学的离体模型。 1）仿真模型：粘贴在圆柱体的腔内，直径为1 cm的方形图案，并在将化合物内窥镜移动80毫米时连续获取图像。通过匹配前框和后框以估计运动量以及将图像拼接在一起，创建了三维全景。 a）估计旅行量的准确性：直径为26mm的0.8mm，直径为31mm的1.0mm，直径为36mm的直径为36mm的误差为1.2mm。 b）形状识别精度：用三维全景重建正方形的一侧的长度为26mm直径圆柱体的误差为0.51％，直径31mm的直径为0.63％的误差为0.63％，直径为36mm的直径为0.47％。 2）生物离体模型：将猪的食管放在圆柱体的横截面上，并连接到直径为1 cm的平方。复合眼内窥镜与同一模型并联移动80 mm，并进行了相似的分析。运动量估计的误差为0.8 mm，正方形的测量误差为0.66％。在2020年，由于主要研究者的转移和Covid-19的传播，实验被暂停，但该论文已发表了有关建立三维全景技术基础的论文。在2021年，我们申请了2021年的研究扩展，希望能够结束传染病，并与合作者举行了在线会议，以改善立体声匹配和验证复杂的模拟模型，这是未来的问题，但是传染病并没有解决，这项研究将很难继续，我们取消了这项研究。

项目成果

Three-Dimensional Panorama Image of Tubular Structure Using Stereo Endoscopy

使用立体内窥镜获得管状结构的三维全景图像

• DOI: 10.24507/ijicic.16.03.799
• 发表时间: 2020
• 期刊: International Journal of Innovative Computing, Information and Control
• 作者: Kayo Yoshimoto;Kenji Watabe;Mizuki Tani;Tetsuji Fujinaga;Hideki Iijima;Masahiko Tsujii;Hideya Takahashi;Tetsuo Takehara and Kenji Yamada
• 通讯作者: Tetsuo Takehara and Kenji Yamada