Creating a Technological Infrastructure for the Digital Restoration of Cultural Properties Using Statistical Image Processing and Deep Learning

利用统计图像处理和深度学习为文化财产数字化修复创建技术基础设施

基本信息

批准号：
22H00748
负责人：
河野一隆
金额：
$ 10.4万
依托单位：
Tokyo National Museum (2023)Kyushu National Museum (2022)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2026-03-31
项目状态：
未结题

项目摘要

文化財は紫外線・赤外線等の照射エネルギー、温湿度の変化に由来した有機質素材の変質、作品表面への埃等異質物の沈着等さまざまな原因で褪色（経年劣化）する。ところが、褪色が少ない一部の文化財のみが調査研究や展示公開、修理の対象であり、大半の褪色した文化財は本来の価値に気付かれぬまま収蔵庫内に死蔵され、劣化が進行しているのが現状である。従来までの褪色した文化財の復元では、作品の表層を覆う汚濁層を水漬して物理的に除去することが普通に行われており、その結果、文化財にリスクを負わせるだけでなく莫大なコストもかかっていた。作品の保存に影響を及ぼすような物理的負荷やコストをかけずに画像復元する技術を確立することは、文化財の活用を推進するうえで不可避の研究基盤であった。本研究では統計的画像処理技術の一種である無相関ストレッチ（DStretch）と教師無しの機械学習の一つであるCycleGANsを組み合わせることで、文化財に負荷をかけずに褪色後の文化財画像から褪色前の仮想的な文化財画像を作出する。この技術に基づいて、文化財の活用促進につながるオープンサイエンスを実践するための基盤構築を推進することが本研究の課題である。無相関ストレッチ・機械学習のいずれにも統計的画像解析が不可欠であるため、高性能の画像処理に特化したワークステーションを導入する。対象文化財は、研究班内で検討して「紺紙金字経」とし、画像解析後、肉眼で視認できない文字や図文が認識できるか、または褪色前に仮想復元した文化財画像として大きく外れていないかという点から検証して最適化したパラメータを得ることができた。これらの成果については、考古文化財ディープラーニング研究会を組織して、２週間に１度のペースで本研究に関連した諸課題をリモート形式で打ち合わせ、新潟国際情報大学内に設置されたレポジトリから発信した。

由于各种原因，文化资产逐渐消失（随着时间的流逝而恶化），例如由于温度和湿度的变化而导致的有机材料恶化，以及外国材料的沉积，例如工作表面上的灰尘。但是，只有少数较少淡出的文化特性受到研究，研究，展览和维修的影响，而大多数变色的文化特性则存储在储藏室中而没有意识到其原始价值，并且正在降低。在恢复传统褪色的文化特性时，通常可以通过将其浸泡在水中来物理地去除覆盖工作表面的污染物层，这不仅会导致文化特性的风险，而且还会产生巨大的成本。建立技术来恢复图像，而不会承受影响工程保存的身体负荷或成本，这是促进文化资产使用的必然研究基金会。在这项研究中，通过将不相关的拉伸（Dstretch）结合在一起，即一种统计图像处理技术，即无监督的机器学习之一Cyclegans，我们创建了虚拟文化特性图像，然后在不影响任何文化财产的情况下从褪色的文化属性中褪色，然后再逐渐消失。基于这项技术，这项研究的挑战是促进实施开放科学的基础，这将促进文化资产的使用。统计图像分析对于不相关的拉伸和机器学习至关重要，因此我们将介绍专门用于高性能图像处理的工作站。在研究小组中检查了目标文化资产，并被称为“海军纸质金仪式”，经过图像分析，我们能够从肉眼看不到的角色和文本中验证最佳参数，或者可以识别出可以识别为肉眼的角色和文本，或者几乎可以恢复为文化属性图像，并在褪色前恢复并获得了最佳的参数。这些结果是由考古文化财产深度学习研究小组组织的，该研究小组每两周一次远程讨论与这项研究有关的问题，然后通过Niigata国际信息大学建立的存储库来介绍它们。

项目成果

期刊论文数量（13）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

縄文土器における修復部位検出のための点群セグメンテーション手法の検討

绳纹陶器修复部位点云分割方法研究

DOI：
发表时间：
2023
期刊：
影响因子：
0
作者：
Yoshihara;N.;Hattanji;T.;青野友哉・吉村和久・米田穣・澤田純明・山口晴香・増山禎之;田中靖・八反地剛・古市剛久・土志田正二・小倉拓郎・古賀亘;青野友哉;南雲彩花・市川健太・宮尾亨・藤田晴啓・板垣正敏・河野一隆
通讯作者：
南雲彩花・市川健太・宮尾亨・藤田晴啓・板垣正敏・河野一隆

縄文土器3D深層学習クラスター解析に向けたVoxel解像度差の影響評価

评估体素分辨率差异对绳文陶器 3D 深度学习聚类分析的影响

DOI：
发表时间：
2023
期刊：
影响因子：
0
作者：
Hirofumi Tazoe;Ryo Tachizaki;Yuto Tomisaka;Haruka Kuwata;Naofumi Akata;宮尾亨・南雲彩花・藤田晴啓・板垣正敏・市川健太・河野一隆
通讯作者：
宮尾亨・南雲彩花・藤田晴啓・板垣正敏・市川健太・河野一隆

統計的画像処理と機械学習による文化財のデジタル画像復元

使用统计图像处理和机器学习对文化资产进行数字图像修复

DOI：
发表时间：
2023
期刊：
日本情報考古学会講演論文集
影响因子：
0
作者：
Lin Kuei‐chen;Lee Cheng‐Yi;Itahashi Yu;Zhou Zhiqing;Chen Jian;Liu Xiangyu;Yoneda Minoru;日髙真吾;河野一隆 ,板垣正敏,藤田晴啓,河原和好,山本亮,市川健太,南雲彩花
通讯作者：
河野一隆 ,板垣正敏,藤田晴啓,河原和好,山本亮,市川健太,南雲彩花

疑似ラベル教師付き分類+深層クラスターと専門家型式・年代分類との比較

伪标签监督分类+深度聚类与专家类型/年龄分类的比较