Establishing a technical basis for statistical image processing and deep learning for the digital restoration of cultural heritage.

为文化遗产数字修复的统计图像处理和深度学习奠定技术基础。

基本信息

批准号：
22K18496
负责人：
河野一隆
金额：
$ 3.99万
依托单位：
Kyushu National Museum
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Exploratory)
财政年份：
2022
资助国家：
日本
起止时间：
2022-06-30 至 2025-03-31
项目状态：
未结题

项目摘要

本研究の目的は、統計的画像処理技術の一種である無相関ストレッチ（DStretch）と教師無しの機械学習の一つであるCycleGANsの技術を応用し、作品に負荷をかけることなく褪色した文化財画像から制作当初に近いものを作出する技術を開発することである。この技術は、もともとは露天の岩刻画や壁画など著しく褪色した不動産文化財を鮮明化するために考案されたものだが、世界的にみても博物館収蔵品への適用事例はほとんど無かった。その理由は、描かれた図文や文字などを鮮明化するために、色空間（カラープロファイル）を著しく強調するアルゴリズムがプログラムの中に組み込まれ、色変換の必要の無い部分も変換されるため、作品本来の鑑賞を著しく阻害する結果を招くからであった。今年度の課題は、機械学習を援用し強調変換した色空間をオリジナルの色空間へと、モチーフの形状を変えることなく逆変換させる技術的方法の開発に設定した。褪色した文化財の制作当初の色空間は不明である。そこで、褪色前の類似した文化財の画像データを機械学習によって多数学習させ、確からしいオリジナル画像での色空間を再構築する。そこに、無相関ストレッチで強調変換した文化財画像と仮想的なオリジナルの色空間との間で、教師無し学習の一種であるCycleGANs解析を実施することで制作当初に限りなく近い文化財画像が作出できる。むろん、これは真の画像ではなくCycleGANsの原理に基づいて作出した偽の画像であるが、作品の鑑賞性はDStretchだけの場合と比べて大きく向上するはずである。以上の理論を検証するために、今年度は「紺紙金字経」を題材にした技術開発に着手し、良好な成果が得られた。

这项研究的目的是应用不相关的拉伸技术（Dstrotch），一种统计图像处理技术，而自行车员（无监督的机器学习之一）开发了一种创建与原始生产相似的淡入文化属性图像的技术，而无需在工作中构成任何压力。该技术最初旨在阐明诸如露天岩石雕刻和壁画之类的淡淡的房地产文化物业，但即使在全球范围内，博物馆收藏也几乎没有应用。这样做的原因是，为了锐化图像的文本和文本，一种算法显着强调了颜色空间（颜色配置文件），并且不需要颜色转换的部分也会转换，从而对作品的原始视图产生了重大障碍。今年的挑战是开发一种技术方法，该方法将强调转换的颜色空间扭转，这些颜色空间已通过机器学习肯定地转化为原始的色彩空间而不改变主题的形状。首次创建时褪色的文化属性的颜色空间尚不清楚。因此，使用机器学习培训了大量相似文化资产的图像数据，以使用最可靠的原始图像重建色彩空间。通过执行自行车分析，一种无监督的学习，在不相关的，重点转化的文化属性图像和虚拟的原始色彩空间之间，您可以尽可能靠近生产开始。当然，这是一个基于自行车的原理而不是真实图像创建的假图像，但是与仅Dstrotch相比，工作的可见性应得到显着提高。为了验证上述理论，今年我们开始根据“海军纸质仪式”开发技术，并取得了良好的成果。

项目成果

期刊论文数量（14）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

縄文土器における修復部位検出のための点群セグメンテーション手法の検討

绳纹陶器修复部位点云分割方法研究

DOI：
发表时间：
2023
期刊：
影响因子：
0
作者：
Yoshihara;N.;Hattanji;T.;青野友哉・吉村和久・米田穣・澤田純明・山口晴香・増山禎之;田中靖・八反地剛・古市剛久・土志田正二・小倉拓郎・古賀亘;青野友哉;南雲彩花・市川健太・宮尾亨・藤田晴啓・板垣正敏・河野一隆
通讯作者：
南雲彩花・市川健太・宮尾亨・藤田晴啓・板垣正敏・河野一隆

須恵器スキャンデータの3DRGBA 1283解像度Voxelデータによる教師付き分類の試行

使用 Sueki 扫描数据的 3DRGBA 1283 分辨率体素数据进行监督分类的试验

DOI：
发表时间：
2023
期刊：
影响因子：
0
作者：
Seto;T.;and Nishimura;Y.;板垣正敏・河野一隆・藤田晴啓;河野一隆・板垣正敏・藤田晴啓・河原和好・山本亮・市川健太・南雲彩花;瀬戸寿一;藤田晴啓・南雲彩花・山本　亮・市川健太;瀬戸寿一;宮尾亨・南雲彩花・藤田晴啓・板垣正敏・市川健太・河野一隆;瀬戸寿一;山本亮・藤田晴啓・南雲彩花・市川健太
通讯作者：
山本亮・藤田晴啓・南雲彩花・市川健太

疑似ラベル教師付き分類+深層クラスターと専門家型式・年代分類との比較

伪标签监督分类+深度聚类与专家类型/年龄分类的比较

DOI：
发表时间：
期刊：
影响因子：
0
作者：
通讯作者：

縄文土器3D深層学習クラスター解析に向けたVoxel解像度差の影響評価

评估体素分辨率差异对绳文陶器 3D 深度学习聚类分析的影响

DOI：
发表时间：
2023
期刊：
影响因子：
0
作者：
Hirofumi Tazoe;Ryo Tachizaki;Yuto Tomisaka;Haruka Kuwata;Naofumi Akata;宮尾亨・南雲彩花・藤田晴啓・板垣正敏・市川健太・河野一隆
通讯作者：
宮尾亨・南雲彩花・藤田晴啓・板垣正敏・市川健太・河野一隆

須恵器坏3D-RGBA 1283Voxelデータによる疑似ラベル教師付き分類+深層クラスターと専門家型式・年代分類との比較

Sueki Kyou 3D-RGBA 1283体素数据伪标签监督分类+深度聚类并与专家类型/年龄分类比较

DOI：
发表时间：
2023
期刊：
影响因子：
0
作者：
Seto;T.;and Nishimura;Y.;板垣正敏・河野一隆・藤田晴啓;河野一隆・板垣正敏・藤田晴啓・河原和好・山本亮・市川健太・南雲彩花;瀬戸寿一;藤田晴啓・南雲彩花・山本　亮・市川健太
通讯作者：
藤田晴啓・南雲彩花・山本　亮・市川健太