Multi-modal representation learning for improving the retrieval of Ukiyo-e records

用于改进浮世绘记录检索的多模式表示学习

基本信息

批准号：
21J15425
负责人：
李康穎
金额：
$ 0.96万
依托单位：
Ritsumeikan University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-28 至 2023-03-31
项目状态：
已结题

项目摘要

近年、美術品のデジタル化とデータベース化が急速に進展し、研究者にとって重要な資源となっている。この状況を踏まえ、本研究課題では、浮世絵レコードのメタデータと画像データを活用したマルチモーダル表現学習を導入し、浮世絵検索システムの構築などへの応用を目指して技術開発が進められている。美術品を調査する研究者には、人文学だけでなく、材料科学、物理学など、さまざまな分野の研究者も含まれる。既存の画像検索システムでは、調色や色彩、顔料を中心に研究している異なる分野の研究者が必要な記録を見つけるのが難しい場合がある。そこで、言語空間に含まれる色の人間の感覚特性と、与えられた美術品のスケッチの幾何学的特性を使用して、CLIP（Contrastive Language-Image Pre-Training）に基づくクロスモーダルマルチタスクファインチューニング方法を提案した。提案された検索フレームワークは希少な色を直感的に検索するのに効果的であり、少量のデータでテキストの説明と色情報の対応が改善されることが示され、さまざまな分野の研究者が美術品の色に関する情報を効果的に検索できるようになった。この提案された手法により、研究者は希少な色の使用例を見つけることが容易になり、美術品研究の検索支援アプリの開発が期待できる。日本文化DAに対する情報抽出技術に関しては、「日本人名辞典」からの歴史人物情報抽出においてfew-shot learning（FSL）を活用することを試みた。自動化された情報抽出技術によって、研究者が効率的に人物に関する情報を収集し、歴史的文脈を理解することが容易になった。さらに、FSLの活用により、学習データの作成コストを削減し、歴史研究のための情報抽出技術の普及を促進することが期待できる。

近年来，艺术品的数字化和数据库创建进展迅速，已成为研究人员的重要资源。基于这种情况，本研究项目引入了利用浮世绘记录的元数据和图像数据的多模态表达学习，并且正在进行技术开发，旨在将其应用于浮世绘搜索系统的构建。研究艺术品的研究人员包括来自各个领域的研究人员，不仅包括人文学科，还包括材料科学和物理学。使用现有的图像搜索系统，对于专注于色调、颜色和颜料的不同领域的研究人员来说，很难找到他们需要的记录。因此，基于CLIP（对比语言-图像预训练）的跨模态多任务微调是利用语言空间中包含的颜色的人类感官特征和给定艺术品的草图的几何特征来进行的，提出了一种方法。。事实证明，所提出的搜索框架可以有效地直观地搜索稀有颜色，并以少量数据提高了文本描述和颜色信息之间的对应关系，使得各个领域的研究人员现在可以有效地搜索相关信息。艺术品的颜色。这种提出的方法将使研究人员更容易找到使用稀有颜色的例子，并有望促进艺术研究搜索支持应用程序的开发。关于日本文化DA的信息提取技术，我们尝试利用few-shot Learning（FSL）从“日本人名词典”中提取历史人物信息。自动信息提取技术使研究人员更容易有效地收集有关人们的信息并了解他们的历史背景。此外，FSL的使用有望降低创建学习数据的成本，并促进历史研究信息提取技术的普及。