Scholar2Vec: 研究者の多様な活動情報を埋め込める深層潜在空間の構築

Scholar2Vec：构建深层潜在空间，可以嵌入研究人员多样化活动的信息

基本信息

批准号：
20H04484
负责人：
桂井麻里衣
金额：
$ 11.56万
依托单位：
Doshisha University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究の目的は、ビッグデータ化の進む学術情報から研究内容の特徴軸をデータドリブンに発見し、個々の研究者の専門興味を多元的に表現する技術を構築することである。具体的には、大規模論文集合に高度な意味解析を導入し、研究者の多様な活動情報を埋め込める深層潜在空間を構築する。これにより、研究活動情報に対し固定次元ベクトルを出力するモデルを構築する。２０２２年度は研究代表者の休業に伴い研究を一時中断したため、当初の研究期間を1年延長することとなった。研究再開後は研究者埋め込みの算出方法について検討と実験を進めた。並行してインターネット上の研究者情報を大規模収集する手法を構築した。ウェブページのカテゴリ分類手法を導入し、学術データベースに収録されていない研究業績を補うことを試みた。以上の内容は2023年度に発表予定である。研究成果情報から埋め込みを構築するにあたり、学術ドメインに特化した日本語のモデルが必要であり、和文論文抄録を用いて事前訓練モデルを構築した。具体的には、テキスト分類などの利用を想定した事前訓練済みエンコーダモデルと、テキスト生成などの利用を想定した事前訓練済みエンコーダ・デコーダモデルをそれぞれ用意した。文分類、文対分類、ヘッドライン生成モデルはウェブ上で公開済みである。モデルの応用として、本研究課題により得られた知見は様々なウェブデータの学習に生かしており、その一例として動画プラットフォームに関する文書集合を用いてBERTを事前訓練し、下流タスクにおける性能を評価した。この成果は2023年度に発表予定である。

本研究的目的是以数据驱动的方式，从日益转化为大数据的学术信息中发现研究内容的特征轴，并构建一种多维表达个体研究人员专业兴趣的技术。具体来说，我们将向大量论文引入先进的语义分析，并构建一个深层的潜在空间，可以嵌入研究人员不同活动的信息。这创建了一个输出研究活动信息的固定维度向量的模型。 2022年，由于主要研究者不在，研究暂时停止，因此原研究期限延长了一年。恢复研究后，我们对如何计算研究者嵌入进行了研究和实验。同时，我们开发了一种在互联网上大规模收集研究人员信息的方法。我们引入了网页分类的方法，并尝试补充学术数据库中未收录的研究成果。上述内容预计于2023年公布。为了从研究结果信息构建嵌入，我们需要一个专门针对学术领域的日语模型，因此我们使用日语论文摘要构建了一个预训练模型。具体来说，我们准备了一个预训练的编码器模型，用于文本分类等，以及一个预训练的编码器/解码器模型，用于文本生成等。句子分类、句子对分类和标题生成模型已经在网络上发布。作为该模型的应用，通过该研究项目获得的知识用于学习各种网络数据。例如，使用与视频平台相关的文档集对 BERT 进行预训练，并评估其在下游任务中的性能。结果预计于 2023 年公布。

项目成果

期刊论文数量（15）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

A Japanese Masked Language Model for Academic Domain

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
Hiroki Yamauchi;Tomoyuki Kajiwara;Marie Katsurai;Ikki Ohmukai;Takashi Ninomiya
通讯作者：
Hiroki Yamauchi;Tomoyuki Kajiwara;Marie Katsurai;Ikki Ohmukai;Takashi Ninomiya

SolutionTailor: Scientific Paper Recommendation Based on Fine-Grained Abstract Analysis

SolutionTailor：基于细粒度摘要分析的科技论文推荐