A fundamental study of effective visualization and description of longitudinal changes of classical Japanese poetic vocabulary

日本古典诗歌词汇纵向变化的有效可视化和描述的基础研究

基本信息

批准号：
18K00528
负责人：
山元啓史
金额：
$ 2.75万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2018
资助国家：
日本
起止时间：
2018-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

可視化を行う上で重要なグラフ理論で用いられるノードとエッジ描画に関わる計算方法の見直しを行った。任意の２単語をノード、その２単語を結ぶ線をエッジと呼ぶが、この２ノード１エッジの選び方にはさまざまな方法がある。何らかの基準で２単語のそれぞれに数値やベクトルを与え、それらの２単語間の距離を計算し、距離の遠近で、その２単語を結ぶエッジを描画するか否かを決定する。単語に与える値として頻度が考えられるが、機能語の頻度は高く、内容語の頻度は低い。idf(invert document frequency)を利用すると、内容語の値が高くなり、機能語の値は低くなり、キーワード性の高い語と低い語の視点から描画できることがわかった。次に、エッジの選び方に関する方法を検討した。①エッジは２単語の値の幾何平均を用いる方法、②２幾何平均とエッジの出現数を掛ける方法、③その２単語がどこにでも出てくるか、特定のところにしか出てこない（あるいは単純に頻度が低い場合）かを計算し、その値を用いる方法、④それらを複合した方法、を検討した。結果として、これらの値は、分析の領域によって異なることがわかった。現代語の場合には長い文も短い文もあるだけでなく、同じ文に同じ語が複数回出てきた。一方、和歌は、３１文字という制約で書かれた文であるためか、出てきて２回、ほとんどが１回出現する単語ばかりであった。和歌の可視化においてどのエッジを描画するかは、単純に①の２単語のidf値の幾何平均で大方表現できることがわかった。ここで得られた値をcw(cooccurrence weight)と呼ぶことにする。cwの特性を調査した。ある単語とその単語を持つ文脈、すなわち和歌のcw値の分布を調べたところ、ほぼ正規分布のような釣鐘状の分布になることがわかった。

我们回顾了图论中与节点和边绘制相关的计算方法，这对于可视化很重要。任意两个单词称为一个节点，连接两个单词的线称为一条边。选择这两个节点和一条边的方法有多种。基于某种标准给两个单词中的每一个赋予数值或向量，计算两个单词之间的距离，并根据该距离确定是否绘制连接两个单词的边。频率可以认为是赋予词的一个值，但功能词的频率较高，实词的频率较低。发现通过使用idf（倒置文档频率），实词的值变高，虚词的值变低，并且可以从关键词特征高低的词的角度进行绘制。接下来，我们考虑选择边缘的方法。（1）对于边缘，使用两个单词的值的几何平均值，（2）将两个单词的几何平均值乘以边缘出现的次数，（3）如果两个单词出现在任何地方或仅出现在特定位置（或者简单地说，我们考虑了计算（如果频率较低）并使用该值的方法，以及（4）将它们结合起来的方法。结果发现，这些值根据分析区域的不同而有所不同。就现代语言而言，不仅有长句和短句，而且同一个单词在同一个句子中出现多次。另一方面，在和歌诗歌中，大多数单词出现两次，大多数单词出现一次，可能是因为句子的长度限制为 31 个字符。我们发现可视化waka时画哪条边可以简单地用①中两个词的idf值的几何平均值来表示。这里获得的值将被称为cw（共现权重）。研究了CW的特性。当我们调查一个单词及其上下文（即日本诗歌）的cw值分布时，我们发现它具有几乎正态分布的钟形分布。