自動推論プロセスの分析による人にとっての数学問題困難度の予測

通过分析自动推理过程来预测人类数学问题的难度级别

基本信息

批准号：
22K19800
负责人：
松崎拓也
金额：
$ 3.83万
依托单位：
Tokyo University of Science
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Exploratory)
财政年份：
2022
资助国家：
日本
起止时间：
2022-06-30 至 2025-03-31
项目状态：
未结题

项目摘要

既存の数学問題を大量に学習データとして使用するために，数学テキストの言語解析に関する基礎処理について研究を行った．特に，（１）過去の大学入試数学問題テキストを用いて分野適応を行ったニューラル言語モデルを基に高精度なテキスト解析を行う技術，および（２）数学テキスト中の数式のタイプを正確に予測するために，ニューラル言語モデルを用いた統計的予測と型理論に基づく形式的手法を組み合わせる技術の研究開発を進めた．（１）に関しては，ニューラル言語モデルの分野適応のみによって，テキストの構文解析精度が約4ポイント向上することを明らかにした．また，その際の精度向上の大きな要因は，数学問題テキストで頻出する数式を含む並列構造の解析がより正確になることであると示した．また，分野適応の効果は問題テキスト中の数式をニューラル言語モデルへの入力においてどのように表現するかに依存し，数式を表す特殊なトークンで数式全体を置換する方法が最も効果的であることを明らかにした．（２）に関しては，統計的予測と形式的手法を融合した数式タイプ予測のための基盤システムの開発が完了し，高精度化のための改良をおこなっている．さらに，（１）（２）の技術の基礎となるニューラル言語モデルの挙動を理解し，高精度化するための基礎研究として，入力テキスト中のトークン位置の分散表現（位置埋め込み）の性質について分析を行い，トークン位置方向の時系列として見た場合の位置埋め込みには周期性が存在し，ニューラル言語モデルは，この周期性を基にトークン位置に基づく推論を行っていることを明らかにした．

为了将大量现有的数学问题作为培训数据，我们对数学文本的语言分析进行了研究。特别是，我们一直在研究和开发技术（1），这些技术基于神经语言模型进行了高度准确的文本分析，这些模型已使用过去的大学入学考试数学问题文本对现场进行了调整，并且（2）使用基于类型的正式方法与基于类型理论的正式方法结合统计预测，以准确地预测数学课程类型的数学课程类型。关于（1），据透露，单独调整神经语言模型的领域，大约4点可以提高文本解析精度。此外，在这种情况下，提高准确性的主要因素是对包括数学公式（数学公式）经常出现在数学问题文本中的平行结构的分析变得更加准确。我们还透露，现场适应的效果取决于问题文本中的公式在输入的神经语言模型中如何表达，并且用代表该公式的特殊令牌代替整个公式的方法是最有效的。关于（2），结合了统计预测和形式方法的数学类型预测基本系统的开发已经完成，并进行了改进以提高准确性。 Furthermore, as a basic research to understand the behavior of neural language models, which is the basis of the techniques (1) and (2), and to improve accuracy, we analyzed the properties of the distributed representation (position embedding) of token positions in the input text, and revealed that there is periodicity in position embedding when viewed as a time series in the token position direction, and that neural language models make inferences based on this periodicity.