アカデミック・ライティング研究のための日本語学術論文コーパス構築

建立用于学术写作研究的日本学术论文语料库

• 批准号: 21K00554
• 负责人: 今田 水穂
• 金额: $ 2.75万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K00554/
• 关键词: 論文コーパス; XMLコーパス; アカデミック・ライティング; 学術論文; コーパス

本研究は大学初年次のアカデミック・ライティング研究のために、多分野を横断した日本語論文コーパスを構築することを目的としている。コーパス化する論文は収集の容易さと多分野性の観点から大学リポジトリで公開されている紀要論文を中心とし、テキストコーパスとして構築した後、XMLタグによる文書構造のアノテーション、形態素解析・係り受け解析などを予定している。昨年度以来、論文のインデクス作成、論文PDF収集の自動化やOCRなどについて検討を進めているが、本年度は既にテキストが埋め込まれているPDFを対象として、PDFファイルからテキストデータを抽出・整形する方法について検討した。PDFをテキストファイルに変換するツールとしてはpdftotextなどのコマンドラインツールがあるが、出力されるデータは断片化されたテキストの羅列であるため、構造化されたテキストとして整形するためには相当の作業量が必要になる。PDFからのテキスト抽出を目的とした商用ソフトにはGUIでテキストブロックを特定した上で抽出処理を行えるものもあるが、多数のファイルを処理することを考えるとスクリプト処理で自動化できることが望ましい。現状、有力な選択肢はPythonのPDFminerライブラリであり、行の認識が直感に合い、テキストブロックの座標情報も出力されるため、座標やインデントを手がかりとした整形処理の自動化が期待できる。別の有望な選択肢としてはGPTなどの言語モデルの利用であり、ChatGPTを用いたごく限定的なテストでは、タイトル、著者、見出し、段落などの認識をよい精度で行えるようである。現在は、これらのツールを利用して構造化されたテキストファイルの生成の自動化を試行しているところである。

本研究的目的是构建一个多学科日语论文语料库，用于大学一年级学生学术写作的研究。纳入语料库的论文，从便于收藏和跨学科性的角度出发，主要是在大学文献库中发表的期刊论文，经过构建文本语料库、用XML标签标注文档结构、词法分析、依存分析等。已计划。从去年开始，我们一直在考虑为论文创建索引、自动化收集 PDF 论文、OCR 等，但今年我们的重点是从 PDF 文件中提取和格式化文本数据的方法，针对的是已经嵌入文本的 PDF我考虑过。有 pdftotext 等命令行工具可以将 PDF 转换为文本文件，但输出数据是碎片文本列表，因此需要大量工作才能将其格式化为结构化文本。一些用于从 PDF 中提取文本的商业软件可以使用 GUI 来识别文本块，然后执行提取过程，但考虑到将处理大量文件，因此希望能够使用脚本自动化该过程。目前，领先的选项是Python的PDFminer库，它具有直观的行识别功能并输出文本块坐标信息，因此可以期望以坐标和缩进为线索来自动化格式化过程。另一个有前途的选择是使用 GPT 等语言模型，在非常有限的 ChatGPT 测试中，该模型似乎能够非常准确地识别标题、作者、标题、段落等。我们目前正在尝试使用这些工具自动生成结构化文本文件。