HTML文書からの輪理構造自動推定に関する研究

HTML文档环结构自动估计研究

基本信息

批准号：
17700137
负责人：
吉田稔
金额：
$ 1.54万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for Young Scientists (B)
财政年份：
2005
资助国家：
日本
起止时间：
2005 至 2006
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-17700137/
关键词：
Web文書文書構造 XML EMアルゴリズムレイアウト

项目摘要

Web文書の文書構造を表現するモデルとして、前年度提案した「ヘッダ木」と呼ばれる木構造を採用し、これを精度良く推定するためのアルゴリズムについて研究を行った。アルゴリズムは、HTML文書を文字列のリストに変換し、文字列リスト中の各要素間の関係を推定することにより、ヘッダー木の抽出を行う。そのための手法として、「リストの隣り合う要素間の関係のEMアルゴリズムによる推定」と、「文法によるレイアウト構造の解析」という2つの方針を検討し、それらについて詳細な検討を行った。前者については、各種ヒューリステイクスに関係するパラメータの設定や、学習データ量の増加、適切な後処理のアルゴリズムの設計等を行い、精度が向上することを確認した。また、後者については、従来の自然文の構文構造解析にヒントを得、Probabilistic Context Free GrammarsやProbabilistic Tree Adjoining Grammars等の文法枠組に従って、レイアウト構造に関する統一的な確率モデルを構築した。さらに、通常のコーパスと比べノイズの多いWeb文書を適切に取り扱うための前処理に関しても、アルゴリズムの改良を行った。応用システムに関しては、「解析されたヘッダ木に基づき、検索語の文書構造内の位置を把握し、上位ヘッダ、並列要素、等を文脈として表示する」という新たな検索システムについて実装を進めた。それに伴い、検索語の曖昧性を解消するための手法についても研究を行った。

我们采用了去年提出的一种称为“标题树”的树结构作为表示Web文档的文档结构的模型，并研究了精确估计该结构的算法。该算法通过将 HTML 文档转换为字符串列表并推断字符串列表中每个元素之间的关系来提取标题树。为此，我们考虑了“使用EM算法估计列表中相邻元素之间的关系”和“使用语法分析布局结构”两种方法，并对它们进行了详细的研究。对于前者，我们确认通过设置与各种启发式相关的参数、增加训练数据量以及设计适当的后处理算法可以提高准确性。对于后者，我们借鉴传统的自然句子句法结构分析，根据概率上下文无关语法和概率树邻接语法等语法框架，构建了统一的布局结构概率模型。此外，我们改进了预处理算法，以正确处理比普通语料库噪音更大的网络文档。关于应用系统，我们实现了一个新的搜索系统，“根据分析的标题树了解搜索词在文档结构中的位置，并将更高级别的标题、并行元素等显示为上下文。”除此之外，我们还研究了消除搜索词歧义的方法。

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Automatic Term Extraction Based on Perplexity of Compound Words

DOI：
10.1007/11562214_24
发表时间：
2005-10
期刊：
影响因子：
0
作者：
Minoru Yoshida;Hiroshi Nakagawa
通讯作者：
Minoru Yoshida;Hiroshi Nakagawa

Reformatting Web Documents via Header Trees

通过标题树重新格式化 Web 文档

DOI：
发表时间：
2005
期刊：
影响因子：
0
作者：
Tsubone;Tadashi;Tsutsui;Kiyotaka;Muroga;Takeo;Wada;Yasuhiro;Minoru Yoshida and Hiroshi Nakagawa
通讯作者：
Minoru Yoshida and Hiroshi Nakagawa

NAYOSE : A System for Reference Disambiguation of Proper Nouns Appearing on Web Pages

NAYOSE：网页上出现的专有名词参考消歧系统