正当な電子メールの特徴を利用した言語の種類に依存しない迷惑メールフィルターの開発

开发利用合法电子邮件特征的独立于语言的垃圾邮件过滤器

• 批准号: 21700078
• 负责人: 杉井 学
• 金额: $ 2.83万
• 依托单位: Yamaguchi University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2009
• 资助国家: 日本
• 起止时间: 2009 至 2011
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21700078/
• 关键词: 迷惑電子メール; 機械学習; 電子メールフィルター; 迷惑電子メール; 機械学習; 電子メールフィルター

正当な電子メールの特徴に着目し、言語の種類に依存しない迷惑メールフィルターシステムを構築した。また、処理速度および分類精度の向上を図るため、電子メール受信モジュール、言語解析モジュール、機械学習モジュール、電子メール分類モジュールなどに分割したシステム設計を行った。特に、機械学習モジュールは別サーバ上での実行を想定して、データの自動入出力インターフェイスを実装した。これにより、比較的処理時間の長くかかる機械学習処理をクラスターPCなどの別サーバ上で処理することが可能となり、分類精度を低下させることなく処理時間の短縮が実現できた。また、分類精度のさらなる改善を目的に、学習に利用する電子メール情報(本文情報、メールヘッダ情報)の組み合わせを検討すると同時に、本プロジェクトで開発したものとは別のメールフィルタリングソフト(ベイジアンフィルタ)を併用して分類処理することで、より分類精度を高くできることを明らかにした。二つのフィルターシステムは、異なる指標でメール分類規則を導き出すため、今回の結果は、正規メールの回収率は高いが迷惑メールを多く混入してしまうベイジアンフィルタの短所を、本プロジェクトで開発したメールフィルターシステムが補完して、迷惑メールの混入を防ぐことが出来たことによる精度の向上と考えられた。さらに、分類判定のパラメーターを最適化することで、これまで約97%の分類正解率を、およそ99%に引き上げることができた。

为了关注合法电子邮件的特征，我们创建了一个不取决于语言类型的垃圾邮件过滤系统。此外，为了提高处理速度和分类精度，设计了一个系统，其中该系统被分为电子邮件接收模块，语言分析模块，机器学习模块，电子邮件分类模块等。特别是，机器学习模块已在单独的服务器上运行，已经实现了自动数据输入/输出接口。这使得可以处理在单独的服务器（例如群集PC）上需要相对较长处理时间的机器学习过程，并减少处理时间而不降低分类精度。此外，为了进一步提高分类准确性，我们已经检查了用于学习的电子邮件信息（主要文本信息，电子邮件标头信息）的组合，同时，我们透露，可以通过使用电子邮件过滤软件（贝叶斯过滤器）与该项目中开发的一个分开使用电子邮件过滤软件（贝叶斯过滤器）来提高分类精度。由于两个过滤器系统使用不同的指标得出了电子邮件分类规则，因此由于该项目中开发的电子邮件滤波器系统能够补充贝叶斯过滤器的缺点，因此该结果被认为是一种改进的准确性，对于常规电子邮件而言，贝叶斯过滤器的缺点率很高，但受到了很多垃圾邮件的污染，并且能够防止垃圾邮件包含垃圾邮件。此外，通过优化分类判断参数，分类的正确答案率约为97％，已提高到约99％。