機械学習に基づくデータ駆動型ソフトウェア信頼性評価手法の開発

基于机器学习的数据驱动软件可靠性评估方法开发

• 批准号: 22K14440
• 负责人: 南野 友香
• 金额: $ 2.83万
• 依托单位: Tottori University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K14440/
• 关键词: ソフトウェア信頼度成長モデル; 変化点検出; Change Finder; ソフトウェア信頼性

ソフトウェアの品質/信頼性を評価するためには，テスト工程でのフォールト（いわゆるバグ）発見事象を数理モデル化したソフトウェア信頼度成長モデルの利用が有効である．従前のソフトウェア信頼度成長モデルは，テスト工程における環境が一定であり，ソフトウェア信頼度成長過程の傾向に変化がないことを前提としている．しかし，実際は，納期とテストの進捗状況に合わせたテスト要員数の増減や，テスト内容の変更などが行われる．このようなテスト環境の変化は，フォールト発見数データに変化点（チェンジポイント）を発生させ，ソフトウェア信頼度成長モデルに基づく信頼性評価の精度に影響を与えるといわれている．これまでに変化点を考慮したモデルが多く提案されたものの，開発管理者が意図的に発生させたテスト環境の変化を取り扱うことが多く，観測データの統計的変化については，その検出手法を含め，研究蓄積が少ない．そこで本研究では，機械学習の変化点検出エンジンであるChange Finderを用いて，フォールト発見数データから変化点を検出した．Change Finder は時系列データから外れ値と変化点を区別したうえで，データの傾向が急激に変化する時刻を検知する異常検知手法の１つである．本研究では，テスト環境の変化点が既知のフォールト発見数データを適用した．Change Finderにより，既知であるテスト環境の変化点が検出された場合は，テスト環境の変化がフォールト発見数データに統計的変化を与えたものと判断する．それ以外の変化点が検出された場合は，何らかの要因によりフォールト発見数データに統計的変化が生じたものと判断する．このような仮定の下，検出結果を変化点モデルに適用し，テスト環境の変化を考慮した場合と適合性比較を行うことで，Change Finderの有効性を確認した．

为了评估软件的质量/可靠性，使用软件可靠性增长模型是有效的，它是测试过程中发现的故障（所谓的错误）发生的数学模型。传统的软件可靠性增长模型假设测试过程中的环境不变，软件可靠性增长过程的趋势没有变化。然而，实际上，根据交付日期和测试进度，测试人员的数量会增加或减少，测试内容也会发生变化。测试环境的这种变化据说会在检测到的故障数量的数据中产生变化点，这会影响基于软件可靠性增长模型的可靠性评估的准确性。尽管到目前为止已经提出了许多考虑变化点的模型，但大多数模型都处理由开发经理故意引起的测试环境的变化，并且经常考虑观察到的数据的统计变化，包括其检测方法。研究积累很少。因此，在本研究中，我们使用机器学习变化点检测引擎 Change Finder 从故障发现计数数据中检测变化点。 Change Finder是一种异常检测方法，从时间序列数据中区分异常值和变化点，然后检测数据趋势快速变化的时间。在本研究中，我们应用了在测试环境中已知变化点发现的故障数量的数据。如果Change Finder在测试环境中检测到已知的变化点，则确定测试环境的变化引起了故障发现计数数据的统计变化。如果检测到任何其他变化点，则确定故障发现计数数据由于某种因素而发生统计变化。在这些假设下，我们通过将检测结果应用于变化点模型并将其适用性与考虑测试环境变化的情况进行比较，确认了 Change Finder 的有效性。

项目成果

ソフトウェア信頼性評価のための異常検知手法に基づくフォールト発見数データの変化点検出

基于软件可靠性评估异常检测方法的故障发现计数数据变化点检测

• 发表时间: 2023
• 作者: Nitta Yoshifuru;Ichikawa Yasuhisa;Niki Yoichi;Masuda Akiko;Hirata Koichi;檀上 心，南野友香，桑野将司，森山 卓，井上真二
• 通讯作者: 檀上 心，南野友香，桑野将司，森山 卓，井上真二