機械学習に基づくデータ駆動型ソフトウェア信頼性評価手法の開発

基于机器学习的数据驱动软件可靠性评估方法开发

• 批准号: 22K14440
• 负责人: 南野 友香
• 金额: $ 2.83万
• 依托单位: Tottori University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K14440/
• 关键词: ソフトウェア信頼度成長モデル; 変化点検出; Change Finder; ソフトウェア信頼性

ソフトウェアの品質/信頼性を評価するためには，テスト工程でのフォールト（いわゆるバグ）発見事象を数理モデル化したソフトウェア信頼度成長モデルの利用が有効である．従前のソフトウェア信頼度成長モデルは，テスト工程における環境が一定であり，ソフトウェア信頼度成長過程の傾向に変化がないことを前提としている．しかし，実際は，納期とテストの進捗状況に合わせたテスト要員数の増減や，テスト内容の変更などが行われる．このようなテスト環境の変化は，フォールト発見数データに変化点（チェンジポイント）を発生させ，ソフトウェア信頼度成長モデルに基づく信頼性評価の精度に影響を与えるといわれている．これまでに変化点を考慮したモデルが多く提案されたものの，開発管理者が意図的に発生させたテスト環境の変化を取り扱うことが多く，観測データの統計的変化については，その検出手法を含め，研究蓄積が少ない．そこで本研究では，機械学習の変化点検出エンジンであるChange Finderを用いて，フォールト発見数データから変化点を検出した．Change Finder は時系列データから外れ値と変化点を区別したうえで，データの傾向が急激に変化する時刻を検知する異常検知手法の１つである．本研究では，テスト環境の変化点が既知のフォールト発見数データを適用した．Change Finderにより，既知であるテスト環境の変化点が検出された場合は，テスト環境の変化がフォールト発見数データに統計的変化を与えたものと判断する．それ以外の変化点が検出された場合は，何らかの要因によりフォールト発見数データに統計的変化が生じたものと判断する．このような仮定の下，検出結果を変化点モデルに適用し，テスト環境の変化を考慮した場合と適合性比較を行うことで，Change Finderの有効性を確認した．

为了评估软件质量/可靠性，使用软件可靠性增长模型，该模型在测试过程中使用数学上对故障（所谓的错误）发现事件进行建模的软件可靠性增长模型。先前的软件可靠性增长模型假设测试过程中的环境是恒定的，并且软件可靠性增长过程的趋势没有变化。但是，实际上，测试人员的数量增加或减少，具体取决于交付日期和测试进度以及测试内容的变化。据说，测试环境中的这种变化将导致故障发现数据的变化（变化点），这将基于软件可靠性增长模型影响可靠性评估的准确性。尽管已经提出了许多模型考虑到变化的点，但开发经理经常处理有意生成的测试环境中的变化，研究积累很小，包括检测方法用于观察到的数据的统计变化。因此，在这项研究中，我们使用了机器学习变更点检测引擎的变更发现器来检测故障发现数据的变更点。更改Finder是区分离群值和更改点与时间序列数据的异常检测方法之一，并检测数据趋势迅速变化的时间。在这项研究中，我们应用了有关测试环境中发现的故障数量的数据。如果更改Finder检测到测试环境中的已知变更点，则确定测试环境中的变化导致故障发现数据的统计更改。如果检测到任何其他变更点，则确定由于某些原因而发生了检测到的数据的统计更改。在这些假设下，将检测结果应用于变更点模型，并在考虑了测试环境中的更改时进行了适用性比较，并确认了更改查找器的有效性。

项目成果

ソフトウェア信頼性評価のための異常検知手法に基づくフォールト発見数データの変化点検出

基于软件可靠性评估异常检测方法的故障发现计数数据变化点检测

• 发表时间: 2023
• 作者: Nitta Yoshifuru;Ichikawa Yasuhisa;Niki Yoichi;Masuda Akiko;Hirata Koichi;檀上 心，南野友香，桑野将司，森山 卓，井上真二
• 通讯作者: 檀上 心，南野友香，桑野将司，森山 卓，井上真二