Research on cloud storage systems for large-scale data processing applications

面向大规模数据处理应用的云存储系统研究

• 批准号: 22K17869
• 负责人: 大江 和一
• 金额: $ 2.91万
• 依托单位: National Institute of Informatics
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17869/
• 关键词: IOアクセスログ分析; ハイブリッドストレージ; キャッシュ置換アルゴリズム; 資源再配分; ストレージシステム; ワークロード分析; 動的再配置; 不揮発メモリ; クラウド

本年度は、各アプリケーションのIOアクセスの時間的・空間的局所性をリアルタイムに分析し、各アプリケーションに必要なデバイス領域とキャッシュ方式を選択する技術の確立を中心に進めた。まず、IOアクセスの時間的・空間的局所性をリアルタイムに分析するソフトウエアの実装と評価を行った。評価はMSR Cambridge Tracesの中からアクセス数が多い8ログを用いて行った。MSR Cambridge Tracesは、マイクロソフトリサーチの部門サーバの1週間分のIOアクセスログが公開となっており、同分野の研究者で広く利用されている。その結果、１）時間経過と共に必要となるデバイス領域とキャッシュ方式が変化していくこと、２）アプリケーションごとに１）の特徴が異なることを示した。さらに、この評価結果より、アプリケーションごとにデバイス領域の大きさとキャッシュ方式を動的に変更していくことで性能向上できることも示した。この成果は、IEICE CPSY1月研究会とIPSJ OS 2月研究会で発表した。各アプリケーションに必要なデバイス領域とキャッシュ方式を選択する部分は、設計を完了し実装を進めている段階である。アプリケーション運用中にデバイス領域とキャッシュ方式を前節の選択結果に基づいて再配置する技術は、概要設計まで進めた。並行してこの技術の実装に必要な不揮発メモリやInfinibandが搭載されたサーバの手配を行い、2022年度末までに実験に必要なソフトウエア等のインストールまで終了した。NVM領域を必要とするアプリケーションに割当て低遅延でアクセスする技術に関しては、Infiniband通信のベンチマークであるperftestを用いて購入機材の疎通確認まで進めた。

今年，我们专注于建立一项技术，该技术可以实时分析每个应用程序的IO访问的时间和空间位置，并选择每个应用程序所需的设备区域和缓存方法。首先，我们实施和评估了软件，以实时分析IO访问的时间和空间位置。使用8个日志进行评估，该日志数量最多，剑桥痕迹数量最多。 MSR Cambridge Traces已从Microsoft Research的部门服务器发布了一周的IO访问日志，并被同一领域的研究人员广泛使用。结果，结果表明1）所需的设备区域和缓存方法会随着时间的推移而更改，2）每个应用程序的特征不同。此外，评估结果表明，可以通过动态更改每个应用程序的设备区域的大小和缓存方法来提高性能。这些结果在IEICE CPSY 1月研究小组和IPSJ OS 2月研究小组中提出。选择每个应用程序所需的设备区域和缓存方法的部分是在设计完成并进行实现的阶段。根据上一节在应用程序操作期间选择结果重新定位设备区域和缓存方法的技术已提高到轮廓设计。同时，安排了实施此技术所需的非易失性内存和Infiniband的服务器，并在2022财政年度结束时，完成了实验所需的软件。关于用于分配和访问需要低潜伏期NVM空间的应用程序的技术，我们开始使用Perftest（Infiniband Communication的基准）确认购买设备的通信。

项目成果

IOアクセスパターンの時間経過分析、及びそれらを効果的に処理するストレージシステムの検討

分析随时间变化的 IO 访问模式并研究有效处理这些模式的存储系统

• 发表时间: 2023
• 作者: Presenter: Kazuki Miyao. Authors: Viktor Erdelyi;Kazuki Miyao;Akira Uchiyama;Tomoki Murakami.;大江和一;大江和一
• 通讯作者: 大江和一

サーバ集約環境で大規模データ処理アプリケーション運用が可能なストレージシステムの研究

研究可在服务器密集型环境中运行大规模数据处理应用的存储系统

• 发表时间: 2022
• 作者: Presenter: Kazuki Miyao. Authors: Viktor Erdelyi;Kazuki Miyao;Akira Uchiyama;Tomoki Murakami.;大江和一;大江和一;大江和一
• 通讯作者: 大江和一

大規模データ処理アプリケーション向け共有ストレージシステムの構想

用于大规模数据处理应用的共享存储系统的概念

• 发表时间: 2023
• 作者: Presenter: Kazuki Miyao. Authors: Viktor Erdelyi;Kazuki Miyao;Akira Uchiyama;Tomoki Murakami.;大江和一
• 通讯作者: 大江和一