Research on cloud storage systems for large-scale data processing applications

面向大规模数据处理应用的云存储系统研究

• 批准号: 22K17869
• 负责人: 大江 和一
• 金额: $ 2.91万
• 依托单位: National Institute of Informatics
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17869/
• 关键词: IOアクセスログ分析; ハイブリッドストレージ; キャッシュ置換アルゴリズム; 資源再配分; ストレージシステム; ワークロード分析; 動的再配置; 不揮発メモリ; クラウド

本年度は、各アプリケーションのIOアクセスの時間的・空間的局所性をリアルタイムに分析し、各アプリケーションに必要なデバイス領域とキャッシュ方式を選択する技術の確立を中心に進めた。まず、IOアクセスの時間的・空間的局所性をリアルタイムに分析するソフトウエアの実装と評価を行った。評価はMSR Cambridge Tracesの中からアクセス数が多い8ログを用いて行った。MSR Cambridge Tracesは、マイクロソフトリサーチの部門サーバの1週間分のIOアクセスログが公開となっており、同分野の研究者で広く利用されている。その結果、１）時間経過と共に必要となるデバイス領域とキャッシュ方式が変化していくこと、２）アプリケーションごとに１）の特徴が異なることを示した。さらに、この評価結果より、アプリケーションごとにデバイス領域の大きさとキャッシュ方式を動的に変更していくことで性能向上できることも示した。この成果は、IEICE CPSY1月研究会とIPSJ OS 2月研究会で発表した。各アプリケーションに必要なデバイス領域とキャッシュ方式を選択する部分は、設計を完了し実装を進めている段階である。アプリケーション運用中にデバイス領域とキャッシュ方式を前節の選択結果に基づいて再配置する技術は、概要設計まで進めた。並行してこの技術の実装に必要な不揮発メモリやInfinibandが搭載されたサーバの手配を行い、2022年度末までに実験に必要なソフトウエア等のインストールまで終了した。NVM領域を必要とするアプリケーションに割当て低遅延でアクセスする技術に関しては、Infiniband通信のベンチマークであるperftestを用いて購入機材の疎通確認まで進めた。

今年，我们重点建立一种技术，实时分析每个应用程序IO访问的时间和空间局部性，并选择每个应用程序所需的设备区域和缓存方式。首先，我们实现并评估了实时分析 IO 访问的时间和空间局部性的软件。使用来自 MSR Cambridge Traces 的 8 个最常访问的日志进行评估。 MSR Cambridge Traces 为微软研究院的部门服务器提供了一周的 IO 访问日志，并被同一领域的研究人员广泛使用。结果表明，1) 所需的设备区域和缓存方法随时间而变化，2) 1) 的特性因应用而异。此外，评估结果表明，通过动态改变每个应用程序的设备区域大小和缓存方法可以提高性能。该结果在 IEICE CPSY 1 月研究会议和 IPSJ OS 2 月研究会议上公布。每个应用所需的设备区域选择和缓存方式的设计已经完成，目前正在实施中。根据上一节的选择结果在应用程序运行期间重新定位设备区域和缓存方法的技术已经推进到基础设计阶段。与此同时，我们安排了配备实施该技术所需的非易失性存储器和Infiniband的服务器，并在2022年底前完成了实验所需软件的安装。关于将 NVM 空间分配给需要它的应用程序并以低延迟访问它的技术，我们继续使用 Infiniband 通信基准 perftest 来验证所购买设备的连接性。

项目成果

IOアクセスパターンの時間経過分析、及びそれらを効果的に処理するストレージシステムの検討

分析随时间变化的 IO 访问模式并研究有效处理这些模式的存储系统

• 发表时间: 2023
• 作者: Presenter: Kazuki Miyao. Authors: Viktor Erdelyi;Kazuki Miyao;Akira Uchiyama;Tomoki Murakami.;大江和一;大江和一
• 通讯作者: 大江和一

大規模データ処理アプリケーション向け共有ストレージシステムの構想

用于大规模数据处理应用的共享存储系统的概念

• 发表时间: 2023
• 作者: Presenter: Kazuki Miyao. Authors: Viktor Erdelyi;Kazuki Miyao;Akira Uchiyama;Tomoki Murakami.;大江和一
• 通讯作者: 大江和一

サーバ集約環境で大規模データ処理アプリケーション運用が可能なストレージシステムの研究

研究可在服务器密集型环境中运行大规模数据处理应用的存储系统

• 发表时间: 2022
• 作者: Presenter: Kazuki Miyao. Authors: Viktor Erdelyi;Kazuki Miyao;Akira Uchiyama;Tomoki Murakami.;大江和一;大江和一;大江和一
• 通讯作者: 大江和一