メニーコアCPUにおける冬眠コアのゼロ化

多核 CPU 中的零休眠核心

基本信息

批准号：
21650010
负责人：
山名早人
金额：
$ 2.11万
依托单位：
Waseda University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Exploratory Research
财政年份：
2009
资助国家：
日本
起止时间：
2009 至 2010
项目状态：
已结题

项目摘要

2010年度は、2009年度に開発したシステム自動最適化アルゴリズムの実機評価を目指した。本アルゴリズムはProducer-Consumer型のモジュール群で構築されたアプリケーションにおいて、メニーコアCPUを最大限に利用できるよう各モジュールに割り当てる計算機やスレッド数を自動で決定し、アプリケーションの性能を最適化することが目標である。研究には我々が開発している分散処理フレームワークであるQueueLinkerを用いた。2010年度は、まず、自動最適化アルゴリズムの評価用アプリケーションとしてWebクローラを開発し、QueueLinkerのプロトタイプにより動作を確認した。本クローラを構成するモジュールは全てProducer-Consumer型であり、QueueLinkerにより分散実行できる。実験に先立ち、本クローラがWebサーバにかける負荷を軽減するために、同一Webサーバに対するアクセス時間間隔の最小値を厳密に保証するクローリングスケジューラを開発した。本スケジューラは、時間計算量が0(1)であり、空間計算量の上限がクローリング対象のURL数に依存しない。本アルゴリズムはDEIM 2011において発表した。そして、開発したWebクローラをアプリケーションに用い、QueueLinkerの自動プロファイリング機能を開発した。本プロファイリング機能は、モジュールが使用するCPU時間や、ネットワーク通信量をプロファイリングできる。その後、昨年度開発したシステム自動最適化アルゴリズムを実際のプロファイリングデータを利用して動作するよう設計を修正した。本アルゴリズムは、各モジュールが使用するリソース量に基づいて、アプリケーションの性能が最大になるように、モジュールに割り当てる計算機やスレッド数を自動で決定するものである。

在2010年，我们旨在评估2009年开发的自动系统优化算法的实际机械。该算法的目的是自动确定使用使用一组生产商 - 消费者型模块构建的应用程序中分配给每个模块的计算机和线程的数量，以便将大型CPU用于应用程序的应用程序，以使应用程序使用效果。我们使用了Queuelinker，这是我们正在开发的分布式处理框架。在2010年，我们首先开发了一个Web爬网，以评估自动优化算法的应用程序，并使用Queuelinker的原型确认了其操作。构成该爬网的所有模块均为生产者 - 消费者类型，并且可以使用Queuelinker进行分配。在实验之前，为了减少该爬网手的负载，我们开发了一个爬行调度程序，该调度程序严格保证了同一Web服务器的最小访问时间间隔。该调度程序的时间计算量为0（1），空间计算量的上限不取决于要爬行的URL数量。该算法是在Deim 2011宣布的。然后，我们在应用程序中使用了开发的Web搜寻器来开发Queuelinker的自动分析功能。该分析功能可以介绍模块使用的CPU时间以及所使用的网络流量的数量。然后对设计进行修改，以操作去年使用实际分析数据开发的自动系统优化算法。该算法会根据每个模块使用的资源量自动确定分配给模块的计算机和线程数量，以便最大化应用程序的性能。