General-purpose deep learning theory for ultra-low computational complexity and low capacity in the age of edge AI

边缘AI时代超低计算复杂度和低容量的通用深度学习理论

基本信息

批准号：
21H03456
负责人：
小川貴弘
金额：
$ 10.82万
依托单位：
Hokkaido University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2026-03-31
项目状态：
未结题

项目摘要

本研究課題では、エッジAI時代の超低演算量・低容量化を実現する汎用深層学習理論の構築を目指している。研究代表者が進めてきた低演算量・低容量バイナリスパース表現技術とクロスモーダル埋め込み技術の研究を融合させ、AIの演算量と学習データ量を大幅に削減可能な新たな理論を構築する。具体的に、最先端の深層学習モデルをバイナリスパース表現により模倣し、さらに、他のモダリティからの知識転移を行うことで、深層学習の利点である高い精度を保持しつつ、演算量削減と学習データ量の小規模化を同時に実現する。本研究課題では、構築理論の汎用性を示すとともに、エッジデバイス上での評価検証を行う。尚、本研究課題は研究分担者とともに遂行し、実施項目である「① モデルクローニング技術の実現による演算量の削減」および「② クロスモーダル知識転移技術の実現による学習データ量の小規模化」については、①の研究を小川・藤後が、②の研究を小川・前田が実施する。令和4年度は、「バイナリスパース深層学習モデルの実現」を目指し、研究を遂行した。具体的に、演算量削減と学習データ量の小規模化のそれぞれを以下のように実現した。まず、構築済みの「深層学習モデルの中間層出力」と「バイナリスパース深層学習モデルの中間出力」との相関を最大化する理論に、データの近似誤差最小化を可能にする損失関数を新たに組み込むことで、各中間層出力を低演算量のバイナリスパース表現で模倣するモデルクローニングを実現した。次に、異なる種類のモダリティの相関を最大化する理論を構築することで、学習データ量の不足をモダリティ相関に基づき補間するクロスモーダル知識転移を実現した。研究成果の対外発表についても積極的に行い、コンピュータビジョン分野のトップ国際会議ECCVへの採択や、信号処理分野のトップ国際会議ICASSPへの採択に至った。

该研究项目旨在构建一种通用的深度学习理论，在边缘人工智能时代实现超低的计算复杂度和容量。通过结合首席研究员一直在追求的低计算、低容量的二进制稀疏表示技术和跨模态嵌入技术的研究，我们将构建一种可以显着减少AI计算量和训练数据量的新理论。具体来说，通过使用二进制稀疏表示来模仿最先进的深度学习模型，并进一步迁移其他模态的知识，我们可以在保持深度学习优势的高精度的同时减少计算量和学习量。数据量。在本研究项目中，我们将展示构建理论的多功能性，并在边缘设备上进行评估验证。该研究项目将与共同研究人员共同开展，实施项目“①通过实现模型克隆技术减少计算量”和“②通过实现跨模态知识迁移减少学习数据量” ”①的研究将由小川和藤乡进行，而②的研究将由小川和前田进行。 2020财年，我们进行了以“实现二元稀疏深度学习模型”为目标的研究。具体来说，我们通过以下方式减少了计算量并减少了训练数据量。首先，我们在最大化已构建的“深度学习模型的中间层输出”和“二元稀疏深度学习模型的中间输出”之间的相关性的理论中添加了一个新的损失函数，该函数可以最小化数据逼近误差。通过合并它，我们实现了模型克隆，使用二进制稀疏表示和少量计算来模拟每个中间层的输出。接下来，通过构建一种最大化不同类型模态之间相关性的理论，我们实现了跨模态知识转移，弥补了基于模态相关性的训练数据的缺乏。我们还积极对外展示我们的研究成果，入选计算机视觉领域国际顶级会议ECCV和信号处理领域国际顶级会议ICASSP。