Infinitely Deep Neural Models and Dynamical Systems

无限深度神经模型和动力系统

基本信息

批准号：
21J14546
负责人：
MASSAROLI STEFANO
金额：
$ 0.96万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-28 至 2023-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J14546/
关键词：
Deep Learning Sequence Modeling Linear Systems deep learning neural differential eq.s implicit learning models

项目摘要

In the past year efforts have been focused on the integration of signal processing and deep learning. In particular, I have been working on the development of a new framework for the analysis and synthesis of convolution-based layers, which I call Deep Signal Processing. Interpreting convolutions as linear dynamical systems of finite or infinite dimensions sheds light on deep neural networks from a different angle.In this context, we studied deep neural networks designed to harness the structure in frequency domain for efficient learning of long-range correlations in space or time. Other notable research projects undertaken in the past few months include investigating the role of learning in the automated discovery of self-similarity patterns within data. To this end, we design a novel class of implicit operators which represent data as the parameters of a self-referential, structured transformation.

在过去的一年里，我们的工作重点是信号处理和深度学习的集成。特别是，我一直致力于开发一种用于分析和合成基于卷积的层的新框架，我将其称为深度信号处理。将卷积解释为有限或无限维度的线性动力系统，从不同的角度揭示了深度神经网络。在这种背景下，我们研究了深度神经网络，旨在利用频域结构来有效学习空间或空间中的远程相关性。时间。过去几个月进行的其他著名研究项目包括调查学习在自动发现数据中的自相似模式中的作用。为此，我们设计了一类新颖的隐式运算符，它将数据表示为自引用、结构化转换的参数。

项目成果

期刊论文数量（10）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

KAIST(韓国)

韩国科学技术院（韩国）

DOI：
发表时间：
期刊：
影响因子：
0
作者：
通讯作者：

Neural Solvers for Fast and Accurate Numerical Optimal Control

DOI：
10.48550/arxiv.2203.08072
发表时间：
2022-03
期刊：
ArXiv
影响因子：
0
作者：
Federico Berto;Stefano Massaroli;Michael Poli;Jinkyoo Park
通讯作者：
Federico Berto;Stefano Massaroli;Michael Poli;Jinkyoo Park

Neural Hybrid Automata: Learning Dynamics With Multiple Modes and Stochastic Transitions

神经混合自动机：具有多种模式和随机转换的学习动力学

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
Poli Michael;Massaroli Stefano;Scimeca Luca;Chun Sanghyuk;Oh Seong Joon;Yamashita Atsushi;Asama Hajime;Park Jinkyoo;Garg Animesh
通讯作者：
Garg Animesh

MILA - Quebec AI Institute(カナダ)

MILA - 魁北克人工智能研究所（加拿大）