非加法的情報理論の構築とその学習理論への応用に関する研究

非可加性信息论的构建及其在学习理论中的应用研究

• 批准号: 14780259
• 负责人: 須鎗 弘樹
• 金额: $ 2.37万
• 依托单位: Chiba University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14780259/
• 关键词: 非加法的情報理論; サリスエントロピー; サリス統計; サリス統計における誤差法則; q-スターリングの公式; q-多項係数; サリス統計における中心極限定理; RNNPBモデル; サリス相互情報量; 一意性定理; シャノン-ヒンチンの公理系; 独立成分分析; ベイズ更新; ベイジアンネットワーク; 正規化されたサリスエントロピー; 超音波エコー情報

従来の情報理論は,シャノンエントロピーを基本情報量として用いていたため,取り扱う系が,指数分布族によって支配されているのに対して,本研究課題で進めていた非加法的情報理論では,シャノンエントロピーの1パラメータ拡張であるサリスエントロピーを基本情報量として用いてきた.この拡張により,取り扱う系が,指数分布族からべき分布族に拡張された.本年度,この拡張における非常に重要な結果を得た.具体的には,ガウスの誤差法則・スターリングの公式・多項係数・パスカルの三角形・中心極限定理などの,指数分布族における非常に重要な定理や公式がことごとく,べき分布族の系に拡張され,それらの関係についても数学的に証明された.(中心極限定理のみ,数値計算による確認.)これらについて,国際会議・国内の学会・論文投稿などを行い,驚きを持って迎えられた.さらに,従来,サリスエントロピー最大化原理による結果に付随していた問題を,本研究課題で用いた手法により,解析的に解決できた.これについても,現在,論文投稿中である.これらの結果は,べき分布族の系の基本定理であり,カオス・フラクタル・スケールフリーネットワークなどべき分布が本質的に重要になる系への応用が将来十分に見込まれる.上記の結果を,学習理論に現れるカオスへの応用を試みた.具体的には,フィードバックをもつリカレントニューラルネットワークにおいて,ロボットなどの行動を低い次元のパラメータに対応させることができるRNNPBモデルの学習に,カオスが現れることが知られており,その機構をサリスエントロピーのパラメータqとの関係を導きたかったが,これに関しては,PB空間の性質などを調べるにとどまり,具体的な関係を明らかにできなかった.今後,この研究については,随時進めていく予定である.

传统的信息论以香农熵作为基本信息量，因此它处理的系统以指数分布族为主，而在我们本研究追求的非加性信息论中，我们以香农熵作为基本信息量。我们一直在使用 Sallis 熵，它是 的单参数扩展。具体来说，指数分布族中所有非常重要的定理和公式，如高斯误差定律、斯塔林公式、多项式系数、帕斯卡三角形、中心极限定理等，都可以推广到幂分布族系统等。 （只有中心极限定理得到了数值计算的证实。）这些关系式在国际会议、国内学术会议和发表的论文中被提出，并引起了人们的惊讶。 - 我们能够使用本研究项目中使用的方法分析解决与最大化原理的结果相关的问题。目前正在提交有关该主题的论文。这些结果基于配电系列。混沌、分形、无标度网络等系统的基本定理，完全有望在未来应用于功率分布本质上很重要的系统。上述结果可以应用于学习理论中出现的混沌。具体来说，我们还尝试提供反馈。在循环神经网络中，众所周知，RNNPB模型的学习中会出现混沌，该模型可以将机器人和其他机器人的行为与低维参数相匹配，但是，在这方面，我们只研究了PB的属性。空间有限，还无法厘清具体关系。我们计划不时地继续这项研究。

项目成果

Hiroki Suyari: "Nonextensive entropies derived from form invariance of pseudoadditivity"Physical Rview E. 65. 066118-1-066118-7 (2002)

Hiroki Suyari：“从伪可加性的形式不变性导出的非广延熵”Physical Review E. 65. 066118-1-066118-7 (2002)

Fundamental Formulae and Numerical evidences for the Central Limit Theorem in Tsallis Statistics

Tsallis统计中中心极限定理的基本公式和数值证据

• 发表时间: 2005
• 期刊: Proc.31st Workshop of the International School of Solid State Physics (20-26 July 2004, Erice-Italy) 31(掲載予定)
• 作者: H.Suyari;M.Tsukada;H.Suyari
• 通讯作者: H.Suyari

Mathematical structure derived from Tsallis entropy

由 Tsallis 熵导出的数学结构

• 发表时间: 2004
• 期刊: The proceedings of the workshop on the concepts in information theory (AEW4) 2004
• 作者: 高井悠宇;須鎗弘樹;H.Suyari;H.Suyari
• 通讯作者: H.Suyari

Rigorous Derivation of Law of Error in Nonextensive Systems

非广延系统误差定律的严格推导

• 发表时间: 2004
• 期刊: The proceedings of the 2004 International Symposium on Information Theory and its Applications 2004(CD-ROM)
• 作者: H.Suyari;M.Tsukada;Y.Uesaka
• 通讯作者: Y.Uesaka

色情報を利用した自律移動型ロボットの自己位置同定の一手法

一种利用颜色信息进行自主移动机器人自定位的方法

• 发表时间: 2004
• 期刊: 電子情報通信学会2004ソサイエティ大会講演論文集 2004
• 作者: 遠藤弘基;田口祐介;須鎗弘樹
• 通讯作者: 須鎗弘樹