一般化相対エントロピーの幾何学的、情報論的性質の解明と工学的応用

阐明广义相对熵的几何和信息性质及其工程应用

• 批准号: 12750058
• 负责人: 下川 英敏
• 金额: $ 1.41万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 2000
• 资助国家: 日本
• 起止时间: 2000 至 2001
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-12750058/
• 关键词: 相対エントロピー; レニーエントロピー; 仮説検定; 多端子システム; エラーレート; 双対問題; 平均場近似

相対エントロピー(カルバックライブラーダイバージェンス)の定義を拡張して得られる,一般化相対エントロピー,あるはα-ダイバージェンスと呼ばれる,2つの確率分布と1次元のパラメータによって定まる確率分布の空間における擬距離について.統計学や情報理論,情報幾何学の観点から研究を行なった.本年度においては,情報理論的な枠組において,多端子システム(Slepian-Wolf system)における情報源圧縮の問題を研究した.多端子システムの信頼性関数のランダム符号化限界が,条件付きエントロピーに対応する一般化相対エントロピーと双対な関係にあることは,代表者の研究によって明らかにされていたが,その信頼性関数の下界はレートが高い部分に関しては,一般に知られている上界と一致しない.本研究では,情報理論的な符号化方法,具体的には,線形符号化とタイプを利用した数え上げ符号を,情報源の出力に応じて,適応的に組み合わせることによって,その下界が改善される可能性を理論的に示した.また,バイナリ通信路に関しては,数値計算によって,今まで知られている下界に比べて,レートが高い領域において,確かに改善されていることを示した.この新たに導出された下界は,最適化問題の解として与えられるが,この問題の双対問題を考えることによって,一般化エントロピーに似た量が得られる.この量は,多端子システムに固有のエントロピーと考えられるが,多端子システム以外にどのような操作的な意味を持つかを解明すること,また,この下界を達成することができる実用的な符号を構成することが,現在の課題である.

相对熵的定义（Calvack Liveer Divergence）是通过扩展广义相对熵（特定或α-Diverjence）的定义而获得的，这是由两个概率分布和一维参数确定的空间中的伪距离从统计学，信息理论和信息几何形状的角度进行了研究。可靠函数的可靠函数的限制是与条件熵相对应的概括相对熵的两个裂纹关系，但是可靠性函数的下世界是关于高部分的速率。最高的世界二进制通信路径的速率与迄今为止通过数值计算所知的速度相比，它表明它在高区域中得到了改善。与此问题相关的问题，它类似于概括。要实现这个较低的世界。

项目成果

下川 英敏: "多端子システムの高レート領域における信頼性関数"第24回情報理論とその応用シンポジウム予稿集. I. 39-42 (2001)

Hidetoshi Shimokawa：“多终端系统高速率区域的可靠性函数”第 24 届信息理论及其应用研讨会论文集 I. 39-42 (2001)。

S.Amari, S.Ikeda, H.Shimokawa: "Information Geometry of α-projection in Mean Field Approximation"Advanced Mean Field Methods : Theory and Practice Man fred Opper and David Saad(eds.) MIT press. 241-257 (2001)

S.Amari、S.Ikeda、H.Shimokawa：“平均场近似中 α 投影的信息几何”高级平均场方法：理论与实践 Man fred Opper 和 David Saad（编辑）麻省理工学院出版社 241-257（2001 年） ）

S.Amari,S.Ikeda and H.Shimokawa: "Information Geometry of α-projection in Mean Field Approximation"Advanced Mean Field Methods : Theory and Practice Mantred Opper and David Saad (eds.) MIT Press. 241-257 (2001)

S.Amari、S.Ikeda 和 H.Shimokawa：“平均场近似中 α 投影的信息几何”高级平均场方法：理论与实践 Mantred Opper 和 David Saad（编辑）麻省理工学院出版社 241-257（2001）。