Basic framework of the asymptotic best-response model with deep-reinforcement learning in the traffic simulation applications

交通仿真应用中深度强化学习渐近最佳响应模型的基本框架

• 批准号: 20K04719
• 负责人: 宮城 俊彦
• 金额: $ 2.75万
• 依托单位: Gifu University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K04719/
• 关键词: 離散的動的経路選択モデル; 漸近的最適応答; Nash均衡; 交通ネットワークシミュレーション; 深層強化学習; ゲーミフィケーション; 道路交通マネジメント; 交通流シミュレーション; ゲーム理論; 動的交通流配分; 強化学習; 交通流シミュレーションモデル; 深層学習; 一般化弱仮想プレイ; 確率近似理論; リカレントニューラルネットワーク; Day-to-day 動的配分; ナッシュ均衡; 動学的交通量配分; 離散的動的経路選択モデル; 漸近的最適応答; Nash均衡; 交通ネットワークシミュレーション; 深層強化学習; ゲーミフィケーション; 道路交通マネジメント; 交通流シミュレーション; ゲーム理論; 動的交通流配分; 強化学習; 交通流シミュレーションモデル; 深層学習; 一般化弱仮想プレイ; 確率近似理論; リカレントニューラルネットワーク; Day-to-day 動的配分; ナッシュ均衡; 動学的交通量配分

本研究は、交通システムを利用する個々のユーザーを個別の意思決定者と捉え、特に経路選択行動を対象にゲーム論的なマルチユーザーシステムとしてモデル化し、その日々の選択行動を学習モデルして定式化し、短期政策効果をシミュレーションする手法の確立を目的としている。本研究で提案された手法を漸近的最適応答(ABR)モデルと呼び、確率的・動的に変動するネットワーク分析に有用である。ABRの動的安定性解析は微分包含で表され、再帰的な複数Nash均衡に収束する。ABRはミクロ交通流シミュレーションモデルと併用することにより、シミュレーションベースの動的経路選択モデルとして機能するが、非連続な交通費用関数の場合を含む複雑なコスト関数の場合にも適用可能であり、また、異なる時間価値のマルチユーザーの場合にもNash均衡に収束する点で汎用性がある。このような離散的動的モデルの実用性をさらに高めるために、深層強化学習と組み合わせることにより、追い越し行動などのドライバーのより複雑な挙動をモデル化することが当該年度の課題であった。しかし、シングルユーザーの場合の解析は終了したもののマルチユーザーの場合のシステムの安定性が課題として残された。ABRは、利用者の自己組織的な学習行動に基礎を置くが、交通システムの実際の運用においては道路管理者がユーザーに交通情報を提供することによって何らかの形で介入することも必要になろう。この目的のため、ゲーミフィケーションを用いた道路交通マネージメントの可能性を検討課題とした。すなわち、行動変容には内発的な動機付けのみならず外発的動機付けも必要であるとのアイデアである。ABRとゲーミフィケーションは全く異なるアプローチに思えるが強化学習理論の枠内で統一的なモデル化が可能である。

这项研究旨在建立一种方法，以查看使用运输系统作为个别决策者的个体用户，尤其是将路线选择行为建模为游戏理论多用户系统，学习模型和制定日常选择行为以及模拟短期政策效果。本研究中提出的方法称为渐近最佳响应（ABR）模型，对于随机和动态变化的网络分析非常有用。 ABR的动态稳定性分析表示为差分包含，并收敛到递归的多纳什平衡。当与微流量流仿真模型结合使用时，ABR作为基于模拟的动态路线选择模型的功能，但适用于复杂的成本功能，包括不连续的交通成本功能，并且具有多种多项，因为它在具有不同时间值的多用户的NASH平衡中收敛。为了进一步增强此类离散动态模型的实用性，当年的挑战是通过将它们与深度强化学习相结合来对驾驶员的更复杂行为（例如超车行为）进行建模。但是，尽管对单个用户的分析已经完成，但多用户用户的系统稳定性仍然是一个问题。尽管ABR基于用户的自组织学习行为，但在交通系统的实际操作中，道路经理也有必要通过向用户提供流量信息来以某种方式进行干预。为此，考虑了使用游戏化的道路交通管理的可能性。换句话说，这个想法是行为改变不仅需要内在动机，还需要外在动机。尽管ABR和游戏化似乎是完全不同的方法，但它们可以在强化学习理论的框架内建立统一。