Implementing Home Care Assistant System Understanding Intentions and Minds

实施家庭护理助理系统了解意图和想法

• 批准号: 22J13217
• 负责人: 陳 思楠
• 金额: $ 1.41万
• 依托单位: Kobe University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-22 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22J13217/
• 关键词: コンピュータビジョン; 事前学習済みモデル; 介護コンテキスト; 非言語情報; 支援技術; スマートヘルスケア

令和4年度は在宅介護において，主にA. 観察対象を区別する対話型エッジ顔識別システムの検討 B. 非言語情報に基づく対象者の日常必要な見守りの認識手法の検討を行った．具体的な検討内容として，まず，ユーザとエージェントの音声対話による学習データの自動生成と，事前学習済みモデルを用いた顔特徴量の取得・比較を検討している．そのため，システム構成である (1)既存データの読み込みと特徴抽出 (2)新たな学習データの取得と特徴抽出 (3) 既存データと学習データの特徴比較 (4)識別結果に基づくエージェント対話，4つについて提案をしている．その結果，ユーザのプライバシー課題とデータを学習・関連するプロセス，およびシステム導入容易性を改善することが可能になったと言える．また，識別できた対象者に対し，日常必要な見守り（介護コンテキストと呼ぶ）の認識手法を検討している．USB定点カメラから取得したライブ画像をTensorFlowの事前学習済みモデルに入力し，時系列上で出力された画像内の人間の位置ごとに，非言語情報 (顔，骨格，手の特徴点の2D座標など) の特徴を用いて学習・分類を行っている．これらの特徴を統合することでリアルタイムに対象者の状態変化を把握することが可能になる．これまでの研究成果として，日本機械学会において発表を行っている．また，国際会議BalkanCom2022，および国際会議HCII2023においての成果報告を行っている．さらに，本課題において，関連するその他の研究成果も国際会議論文3編を発表している．

2020财年，我们主要关注A.用于区分家庭护理中观察对象的交互式边缘人脸识别系统B.基于非语言信息识别对象日常监控的方法。具体来说，我们正在考虑通过用户和代理之间的语音对话自动生成学习数据，并使用预先训练的模型获取和比较面部特征。因此，系统配置如下：（1）读取现有数据并提取特征，（2）获取新的学习数据并提取特征，（3）比较现有数据和学习数据的特征，（4）基于识别的Agent对话结果，我正在提出一项建议。结果，可以说，改进了学习和关联数据与用户隐私问题的过程以及系统引入的简易性成为可能。我们还在研究一种识别已识别受试者的日常监测（称为护理环境）的方法。从 USB 定点摄像头获取的实时图像被输入到 TensorFlow 的预训练模型中，并在输出的图像中提取每个人体位置的非语言信息（面部、骨骼和手的特征点的 2D 坐标）。时间序列的学习和分类是使用（例如）的特征进行的。通过整合这些功能，可以实时了解对象状态的变化。迄今为止的研究成果已在日本机械工程师学会上发表。我们还在国际会议 BalkanCom2022 和国际会议 HCII2023 上报告我们的结果。此外，与该项目相关的其他相关研究成果已在三篇国际会议论文中发表。

项目成果

Quantitative Expression of Elderly Multi-Modal Emotions with Spoken Dialogue Agent and Edge AI

利用语音对话智能体和边缘人工智能定量表达老年人多模态情绪

• 发表时间: 2023
• 作者: Tomoyuki Ito;Thuy Duong Nguyen;Yutaka Saito;Yoichi Kurumida;Hikaru Nakazawa;Sakiya Kawada;Hafumi Nishi;Koji Tsuda;Tomoshi Kameda;Mitsuo Umetsu.;Sinan Chen,Masahide Nakamura,Kenji Sekiguchi;Sinan Chen,Hayato Ozono,Masahide Nakamura,Kiyoshi Yasuda
• 通讯作者: Sinan Chen,Hayato Ozono,Masahide Nakamura,Kiyoshi Yasuda

Study of Multi-Modal Diary Service Using Spoken Dialogue Agent for Self-Care in Elderly People

• DOI: 10.1109/icoseit55604.2022.10029995
• 发表时间: 2022-11
• 期刊: 2022 1st International Conference on Software Engineering and Information Technology (ICoSEIT)
• 作者: Sinan Chen;Masahide Nakamura

Developing a Facial Identification System Using Pre-Trained Model and Spoken Dialogue Agent

使用预训练模型和语音对话代理开发面部识别系统

• 发表时间: 2022
• 作者: Kagawa Takuhiro;Saiki Sachio;Nakamura Masahide;岡本大,陳思楠,中村匡秀;中田 匠哉,陳 思楠,佐伯幸郎,中村 匡秀;大薗隼人,陳思楠,中村匡秀;Sinan Chen,Hayato Ozono,Masahide Nakamura,Kiyoshi Yasuda;中田 匠哉,陳 思楠,佐伯幸郎,中村 匡秀;寺川 航平,陳 思楠,佐伯幸郎,中村 匡秀;堀江 寛,陳 思楠,中村 匡秀,安田 清;金田真輝,陳思楠,佐伯幸郎,中村匡秀;吉田健,陳思楠,佐伯幸郎,中村匡秀;田坂風月,陳思楠,佐伯幸郎,中村匡秀;定光郁斗,陳思楠,佐伯幸郎,中村匡秀;松場建都,佐伯幸郎,中村匡秀;中村匡秀;陳思楠,中村匡秀,関口兼司;Sinan Chen,Hayato Ozono,Masahide Nakamura;Hayato Ozono,Sinan Chen,Masahide Nakamura;Takuya Nakata,Tasuku Watanabe,Sinan Chen,Masahide Nakamura;Hayato Ozono,Sinan Chen,Masahide Nakamura;Yuko Yamaguchi,Zhang Xuanrong,Sonoko Kabaya,Masahide Nakamura,Chieko Greiner;Takumi Akashi,Masahide Nakamura,Kiyoshi Yasuda,Sachio Saiki;Kohei Terakawa,Sinan Chen,Masahide Nakamura;Hiro Horie,Sinan Chen,Masahide Nakamura,Kiyoshi Yasuda;Aoi Nagatani,Sinan Chen,Masahide Nakamura;Tomoro Nakahashi,Sinan Chen,Masahide Nakamura;Sinan Chen,Masahide Nakamura
• 通讯作者: Sinan Chen,Masahide Nakamura

A Study for Estimating Caregiving Contexts Based on Extracting Nonverbal Information from Elderly People at Home

基于提取家中老年人非语言信息估计护理情境的研究

• 发表时间: 2023
• 作者: Sinan Chen;Masahide Nakamura;and Kiyoshi Yasuda
• 通讯作者: and Kiyoshi Yasuda

事前学習済みモデルと音声対話エージェントを用いた顔識別システムの開発

使用预训练模型和语音交互代理开发人脸识别系统

• 发表时间: 2022
• 作者: Kagawa Takuhiro;Saiki Sachio;Nakamura Masahide;岡本大,陳思楠,中村匡秀;中田 匠哉,陳 思楠,佐伯幸郎,中村 匡秀;大薗隼人,陳思楠,中村匡秀;Sinan Chen,Hayato Ozono,Masahide Nakamura,Kiyoshi Yasuda;中田 匠哉,陳 思楠,佐伯幸郎,中村 匡秀;寺川 航平,陳 思楠,佐伯幸郎,中村 匡秀;堀江 寛,陳 思楠,中村 匡秀,安田 清;金田真輝,陳思楠,佐伯幸郎,中村匡秀;吉田健,陳思楠,佐伯幸郎,中村匡秀;田坂風月,陳思楠,佐伯幸郎,中村匡秀;定光郁斗,陳思楠,佐伯幸郎,中村匡秀;松場建都,佐伯幸郎,中村匡秀;中村匡秀;陳思楠,中村匡秀,関口兼司;Sinan Chen,Hayato Ozono,Masahide Nakamura;Hayato Ozono,Sinan Chen,Masahide Nakamura;Takuya Nakata,Tasuku Watanabe,Sinan Chen,Masahide Nakamura;Hayato Ozono,Sinan Chen,Masahide Nakamura;Yuko Yamaguchi,Zhang Xuanrong,Sonoko Kabaya,Masahide Nakamura,Chieko Greiner;Takumi Akashi,Masahide Nakamura,Kiyoshi Yasuda,Sachio Saiki;Kohei Terakawa,Sinan Chen,Masahide Nakamura;Hiro Horie,Sinan Chen,Masahide Nakamura,Kiyoshi Yasuda;Aoi Nagatani,Sinan Chen,Masahide Nakamura;Tomoro Nakahashi,Sinan Chen,Masahide Nakamura;Sinan Chen,Masahide Nakamura;陳思楠,中村匡秀
• 通讯作者: 陳思楠,中村匡秀