エージェントとの音声対話によるマルチメディア調理コンテンツの自動制作システム

通过与座席语音对话的多媒体烹饪内容自动制作系统

• 批准号: 18700120
• 负责人: 山肩 洋子
• 金额: $ 2.18万
• 依托单位: National Institute of Information and Communications Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2006
• 资助国家: 日本
• 起止时间: 2006 至 2007
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18700120/
• 关键词: コンテンツ; マルチメディア; エージェント; 調理; 音声対話; 自然言語理解

一般の調理者が自作の料理のレシピを作成し,WEBを通じて公開する例が急増している。料理法は言葉だけで説明するのは難しいので,一般の調理者にもテレビの料理番組のような教示コンテンツを作れるよう,調理中にエージェントが調理者と対話することで音声解説を加えたり,映像編集を行うシステムの実現をめざした。本年度は主に調理映像とレシピとの対応付けに注目し,(i)調理開始から終了までの一連の調理映像をレシピと対応付ける仕組みと,(ii)調理者の手の動きから食材の変遷を獲得する仕組みについて研究を行った。まず(i)については,調理の過程をフローグラフで表現する方法を利用し,映像認識結果とレシピをグラフレベルで対応付けることで,映像認識にある程度誤りが発生しても最適なマッチングを選ぶことで正しく対応付けることができることを示した。次に(ii)については,(i)において食材の変遷を認識することが重要であることが示されたことから,調理台を上方から撮影した映像より各食材を追跡することを考えた。食材は見た目が多様で,加工を受けて変化し,かつ混ぜられることでその個数も変わるため,視覚的特徴のみによる追跡は困難である。しかし食材の変化にはかならず調理者が介在することから,調理者の手の動きを抽出することで変化した食材を特定し,食材の追跡を行う仕組みを提案した。以上のような情報システムによる調理活動支援の試みは,日々の食事管理により病気を未然に防ぐことの必要性が叫ばれている昨今では,より重要なものとなっている。そこで京都大学教授の美濃導彦を中心に,電子情報通信学会の第三種研究会として「料理メディア研究会」を発足し,申請者もその幹事補佐として,調理支援に限らず健康医学や食育などの幅広い観点から人間の食を支援する情報システムのありかたを議論する活動を行ったことも本研究の成果の一つである。

普通厨师创建自己的食谱并在线发布的案例数量迅速增加。由于很难仅用单词来解释烹饪方法，因此我们旨在创建一个系统，在该系统中，代理可以通过在烹饪时与厨师互动来添加音频评论和视频编辑，以便普通厨师可以创建类似于电视烹饪计划的教学内容。今年，我们主要关注烹饪视频与食谱之间的关联，并研究了（i）一种机制，可以将一系列烹饪视频从头到尾与食谱结合在一起，以及（ii）从厨师手中获取成分变化的机制。首先，关于（i），我们证明，通过使用流程图表达烹饪过程的方法，图像识别结果和配方可以在图级上关联，即使在视频识别中发生了一些错误，也可以通过选择最佳匹配来正确匹配它。接下来，关于（ii），在（i）中表明，必须识别成分的变化很重要，因此我们考虑从烹饪桌上取的镜头跟踪每种成分。食物的外观各不相同，随着处理和混合而变化，并且它们的数量变化，因此很难仅根据视觉特征跟踪它们。但是，由于厨师始终进行成分的变化，因此我们提出了一种机制来通过提取厨师手的运动并跟踪成分来识别所改变的成分。在当今需要日常饮食管理以防止疾病的情况下，上述使用信息系统支持烹饪活动的尝试变得更加重要。这项研究的结果之一是，京都大学的教授Mino Douhiko将烹饪媒体研究小组建立为电子，信息和通信工程师协会的三等研究小组，申请人还担任助理秘书，讨论信息系统的性质，这些信息系统的性质，从广泛的角度支持人类食品，而不是仅仅是烹饪烹饪，医学和食物教育。

项目成果

京都大学学術情報メディアセンターSmart Kitchen Prolect ホームページ

京都大学学术信息和媒体中心智能厨房项目主页

「1に2を混ぜてください」 「1ってなんだっけ?」-調理法を音声で教示するための中間物の呼称の決定・理解-"

``请将 1 与 2 混合 ``1 是什么意思？ - 确定并理解中间体的名称，通过语音教授烹饪方法 -

• 发表时间: 2007
• 作者: 青山秀紀;尾関基行;中村裕一;山肩 洋子
• 通讯作者: 山肩 洋子