マルチメディアの相互補完的協調利用による感覚障害者間の伝達支援に関する研究

多媒体互补协作使用对感觉障碍人群沟通支持的研究

基本信息

批准号：
12780140
负责人：
清田公保
金额：
$ 1.22万
依托单位：
Kumamoto National College of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
2000
资助国家：
日本
起止时间：
2000 至 2001
项目状态：
已结题

项目摘要

本研究は,感覚障害者間の双方向コミュニケーションを実現するためのコミュニケーションエイドとなる通信端末インタフェースを開発すると共に,映像・音声・テキストが有意的に結合されたマルチメディア言語の基本設計思想の確立とその有効性を明らかにすることを目的とする.本研究では,日本版PICと呼ばれる絵図画に音声情報と動作情報を含めたものをマルチメディア言語として新たに定義し,この言語を利用したコミュニケーション支援システムの構築を検討した.提案するマルチメディア言語では,日本版PICを基にPICカードをスキャナーで取り込み画像ファイルとし,これに音声出力用WAVファイル(読み上げファイル),テキスト情報を付加した.この情報ファイルをマルチメディアカードと呼び,視覚障害者と聴覚障害者の両方に共通に利用可能なコミュニケーション言語の基本用語として定義化し,データベースを作成した(現在,登録語1071種).さらに,静止画では表現しにくい動詞を表す用語については動画を採用することを提案し,効果的な速度,コマ数,動作表現法などの評価実験を行い,最適な設定値の選定を行った.このようにして作成したマルチメディアカードには,名詞や動詞,副詞,形容詞など会話に必要な基本用語が登録されており,感覚障害者間の双方向のコミュニケーションを行うのに必要な日常会話に用いられる用語や動作,感情表現,固有名詞などを表すマルチメディアカードの基本言語を確立することができた.しかし,このマルチメディア言語を用いてコミュニケーションを行うためには視覚障害者と聴覚障害者の固有の障害を吸収するために別々のユーザインタフェースが必要となった.そこでマルチメディアカードの選別法として,聴覚障害者には,視覚ベース(絵カード),視覚障害者にはペン入力ベースのユーザインタフェースを構築し,簡単な会話に対しては本言語の有用性を確認した.さらに,双方のコミュニケーションを支援するための擬人化エージェントのサポート効果が非常に有効であるとの知見が得られた.

本研究旨在开发一种通信终端界面，作为通信辅助工具，实现感官障碍人士之间的双向通信，并建立有意义地将视频、音频和文本结合在一起的多媒体语言的基本设计概念。在这项研究中，我们新定义了日语版的PIC，其中包括图片中的音频信息和运动信息，作为一种多媒体语言，并考虑使用该语言开发一种语言来构建一个通信支持系统。所提出的多媒体语言是基于日语版的PIC，使用扫描仪将PIC卡扫描成图像文件，并在其中添加用于音频输出（读取文件）的WAV文件和文本信息。这个信息文件是我们将其定义为视觉障碍者和听力障碍者通用的交流语言的基本术语，并创建了数据库（目前已注册1071个单词）。此外，我们定义了动词难以用静态图像来表达。我们提出使用视频，并进行了评估实验以确定有效速度、帧数、动作表达方法等，并选择了对话所需的基本术语（如单词、动词、副词和形容词）的最佳设置值。已注册。使用这种多媒体语言，我们能够为多媒体卡建立一种基本语言，表示日常对话中使用的术语、动作、情感表达、专有名词等，这是感官障碍人士之间双向交流所必需的。为了进行交流，需要不同的用户界面来吸收视觉障碍和听力障碍人士的独特残疾。因此，作为多媒体卡的选择方法，基于视觉（图片卡）、视觉障碍我们为用户构建了一个基于笔输入的用户界面，并证实了这种语言对于简单对话的有用性。此外，我们发现拟人代理对支持双方通信的支持效果非常有效。是。