Sprecherunabhängige Gebärdenspracherkennung mit großem Vokabular auf der Basis von Untereinheiten-Modellen

基于子单元模型的大词汇量与说话人无关的手语识别

• 批准号: 13983024
• 负责人: Professor Dr.-Ing. Karl-Friedrich Kraiss
• 金额: --
• 依托单位: Institut für Mensch-Maschine-Interaktion (MMI)
• 依托单位国家: 德国
• 项目类别: Research Grants
• 财政年份: 2005
• 资助国家: 德国
• 起止时间: 2004-12-31 至 2009-12-31
• 项目状态: 已结题
• 来源: https://gepris.dfg.de/gepris/projekt/13983024?language=en
• 关键词: Sprecherunabh; ngige; Geb; rdenspracherkennung; mit

Gegenwärtig wird ein bestehendes System zur Erkennung der deutschen Gebärdensprache weiterentwickelt, welches simultan Gestik und Mimik eines Gebärdensprechers videobasiert erfassen kann. Unter Verwendung von Ganzwortmodellen werden kontinuierliche Gebärdensätze sprecherabhängig mit einer Akkuratheit von 91,9% erkannt. Es wird erwartet, dass sich durch eine Unterteilung von Gebärden in kleinere Untereinheiten – ähnlich den Phonemen in der Lautsprache – der Trainingsaufwand erheblich reduzieren lässt. Im Rahmen des Projekts konnten auf dem Weg zur sprecherunabhängigen Erkennung eines großen Vokabulars auf Basis von Untereinheiten-Modellen bereits viele Teilziele erfolgreich umgesetzt werden. Der im Aufbau befindliche Gebärdensprachkorpus ist in seinem Umfang, was die Größe des Vokabulars und der Trainingspopulation betrifft, weltweit einzigartig. Eine Merkmalsnormierung und -selektion führte zu einer Steigerung der sprecherunabhängigen Erkennungsleistung von 45,5 % auf 68,1 %. Eine weitere Steigerung ergibt sich durch den Einsatz eines kombinierten Ansatzes zur Sprecheradaption, der eine schnelle Adaption der Modelle an einen unbekannten Sprecher gewährleistet. Das entwickelte Verfahren zur automatischen Transkription von Gebärden in Untereinheiten ermöglicht derzeit, für einen Sprecher bei verschiedenen Ausführungen derselben Gebärde eine recht stabile Unterteilung zu erhalten. Zwischen den Sprechern allerdings unterscheiden sich die Transkriptionen bislang noch teils sehr deutlich. Die Behandlung dieses Problems ist daher das primäre Ziel des vorliegenden Fortsetzungsantrags. Die Umsetzung erfordert eine weiterführende Erforschung sprecherinvarianter Merkmale sowie geeigneter Verfahren zur Sprechernormierung. Zudem muss der Gebärdensprachkorpus um weitere Trainingssprecher erweitert werden, um ein stabiles Aussprachelexikon schätzen zu können. Die automatische Transkription von Gebärden soll zukünftig nicht mehr rein datengetrieben erfolgen sondern auch Erkenntnisse aus manuell durchgeführten Unterteilungen einbeziehen. Ferner wird ein Speaker Clustering Verfahren zur schnellen Sprecheradaption implementiert, das von einer erweiterten Trainingspopulation profitiert.

Unter Verwendung von Ganzwortmodellen werden kontinuierliche Gebärdensätze 91.9% 的时间都是我。 Rahmen des Projekts konnten auf dem sprecherunabhängigen Erkennung eines großen Vokabulars auf Basis von Untereinheiten-Modellen bereits viele Teilziele erfolgreich umgesetzt werden。 Umfang，是die Größe des Vokabulars und der Trainingspopulation betrifft，weltweit einzigartig。在此情况下，所有的应用程序都需要对 Sprecheradaption 进行组合分析，以适应不同的场景。在此期间，您的施普雷彻将在法律上保持稳定。 primäre Ziel des vorliegenden Fortsetzungsantrags。稳定 Aussprachelexikon schätzen zu können。 Schnellen Sprecheradaption 实施者，das von einer erweiterten 培训人口受益。