Abstract

Gebärdenerkennung: Modellierung der Sprache und Simultaneität. Talk given at the Institute for Phonetics, University of Munich, November 7, 2002.

Full-color handouts (480K) - Black and white handouts (suitable for printing) (450K)

Eine der größten Herausforderungen in den Gebärdenerkennung besteht darin, mit der Komplexität der Gebärdensprache zu Rande zu kommen. Die Sprache auf eine solche Art und Weise zu modellieren, daß sie auf einem Computer mit effizienten Algorithmen erkannt werden kann, ist alles andere als einfach.

Dafür gibt es vor allem zwei Gründe: Erstens steckt die Phonologie der Gebärdensprachen im Vergleich zu Lautsprachen noch sehr in den Kinderschuhen, und es ist nicht klar, inwieweit welche Konzepte aus der Gebärdensprachforschung auf die Gebärdenerkennung übertragbar sind. Zweitens ist Simultaneität eines der Hauptmerkmale von Gebärdensprachen. Leider ist es in der Gebärdenerkennung nicht möglich, alle Kombinationen von simultanen Ereignissen zu modellieren, weil die Anzahl der möglichen Kombinationen regelrecht explodiert.

In diesem Vortrag stelle ich einen Ansatz zur Erkennung von amerikanischer Gebärdensprache vor, der sich speziell dieser beiden Probleme annimmt. Anhand einer modifizierten Version des Movement-Hold Modelles zeige ich, welche Aspekte der Phonologie für die Gebärdenerkennung hilfreich sind, und welche Aspekte nicht ohne Änderungen übertragbar sind. Zur Bewältigung der Komplexität der Simultaneität stelle ich parallele Hidden-Markov-Modelle (HMM) vor. Im Gegensatz zu konventionellen HMM basieren sie auf der Annahme, daß simultane Ereignisse stochastisch unabhängig voneinander sind. Experimente mit der dominanten und nicht-dominanten Hand, und der Handform zeigen, daß diese Annahme in der Praxis gute Ergebnisse liefert.