Google übersetzt Handgesten mit Gebärdensprach-KI in Sprache
Google hat ein neues maschinelles Lernmodell zum Verfolgen von Händen und Erkennen von Gesten angekündigt, das der einst lautlosen Gebärdensprache eine Stimme verleiht
Es gibt Tausende von gesprochenen Sprachen auf der ganzen Welt. Jedes hat seine eigenen Feinheiten und Nuancen. Die Entwicklung von KI, um diese zu interpretieren und zu übersetzen, kann schwierig sein, und selbst die ausgefeiltesten Übersetzungstools haben Schwierigkeiten, dies korrekt zu tun. Sätze können durcheinander geraten, Bedeutungen werden falsch gelesen und umgangssprachliche Ausdrücke gehen auf Maschinen meist verloren.
Es gab jedoch einen Durchbruch bei der Wahrnehmung und Übersetzung der Sprache der menschlichen Hand.
Googles Entwicklung des „Real-Time Hand Tracking“, das Handbewegungen und Gesten wahrnimmt, ermöglicht die direkte Übersetzung in Sprache auf dem Gerät.
Der Technologieriese hat rund 21 echten Bildern von Händen, die eine Vielzahl von Gesten und Formen ausführen, 3 30,000D-Schlüsselpunkte oder Koordinaten zugeordnet.
Unter Verwendung eines komplexen maschinellen Lernmodells haben sie ein gemischtes Trainingsschema erstellt, um die Daten aus gerenderten Bildern, realen Bildern und Handpräsenz zu synchronisieren, um eine „Handpräsenzklassifizierung“ zu erhalten.
Kurz und Blog-Post , sagte Google: „Die Fähigkeit, die Form und Bewegung von Händen wahrzunehmen, kann eine entscheidende Komponente bei der Verbesserung der Benutzererfahrung in einer Vielzahl von technologischen Bereichen und Plattformen sein.“
Die Erforschung und Entwicklung dieses maschinellen Lernalgorithmus könnte zahlreiche Möglichkeiten schaffen, nicht zuletzt für das Verstehen von Gebärdensprache.
Google hat keine eigenständige App für seinen Algorithmus entwickelt, sondern ihn als Open Source veröffentlicht, sodass andere Entwickler ihn in ihre eigene Technologie integrieren können, was von Aktivisten begrüßt wird.
Es gibt auch potenzielle Anwendungen für Virtual-Reality-Steuerung und Digital-Overlay-Augmented-Reality oder sogar Gestensteuerungsfunktionen in fahrerlosen Fahrzeugen und intelligenten Geräten.
Assistive Tech macht Fortschritte Da immer mehr Unternehmer und Ingenieure vor der Verbraucherkurve auf den Markt kommen, mit Wearables und IoT-Geräten, die darauf abzielen, das Leben von Menschen mit Hilfsbedarf ein wenig einfacher zu machen.
