Ein tragbares Armbandgerät, das unsere Handbewegungen vollständig erfassen kann, kann die Art und Weise, wie wir mit Technologie interagieren, revolutionieren. Handzeichen könnten zur Steuerung unserer Geräte verwendet werden, und die Gebärdensprache könnte von Computern, die ein solches Gerät verwenden, effektiv transkribiert werden.
In einer neuen Entwicklung Ein gemeinsames Forscherteam der Cornell Unversity und der University of Wisconsin-Madison hat ein Gerät entwickelt, das sie als FingerTrak was erlauben könnte zukünftige Wearables um eine unglaublich differenzierte Handerkennung zu verwenden, indem die Hand des Trägers kontinuierlich in 3D verfolgt wird.
VERBINDUNG: Mit diesem Armband können Sie Roboter, Drohnen und Spielzeug steuern.
Lesen der Konturen des Handgelenks
Mit drei oder vier Miniatur-Wärmebildkameras mit niedriger Auflösung, die Konturen am Handgelenk lesen, kann das Armbandgerät FingerTrak die 20 Fingergelenkpositionen der menschlichen Hand erfassen und in 3D übersetzen.
"Dies war eine wichtige Entdeckung unseres Teams. Durch die Betrachtung Ihrer Handgelenkskonturen konnte die Technologie mit großer Genauigkeit in 3D rekonstruiert werden, wo sich Ihre Finger befinden", so Cheng Zhang, Assistenzprofessor für Informationswissenschaft und Direktor von Cornells neuemSciFi Lab, sagte in a Pressemitteilung . "Es ist das erste System, das Ihre volle Handhaltung anhand der Konturen des Handgelenks rekonstruiert."
Frühere Iterationen, in denen Wärmebildkameras verwendet wurden, wurden als zu sperrig angesehen, um für den täglichen Gebrauch verwendet zu werden. Dank des Forschungsteams hinter FingerTrak könnte ein solches Gerät nun in der "Gebärdensprachübersetzung" verwendet werden. virtuelle Realität , mobile Gesundheit, Mensch-Roboter-Interaktion und andere Bereiche ", erklärten die Forscher.
Verwandeln von 'Silhouette'-Bildern in eine 3D-Hand
Beeindruckenderweise verwendet FingerTrak seine Kameras nicht, um ständig die vollen Handbewegungen des Benutzers zu verfolgen. Stattdessen FingerTrak verwendet eine Kombination aus Wärmebild und maschinellem Lernen, um die Hand virtuell zu rekonstruieren.
Die vier Miniatur-Wärmebildkameras des Armbands - von denen jede ungefähr die Größe einer Erbse hat - stellen mehrere "Silhouette" -Bilder zusammen, die einen Umriss der Hand des Trägers bilden. Ein tiefes neuronales Netzwerk wird dann verwendet, um diese Silhouette-Bilder zusammenzufügen undRekonstruieren Sie eine virtuelle Hand in 3D, die die genauen Bewegungen des Trägers widerspiegelt.
"Wie wir unsere Hände und Finger bewegen, sagt oft über unseren Gesundheitszustand aus" sagte Yin Li, Assistenzprofessor für Biostatistik und medizinische Informatik an der Universität von Wisconsin, Madison School of Medicine und Public Health, der zur Software hinter FingerTrak beigetragen hat.
"Ein solches Gerät könnte verwendet werden, um besser zu verstehen, wie ältere Menschen im täglichen Leben ihre Hände benutzen, um frühzeitig Anzeichen von Krankheiten wie Parkinson und Alzheimer zu erkennen."
Die Forscher sagen, dass abgesehen von so beeindruckend Gesundheitstechnik Anwendungen, die dieses Gerät wirklich pushen könnte Gebärdensprachübersetzung in neue Bereiche, da dies eine unglaublich genaue Handverfolgung auf einem benutzerfreundlichen Gerät ermöglicht.