C-Face in Aktion Cornell University SciFi Lab
Stellen Sie sich ein Zoom-Meeting vor, ohne Ihr Gesicht zeigen zu müssen, aber das gesamte Team am anderen Ende weiß, wie Sie reagieren? Keine Webcams oder gar Mikrofone mehr, wenn Sie von zu Hause aus arbeiten.
Ein Team von Cornell University hat ein Kopfhörersystem entwickelt, das Ihre Gesichtsausdrücke erkennen kann - auch wenn Sie ein Gesicht tragen Maske .
Das System heißt C-Face , kurz für Contour Face, überwacht Ihre Gesichtskonturen, bevor sie in ein Emoji umgewandelt werden.
Es handelt sich um eine "ohrmontierbare tragbare Sensortechnologie, bei der zwei Kameras verwendet werden, um Gesichtsausdrücke dank tiefer Lernkonturen eines Gesichts kontinuierlich zu rekonstruieren" die Studie drückt es aus.
SIEHE AUCH: KOPFHÖRER: EINE GESCHICHTE DES ORIGINAL WEARABLE TECH
Ein einfaches, klares tragbares Gerät
" Dieses Gerät ist einfacher, weniger aufdringlich und leistungsfähiger als alle vorhandenen ohrmontierten tragbaren Technologien zur Verfolgung von Gesichtsausdrücken ", erklärte Cheng Zhang, leitender Autor der Studie und Direktor von Cornell's. SciFi Lab .
"In früheren tragbaren Technologien zur Erkennung von Gesichtsausdrücken waren die meisten Lösungen zum Anbringen von Sensoren am Gesicht erforderlich, und selbst mit so vielen Instrumenten konnten sie nur einen begrenzten Satz diskreter Gesichtsausdrücke erkennen", fuhr er fort.
C-Face kann nützlich sein, um Avatare in Virtual-Reality-Umgebungen zu erstellen, da sie ausdrücken können, wie sich der Benutzer fühlt, ohne Wörter oder geschriebenen Text zu verwenden, was beispielsweise für Lehrer nützlich sein kann, die Remote-Klassen unterrichten.
Das Gerät verwendet zwei RGB-Kameras die unter jedem Ohr sitzen und Änderungen der Wangenkonturen aufzeichnen, wenn sich die Gesichtsmuskeln des Benutzers bewegen. Diese 2D-Bilder werden dann von einem Faltungsnetzwerk analysiert, nachdem sie dank Computer Vision und tiefem Lernen rekonstruiert wurden. Modell .
Bisher können diese Gesichtsausdrücke mit acht Emojis mit ausgedrückt werden C-Face . Nur neun Teilnehmer konnten das System testen, da die Pandemie die Versuche verlangsamt hat. Die Emoji-Erkennung hat jedoch eine 88% Genauigkeitsrate und Gesichtsmerkmale waren genau durch 85% .
Ein großer Schritt, an dem das Team arbeiten wird, ist die Verbesserung der Batteriekapazität des Systems, wodurch diese letztendlich eingeschränkt wurde.
Sehen Sie sich hier genau an, wie C-Face funktioniert :