Eines ist sicher, KI geht Orte . Nur durch die schiere Datenmenge, die von tief lernenden neuronalen Netzen interpretiert werden kann, können diese Mikro-AIs Wunder vollbringen.
Musik ist beides akustisch und visuell Erfahrung. Wenn wir ein Ensemble von Musikern sehen, nehmen wir visuelle Hinweise um uns zu helfen differenzieren wer spielt was.
Forscher bei MIT-IBM Watson AI Lab entwickelte ein neues KI-Tool, das diesen Prozess nur nachahmt. Aufbauend auf der Arbeit von Zhao et al. Forscher nutzen das Beobachtbare Hand- und Körperbewegungen auf Video aufgenommen. A Videoanalysenetzwerk sammelt Daten aus den Bewegungen der Musiker während eines audiovisuelles Trennungsnetzwerk trennt jede Tonquelle durch Aufnahme der vom Videoanalysenetzwerk bereitgestellten Daten.
Diese Technologie kann möglicherweise beim Mischen des Audios einer Konzertaufführung verwendet werden. Audioproduzenten können ein Instrument isolieren und seine Lautstärke ändern. Wenn Sie darüber nachdenken, kann dies die Remaster von erheblich verbessern. altes Konzertmaterial .
Diese Technologie könnte auch angepasst werden, um Probleme im Zusammenhang mit zu lösen. Menschen sprechen gleichzeitig bei Videokonferenzen. Eine andere mögliche Verwendung könnte sein Roboter damit sie Umgebungsgeräusche wie Tiere, Fahrzeuge oder Menschen in besserer Qualität verstehen.
Die Basis der visuellen Analyse im Projekt, sogenannte Schlüsselpunktanalyse hat auch Anwendungen im Sportbereich. Bereitstellung einer erforderlichen Leistungsverfolgungslösung weniger menschlicher Input .
VERBINDUNG: WOLLEN SIE WISSEN, WER DER NÄCHSTE FUSSBALLER SEIN KANN? DIESE KI WIRD IHNEN SAGEN
Frühere Untersuchungen haben gezeigt, dass Vision-Audio-Pairing-Systeme das Erkennen und Unterscheiden lehren können. eine breite Palette von Schallquellen vom Absturz Wellen zum Zwitschern Vögel .
Es gibt viele potenzielle Bereiche, in denen diese Technologie kommerziell eingesetzt werden kann. Wir können ein Sicherheitssystem trainieren, um auf das Geräusch von zerbrochenem Fensterglas zu reagieren, oder wir können eine selbstfahrende Auto-KI trainieren, um den Weg eines ankommenden Krankenwagens vorherzusagen.