Um einen Mechanismus zu erreichen, der der Verarbeitung der Sprache durch das menschliche Gehirn ähnlicher ist, hat ein Forscherteam des MIT ein kombiniertes Software-Hardware-System namens SpAtten entwickelt. Pressemitteilung von der Universität.
Das System ist darauf spezialisiert, den Aufmerksamkeitsmechanismus auszuführen, der sich auf Schlüsselwörter konzentriert, anstatt jedes Wort gleich wichtig zu behandeln. Dies ist besonders wichtig, da solche Mechanismen zu besseren Ergebnissen führen. Verarbeitung natürlicher Sprache NLP Aufgaben wie das Erkennen eines positiven oder negativen Tons oder das Vorhersagen der Wörter, die durch den Kontext folgen könnten.
Das System repliziert, wie das menschliche Gehirn Sprachen verarbeitet, und ermöglicht ein optimierteres NLP mit weniger Rechenleistung, so Hanrui Wang, Hauptautor des Papiers und Doktorand am Institut für Elektrotechnik und Informatik. „WirLesen Sie sehr schnell und konzentrieren Sie sich nur auf Schlüsselwörter. Das ist die Idee mit SpAtten. ”
Der Aufmerksamkeitsmechanismus erklärt
Der Aufmerksamkeitsmechanismus wurde erstmals im Jahr 2015 eingeführt und hat in den Gemeinden große Aufmerksamkeit erregt, da er sich auf Selektivität konzentriert. Der Mechanismus ermöglicht es einem System, zu verstehen, welche Wörter oder Phrasen in einem Satz am wichtigsten sind, indem sie mit den Wortmustern des Algorithmus verglichen werdenzuvor während seiner Trainingsphase angetroffen. Es ist jedoch mit Kosten verbunden, da eine solche Leistung einen hohen Speicherbedarf hat.
Das von den MIT-Forschern entwickelte System ist etwas Besonderes, da sie durch den Einsatz von spezieller Software und Hardware den Aufmerksamkeitsmechanismus effizienter ausführen konnten.
Ein wichtiger Fortschritt, der dies ermöglicht, ist die Verwendung von "Cascade Pruning" durch SpAtten. Nachdem der Aufmerksamkeitsmechanismus die Auswahl der Schlüsselwörter erleichtert, beseitigt SpAtten die unwichtigen und eliminiert ähnliche Berechnungen und Datenbewegungen. Die unwichtigen Köpfe werden ebenfalls gelöscht, wodurch der Rechenaufwand verringert wirdLaden und Speicherzugriff dabei.
Zusätzlich zu den Software-Fortschritten mussten die Forscher eine Hardwarearchitektur entwickeln, die auf den Betrieb ihres speziellen Systems und des Aufmerksamkeitsmechanismus spezialisiert war. Das von ihnen entwickelte Design ermöglicht es SpAtten, die Bedeutung der Schlüsselwörter und Köpfe in einer kleinen Anzahl von Computeruhren einzustufenFahrräder.
Obwohl sie noch keinen physischen Chip erstellt haben, konnten die Forscher das Hardware-Design per Simulation testen. Im Vergleich zu ihrem nächstbesten Konkurrenten, einer TITAN Xp-GPU, lief SpAtten mehr als 100-mal schneller und war mehr als 1.000mal energieeffizienter als die anderen Wettbewerber.
Die Unternehmen, die NLP-Modelle für KI-Workloads verwenden, könnten laut den Forschern von SpAtten profitieren. "Unsere Vision für die Zukunft ist, dass neue Algorithmen und Hardware, die die Redundanz in Sprachen beseitigen, die Kosten senken und das Strombudget für Daten sparenCenter NLP Workloads ", sagte Wang.
"Wir können die Akkulaufzeit für Mobiltelefone oder IoT-Geräte verbessern. Dies ist besonders wichtig, da in Zukunft zahlreiche IoT-Geräte interagiert mit Menschen über Sprache und natürliche Sprache, sodass NLP die erste Anwendung ist, die wir einsetzen möchten. "