Werbung

KI-Neuronale Netze könnten bald auf Smartphones trainieren

Deep Learning ist dank einer neuen Erfindung von IBM möglicherweise nicht mehr so ​​energieintensiv.

Deep Learning ist bekannt dafür, dass es ein energieintensives Gebiet ist, dessen Anwendungen begrenzt sind. Aber was ist, wenn diese Modelle könnte mit höherer Energieeffizienz betrieben werden? Dies ist eine Frage, die viele Forscher gestellt haben, und ein neues Team von IBM hat möglicherweise eine Antwort gefunden.

VERBINDUNG : EINE EINZELNE BITCOIN-TRANSAKTION VERBRAUCHT JETZT SO VIEL STROM, WIE IHR HAUS IN EINER WOCHE TUT

Neu Forschung wird diese Woche auf der NeurIPS Neural Information Processing Systems - die größte jährliche AI-Forschungskonferenz vorgestellt zeigt einen Prozess, der die Anzahl der Bits, die zur Darstellung von Daten im Deep Learning benötigt werden, bald von 16 auf vier reduzieren könnte, ohne an Genauigkeit zu verlieren.

"In Kombination mit zuvor vorgeschlagenen Lösungen für die 4-Bit-Quantisierung von Gewichts- und Aktivierungstensoren zeigt das 4-Bit-Training einen nicht signifikanten Genauigkeitsverlust über Anwendungsbereiche hinweg und ermöglicht gleichzeitig eine signifikante Hardwarebeschleunigung > 7 × gegenüber dem Stand der Technik FP16Systeme, "schreiben die Forscher in ihrer Zusammenfassung.

Die IBM-Forscher führten Experimente mit ihrem neuartigen 4-Bit-Training für eine Vielzahl von Deep-Learning-Modelle in Bereichen wie Computer Vision, Sprache und Verarbeitung natürlicher Sprache. Sie stellten fest, dass die Leistung der Modelle effektiv nur begrenzt an Genauigkeit verlor, während der Prozess mehr als siebenmal schneller und siebenmal energieeffizienter war.

Diese Innovation könnte daher die Energiekosten für Schulungen senken. tiefes Lernen mehr als siebenfach und ermöglichen das Trainieren von KI-Modellen auch auf Geräten, die so klein wie Smartphones sind. Dies würde die Privatsphäre erheblich verbessern, da alle Daten auf lokalen Geräten gespeichert würden.

So aufregend dies auch ist, wir sind noch weit vom 4-Bit-Lernen entfernt, da das Papier nur diese Art von Ansatz simuliert. Um das 4-Bit-Lernen in die Realität umzusetzen, wäre 4-Bit-Hardware erforderlich, Hardware, die es noch nicht gibt.

Werbung

Es könnte jedoch bald hier sein. Kailash Gopalakrishnan, ein IBM-Mitarbeiter und Senior Manager, der die neue Forschung leitet, sagte MIT Technology Review Er sagt voraus, dass er in drei bis vier Jahren 4-Bit-Hardware entwickelt haben wird. Das ist etwas, worüber man sich freuen kann!

Folgen Sie uns auf

Bleiben Sie über die neuesten technischen Neuigkeiten auf dem Laufenden

Geben Sie einfach Ihre E-Mail-Adresse ein und wir kümmern uns um den Rest :

Mit Ihrer Anmeldung stimmen Sie unserer zu Nutzungsbedingungen und Datenschutzerklärung . Sie können sich jederzeit abmelden.