Forscher am Massachusetts Institute of Technology, am MIT-IBM Watson AI Lab, am Underwood International College und an der University of Brasilia gefunden haben für die wir Rechengrenzen erreichen tiefes Lernen . Die neue Studie besagt, dass der Fortschritt des tiefen Lernens mit einem "unersättlichen Appetit auf Rechenleistung" einhergeht und dass die weitere Entwicklung "dramatisch" rechnerisch effizientere Methoden erfordert.
VERBINDUNG: TIEFLERNENDE E-HAUT KANN KOMPLEXE MENSCHLICHE BEWEGUNG DEKODIEREN
„Wir zeigen, dass tiefes Lernen nicht zufällig, sondern konstruktionsbedingt rechenintensiv ist. Die gleiche Flexibilität, die es bei der Modellierung verschiedener Phänomene und der Outperformance von Expertenmodellen hervorragend macht, macht es auch dramatisch rechenintensiver“, schrieben die Mitautoren.
Die Forscher analysierten 1.058 Forschungsarbeiten im Pre-Print-Repository von arXiv sowie in anderen Benchmark-Quellen, um zu verstehen, wie tief die Lernleistung von der Rechenleistung in den Bereichen Bildklassifizierung, Objekterkennung, Beantwortung von Fragen, Erkennung benannter Entitäten und maschinelle Übersetzung abhängtUm zu verstehen, warum Deep Learning so rechenintensiv ist, analysierten die Forscher die statistische und rechnerische Skalierung theoretisch weiter.
Sie haben dazu zwei getrennte Analysen durchgeführt von Rechenanforderungen: 1 Berechnung pro Netzwerkdurchlauf die Anzahl der Gleitkommaoperationen, die für einen einzelnen Durchgang erforderlich sind das Netzwerk, und 2 Hardwarelast die Rechenleistung der zum Trainieren des Modells verwendeten Hardware . Die Forscher fanden heraus, dass nur drei Jahre algorithmische Verbesserung a entsprechen 10 Erhöhung der Rechenleistung.
Sie kamen zu dem Schluss, dass, wenn der Fortschritt in die gleiche Richtung geht, tiefes Lernen Die Rechenanforderungen werden schnell technisch, wirtschaftlich und umweltschädlich. Es ist jedoch nicht alles verloren.
"Trotzdem stellen wir fest, dass die tatsächliche Rechenlast von Deep-Learning-Modellen schneller skaliert als bekannte theoretische Untergrenzen, was darauf hindeutet, dass wesentliche Verbesserungen möglich sein könnten", schrieben die Mitautoren.
Die Forscher stellten fest, dass auf algorithmischer Ebene ständig tiefgreifende Lernverbesserungen stattfinden. Einige davon umfassen Hardwarebeschleuniger, feldprogrammierbare Gate-Arrays FPGAs und anwendungsspezifische integrierte Schaltkreise ASICs. Die Zeit wird es zeigenob tiefes Lernen wird effizienter oder wird ganz ersetzt.