Ein Supercomputer. Sefa-Ozel/iStock
Nvidia und Microsoft haben ihr bisher größtes und leistungsstärkstes monolithisches Transformer-Sprachmodell vorgestellt: Megatron-Turing Natural Language Generation MT-NLG, komplett mit unglaublichen 530 Milliarden zusammengebauten Parametern, laut eine Pressemitteilung.
MT-NLG übertrifft bisherige transformatorbasierte Systeme beider Unternehmen. MT-NLG ist wesentlich größer und komplexer als das Turing-NLG-Modell von Microsoft und das Megatron-LM von Nvidia, mit dreimal so vielen Parametern, die auf 105 Schichten verteilt sind.
Als Nachfolger von Turing NLG 17B und Megatron-LM hat MT-NLG eine unübertroffene Genauigkeit bei einer Vielzahl von Aufgaben in natürlicher Sprache erreicht, wie z.
Eines der weltweit größten und leistungsfähigsten generativen Sprachmodelle
MLT-NLG wurde auf Microsoft Azure NDv4 und Nvidias Selene Machine Learning geschultSupercomputer, bestehend aus 560 DGX A100-Servern mit jeweils acht A100 80-GB-GPUs auf einem riesigen Datensatz namens The Pile. Das Modell besteht aus mehreren kleineren Datensätzen mit insgesamt 825 GB Text aus dem Internet. Diese Quellen reichen vonWikipedia-Artikel und wissenschaftliche Zeitschriften-Repositories für Nachrichtenclips.
Dank all dessen übertrifft MT-NLG seine Vorgänger in einer Vielzahl von natürlichsprachlichen Aufgaben, einschließlich der automatischen Vervollständigung von Phrasen, Antworten sowie Lesen und Argumentieren. Es kann auch ähnliche Aufgaben mit wenig bis gar keiner Feinabstimmung erledigen.ein Prozess, der als Low-Shot- oder Zero-Shot-Lernen bekannt ist.
Aufgrund der riesigen Datenmenge, die zum Trainieren des Modells verwendet wurde, konnten die Forscher den Datensatz noch nicht mit Wörtern bereinigen, die nie verwendet werden sollten. Das MT-NLG greift Stereotypen und Verzerrungen aus den Daten auf, auf denen es verwendet wirdtrainiert wird, und dies bedeutet, dass MT-NLG leider beleidigende Ergebnisse produzieren kann, die potenziell rassistisch oder sexistisch sind.
Forscher von Microsoft und NVIDIA sind entschlossen, dieses Problem anzugehen, und obwohl nicht bekannt ist, ob MT-NLG kommerziell erhältlich sein wird, heißt es in der Pressemitteilung ausdrücklich, dass die Verwendung von MT-NLG in Produktionsumgebungen gewährleisten muss, dass die erforderlichen Mechanismen eingesetzt werdenvorhanden, um mögliche Schäden für die Benutzer zu reduzieren und zu begrenzen.
"Die Qualität und die Ergebnisse, die wir heute erzielt haben, sind ein großer Schritt vorwärts auf dem Weg, das volle Versprechen der KI in natürlicher Sprache zu erschließen. Die Innovationen von DeepSpeed und Megatron-LM werden der bestehenden und zukünftigen KI-Modellentwicklung zugute kommen und machen große KI-Modelle günstigerund schneller zu trainieren", heißt es in der Pressemitteilung.