Am Dienstag teilte OpenAI seine endgültige Inszenierung der 1,5 Milliarden Parameter GPT-2-Sprachmodell. Alle zugehörigen Code- und Modellgewichte wurden im Blogbeitrag .
Als OpenAI im Februar dieses Jahres GPT-2 zum ersten Mal veröffentlichte, wurden Bedenken hinsichtlich seines möglichen Missbrauchs geäußert. Zu diesem Zeitpunkt beschloss das Unternehmen, den Code und den Trainingsdatensatz des Sprachmodells nicht weiterzugeben.
Nach monatelanger Prüfung der Details von GPT-2 hat OpenAI nun entschieden, dass der richtige Zeitpunkt gekommen ist, um weitere Untersuchungen und Verständnis für synthetischen Text zu ermöglichen. Daher die Entscheidung, die Parameter des Modells zu teilen.
VERBINDUNG: OPENAI GPT2 SCHREIBT JETZT WISSENSCHAFTLICHE PAPIERZUSAMMENFASSUNGEN
Was hat OpenAI an GPT-2 bemerkt?
Es ist ziemlich klar, wie ein System, das Algorithmen zum Vervollständigen eines gesamten Textes oder Satzes erstellt, missbraucht werden kann. Unter anderem kommen gefälschte Nachrichten in den Sinn.
Wir veröffentlichen das GPT-2-Modell mit 1,5 Milliarden Parametern als Teil unserer Strategie für die Veröffentlichung von Stufenversionen.
- OpenAI @OpenAI 5. November 2019
- GPT-2-Ausgangserkennungsmodell : https://t.co/PX3tbOOOTy
- Nachforschungen von Partnern zu möglichen böswilligen Verwendungen : https://t.co/om28yMULL5
- Weitere Details : https://t.co/d2JzaENiks pic.twitter.com/O3k28rrE5l
Das Zurückhalten des Codes und des Trainingsdatensatzes ihres Sprachmodells widersprach dem, woran OpenAI glaubte. Aus Sicherheitsgründen entschieden sie sich jedoch genau dafür und wollten immer noch einen Weg finden, die Informationen weiterzugeben.
In den letzten neun Monaten hat OpenAI GPT-2 beobachtet, um sicherzustellen, dass sie ihren Code und ihre Modellgewichte sicher teilen können. Das Unternehmen hat die folgende Beobachtungen :
- Menschen finden GPT-2-Ausgänge überzeugend.
- GPT-2 kann für Missbrauch feinabgestimmt werden.
- Erkennung ist schwierig.
- Wir haben bisher keine starken Hinweise auf Missbrauch gesehen.
- Wir brauchen Standards für das Studium der Voreingenommenheit.
Unabhängig davon, ob ein aufgabenspezifischer Trainingsdatensatz freigegeben wurde oder nicht GPT-2 war immer noch in der Lage, eine umwerfend gute maschinelle Übersetzung, Beantwortung von Fragen, Leseverständnis und Zusammenfassung zu generieren.
Nach dem Teilen des GPT-2-Modells OpenAI hat gesagt Sie tun dies, um "das Studium der Erforschung der Erkennung von synthetischem Text zu unterstützen, obwohl dies Gegnern mit Zugang eine bessere Möglichkeit bietet, sich der Erkennung zu entziehen."
Können Sie erkennen, welcher Text von der KI generiert wurde und welcher nicht?
Wir haben den Textgenerator 'Talk to Transfomer' getestet, um uns selbst davon zu überzeugen, und waren beeindruckt!
Der 1,5-Milliarden-Parameter GPT-2 auch bekannt als gpt2-xl ist aktiv :
- Umarmendes Gesicht @huggingface 5. November 2019
✅ im Transformator Repo : https://t.co/KvUK5V7owl
✅ probieren Sie es live in Write With Transformer🦄 aus https://t.co/R0WHn2WMQt
Kommt als nächstes :
🔘 Detektormodell basierend auf RoBERTa
Danke @OpenAI @Miles_Brundage @jackclarkSF und alle
Können Sie im folgenden Absatz erkennen, wo GPT-2 mit der Textgenerierung beginnt?
"Der neu erschienene GPT-2-Transformator in voller Größe wird zweifellos alle technologischen Befürchtungen beiseite schieben. Seien Sie ein Hit bei den Technikern. Der neue Transformator wird auch in geringerer Kapazität erhältlich sein, um Platz im größeren GPT-1 zu schaffen. "
Wir geben Ihnen einen Hinweis. Es befindet sich irgendwo in der zweiten Zeile. Erstaunlicherweise bot GPT-2 ohne große Aufforderung einen vollständigen und recht spezifischen Text an, der wie folgt weiterging :
"Der neue GPT-2-Transformator hat 4 Pins anstelle von 5 und einen niedrigeren Widerstand bei 1.400 Ohm gegenüber 1.500 Ohm, wodurch er mit allen Standard-Audiogeräten kompatibel ist. Ich habe Flüstern gehört, dass der neuere GPT-2 dies tun wirdin der Lage sein, die gleiche Strommenge wie der GPT-1 bereitzustellen. Ich habe keine Informationen über den neuen GPT-2-Transformator, daher kann ich diese Aussage nicht bestätigen oder ablehnen. "
Überzeugen Sie sich selbst, was der GPT-2-Transformator leisten kann hier .