Werbung

MIT-Forscher haben gerade eine KI entdeckt, die das Gehirn von selbst nachahmt

Eine neue Studie behauptet, dass maschinelles Lernen der menschlichen Kognition sehr ähnlich sieht.

Im Jahr 2019, Der MIT-Presseleser veröffentlichte zwei Interviews mit Noam Chomsky und Steven Pinker, zwei der weltweit führenden Linguistik- und Kognitionswissenschaftler. Die Gespräche unterscheiden sich, wie auch die Männer selbst, in ihrer Formulierung und Behandlung von Schlüsselthemen rund um ihre Fachgebiete. Wenn sie danach gefragt werdenMaschinelles Lernen und seine Beiträge zur Kognitionswissenschaft, ihre Meinungen sammeln sich jedoch unter dem Banner von Skepsis und einer fast Enttäuschung.

"In fast jeder relevanten Hinsicht ist es schwer zu erkennen, wie [maschinelles Lernen] einen Beitrag zur Wissenschaft leistet." Chomsky klagt, “speziell für die Kognitionswissenschaft, welchen Wert sie auch immer für die Konstruktion nützlicher Geräte oder für die Erforschung der Eigenschaften der verwendeten Rechenprozesse haben mag.“

Während Pinker eine adoptiertetwas weicherer Ton, er wiederholt Chomskys mangelnden Enthusiasmus dafür, wie KI unser Verständnis des Gehirns verbessert hat:

„Die Kognitionswissenschaft selbst wurde in den 1990er Jahren von der Neurowissenschaft und in diesem Jahrzehnt von der künstlichen Intelligenz überschattet, aber ich denke, diese Gebiete müssen ihre theoretische Unfruchtbarkeit überwinden und wieder in das Studium der Kognition integriert werden – gedankenlose Neurophysiologie und maschinelles Lernen haben beide an Grenzen gestoßen.“wenn es darum geht, Intelligenz zu erhellen.“

Aber da unser Verständnis von menschlicher und künstlicher Intelligenz wächst, könnten Positionen wie diese bald auf instabilem Boden sein. Während die KI noch keine menschenähnliche Kognition erreicht hat, müssen künstliche neuronale Netzwerke, die die Sprachverarbeitung replizieren – ein System, das als kritisch angesehen wirdKomponente hinter der höheren Kognition – beginnen überraschend ähnlich auszusehen, was wir im Gehirn beobachten.

Im November veröffentlichte eine Gruppe von Forschern des MIT eine Studie in der Proceedings of the National Academy of Sciencesdas demonstriert Die Analyse von Trends im maschinellen Lernen kann einen Einblick in diese bietenMechanismen der höheren kognitiven Gehirnfunktion. Vielleicht noch erstaunlicher ist die Implikation der Studie, dass die KI eine konvergente Evolution mit der Natur durchläuft – ohne dass sie jemand dafür programmiert hat.

Werbung

Künstliche Intelligenz und das Gehirn

Künstliche Intelligenz powered by Machine Learning hat in den letzten Jahren beeindruckende Fortschritte gemacht, insbesondere im Bereich der visuellen Erkennung. Instagram verwendet Bilderkennungs-KI um Fotos für Sehbehinderte zu beschreiben, verwendet Google es für seine Umkehrbild-Suchfunktion und Gesichtserkennungsalgorithmen von Unternehmen wie Clearview AI hilft Strafverfolgungsbehörden vergleiche Bilder in sozialen Medien mit denen in Regierungsdatenbanken, um gesuchte Personen zu identifizieren.

Abgesehen von wichtigen Ethikdiskussionen ist es die Funktionsweise dieser Algorithmen, die ein Licht auf die kognitive Funktion werfen kann. Durch den Vergleich der neuronalen Aktivität von Menschen und nicht-menschlichen Primaten mit Daten von künstlichen Modelle für maschinelles Lernen mit neuronalen Netzwerken mit einer ähnlichen Funktion beauftragt – etwa das Erkennen eines Bildes vor einem chaotischen Hintergrund – können Forscher einen Einblick gewinnen, welche Programme am besten funktionieren und welche der Ausführung derselben Aufgabe durch das Gehirn am ähnlichsten sind.

Werbung
Quelle: Nathan Dumlao/Unsplash

„Wir hatten einige Erfolge bei der Modellierung von Sinnesbereichen [des Gehirns], insbesondere mit dem Sehen“, erklärte Martin Schrimpf, Erstautor der neuen MIT-Studie, im Interview mit Interessante Technik | wissenschaft-x.com.

Schrimpf, ein Doktorand am MIT Brain and Cognitive Sciences Department, hat den Artikel gemeinsam mit Joshua Tenenbaum, einem Dozenten für Computational Cognitive Science am MIT und Mitglied des Labors für künstliche Intelligenz des Instituts, und Evelina Fedorenko, anAußerordentlicher Professor für Neurowissenschaften an der Universität.

"[Vorhersage] ist etwas, für das unser Sprachsystem optimiert zu sein scheint."

Im Zuge dieser Erfolge begann sich Martin zu fragen, ob die Das gleiche Prinzip könnte auf kognitive Funktionen höherer Ebene wie die Sprachverarbeitung angewendet werden.

"Ich sagte, schauen wir uns nur erfolgreiche neuronale Netze an und sehen, ob sie so etwas wie das Gehirn sind. Meine Wette war, dass es zumindest bis zu einem gewissen Grad funktionieren würde."

Werbung

Um das herauszufinden, verglichen Martin und Kollegen Daten von 43 künstlichen neuronalen Netzwerksprachmodellen mit fMRI- und ECoG-Neuralaufzeichnungen, die aufgenommen wurden, während die Probanden Wörter als Teil eines Textes hörten oder lasen. Die von der Gruppe befragten KI-Modelle deckten alle wichtigen Klassen verfügbarer neuronaler Netzansätze für sprachbasierte Aufgaben ab. Einige davon waren einfacher.Einbetten von Modellen wie GloVe, das semantisch ähnliche Wörter in Gruppen zusammenfasst. Andere, wie die als GPT und BERT bekannten Modelle, waren weitaus komplexer. Diese Modelle sind trainiert auf das nächste Wort vorhersagen in einer Sequenz oder ein fehlendes Wort vorhersagen jeweils in einem bestimmten Kontext.

„Der Aufbau selbst wird ganz einfach“, erklärt Martin. „Man zeigt den Modellen einfach die gleichen Reize, die man den Probanden zeigt […]. Am Ende des Tages bleiben zwei Matrizen übrig, und Sie testen, ob diese Matrizen ähnlich sind.“

Werbung

Und die Ergebnisse?

„Ich glaube, hier gibt es dreieinhalb wichtige Erkenntnisse“, sagt Schrimpf lachend. „Ich sage ‚und eine Hälfte‘, weil wir den letzten noch nicht ganz verstehen.“

Maschinelles Lernen, das das Gehirn widerspiegelt

Die Erkenntnis, die Martin am unmittelbarsten auffällt, ist, dass einige der Modelle neuronale Daten extrem gut vorhersagen. Mit anderen Worten, unabhängig davon, wie gut ein Modell bei der Ausführung einer Aufgabe war, scheinen einige von ihnen der kognitiven Mechanik des Gehirns zu ähneln.Faszinierenderweise identifizierte das Team am MIT die GPT-Modellvarianten als die gehirnähnlichsten aus der Gruppe, die sie betrachteten.

GPT ist ein Lernmodell, das darauf trainiert ist, jede Art von Text in menschlicher Sprache zu generieren. Es wurde von Open AI entwickelt, dem von Elon Musk gegründeten KI-Forschungslabor, das erst im Juni dieses Jahres eine neue KI enthüllte.Tool zum Schreiben von Computercode. Bis vor kurzem war GPT-3, die neueste Iteration des Programms, die einzige größtes neuronales Netzwerk, das jemals erstellt wurde, mit über 175 Milliarden Machine-Learning-Parametern.

Werbung

Dieser Befund könnte ein großes Fenster dazu öffnen, wie das Gehirn zumindest einen Teil einer höheren kognitiven Funktion wie der Sprachverarbeitung ausführt. GPT funktioniert nach dem Prinzip der Vorhersage des nächsten Wortes in einer Sequenz. Das passt so gut zuDaten aus Gehirnscans zeigen, dass Vorhersagen eine Schlüsselkomponente dafür sind, was auch immer das Gehirn mit der Sprachverarbeitung tut.

Glen Carrie/Unsplash

Schrimpf merkt auch an, dass in Situationen, in denen den Probanden längere Texte und Geschichten gezeigt wurden, alle neuronalen Netzmodelle im Vergleich zu ihren Ergebnissen bei Texten mit kurzer Reichweite relativ schlecht abgeschnitten haben.

Dafür gibt es verschiedene Interpretationen“, sagt Martin. „AberDie aufregendere Interpretation, die meiner Meinung nach auch mit dem übereinstimmt, was maschinelles Lernen derzeit anschaut, ist, dass diese Modelle vielleicht wirklich gut darin sind, die richtigen Kurzstreckendarstellungen zu bilden. Aber wenn man einmal einen semantischen Kontext hatdie du zusammenfassen musst, vielleicht greifen sie da zu kurz. Wenn du schon einmal mit einem dieser Chat-Agenten in deinem Browser gespielt hast, ist dir vielleicht etwas Ähnliches aufgefallen, wo es gut anfängt und ziemlich schnell auseinander fällt.“

Werbung

Der zweite bedeutende Befund des Teams zeigt etwas darüber, wie unsere Kognition in Bezug auf Sprache funktioniert, da sie verschiedene Sprachaufgaben anhand einer Kombination von acht verschiedenen Benchmarks testeten, die Aspekte wie Grammatikalität, Urteilsvermögen und Verschränkung umfassten.

"Keiner von ihnen korrelierte", sagt Martin. "Selbst wenn diese Modelle bei diesen Aufgaben gut abschneiden, sagt dies überhaupt nicht voraus, wie gut sie mit dem Gehirn übereinstimmen werden. Es sieht also wirklich so aus, als ob"Diese Vorhersageaufgabe ist etwas Besonderes, darauf scheint unser Sprachsystem optimiert zu sein.“

"Was die Community zur Verarbeitung natürlicher Sprache tut [...] ist so etwas wie eine Community-Evolution."

Weitere Studien sind erforderlich, um genau zu verstehen, warum einige Modelle dem Gehirn mehr ähneln als andere. Dies hängt zum Teil damit zusammen, dass KI-Modelle beim maschinellen Lernen so etwas wie eine Blackbox sein können, deren Funktionen so kompliziert sind, dass sogarDie Leute, die sie entworfen haben, können möglicherweise nicht verstehen, wie die Variablen, die in die Modelle eingehen, miteinander zusammenhängen.Martin räumt ein, dass das Auswerten dieser Variablen eine gigantische Aufgabe sein könnte.

„Bei einzelnen Modellen wissen wir immer noch nicht, was passieren würde, wenn wir eine Schicht weniger [im neuronalen Netz] oder weniger Einheiten oder mehr Einheiten hätten“, sagt er. „Aber es gibt Projekte, die versuchen, sich herauszupickenModelle auseinanderbauen und all die verschiedenen Komponenten ausschalten und sehen, was das Match wirklich zum Gehirn treibt.“

Die dritte wichtige Erkenntnis der Studie, die sie auf einzigartige Weise mit Kognitionstheorien verbindet, ist, dass ein KI-Modell umso besser an das menschliche Verhalten angepasst werden kann, in diesem Fall an die individuellen Lesezeiten der Probanden..

Die Zusammenstellung des Bildes zeigt eine unerwartete Synthese wissenschaftlicher Erkenntnisse, die Martin als „das Dreieck“ bezeichnet.

„Ich finde dieses Dreieck [der Einsichten] super cool“, sagt Martin aufgeregt. „Nachdem wir nun Lehren aus der Vision und anderen Bereichen gezogen haben, konnten wir all dies in einer Studie zusammenfassen. Modelle, die es sinddie das nächste Wort besser vorhersagen können, sind besser in der Lage, neuronale Reaktionen im menschlichen Gehirn vorherzusagen, und die Modelle, die neuronale Reaktionen besser vorhersagen, können das Verhalten in Form von selbstbestimmten Lesezeiten besser vorhersagen.“

Von Neurowissenschaften zu KI und zurück

Die Studie ist unter anderem deshalb so faszinierend, weil diese Erkenntnisse über die Kognition gleichzeitig auf eine Art „KI-Evolution“ hindeuten, die bis vor kurzem unbemerkt geblieben istModelle, die sich wie das Gehirn verhalten, aber im Laufe des Baus und der Verbesserung scheinen wir in einen Prozess gestolpert zu sein, der dem des Gehirns selbst ähnelt.

"Vielleicht können wir Leuten mit Sprachverständnisproblemen helfen. Ich bin vorsichtig."

„Ein Zitat von Nancy Kanwisher, einer der leitenden Autoren der Zeitung, das ich sehr mag, war: ‚So musste es nicht sein.‘ Es mussten nicht die Modelle sein, für die wir gebaut habendiese [Sprachvorhersage]-Aufgaben sahen letztendlich aus wie das Gehirn“, führt Martin aus.

"Wir spekulieren in dem Papier, dass die Community zur Verarbeitung natürlicher Sprache vielleicht [...] so etwas wie Community-Evolution tut. Wenn Sie eine [KI]-Architektur nehmen und sie gut funktioniert, dann nehmen Sie die Teile davon, diearbeiten, "mutieren", rekombinieren mit anderen Architekturen, die gut funktionieren, und bauen neue. Es unterscheidet sich zumindest nicht allzu sehr [von der Evolution] im weitesten Sinne."

Martin glaubt, dass die Architektur sowohl des Gehirns als auch der KI-Modelle die letzte potenzielle Erkenntnis ist, die die Studie bietet, obwohl sie noch immer in Sichtweite ist. Während neuronale Netze mit Daten trainiert werden können, um eine bessere oder ähnlichere Leistung zu erzielen wiedas Gehirn, ihre zugrunde liegende Struktur scheint eine große Rolle zu spielen.

„Es stellt sich heraus, dass diese inhärenten Strukturen [in den Modellen] Ihnen viel geben“, erklärt Martin. „Wenn Sie sich diese Modelle ansehen, gewinnen Sie immer noch etwa 50 Prozent vom Training [sie auf Daten], aber ich denkekeiner von uns hat erwartet, dass die Struktur einen in den richtigen Repräsentationsraum bringt.“

Die Zukunft der KI-Forschung

Schrimpf und seine Kollegen konzentrieren sich darauf, eine Informationsplattform zu erweitern, die große Mengen dieser Art von Daten und Sprachmodellen aufnimmt und sie der gesamten wissenschaftlichen Gemeinschaft zugänglich macht, um weitere Fortschritte zu katalysieren.

Adam AY/Unsplash

Obwohl es kein einziges Endziel für diese Art von Forschung gibt, erkennt Martin an, dass der Aufbau eines umfassenderes Verständnis von Kognition während dieses Verständnisses verwendet wird, um praktische Anwendungen zu entwickeln, die Menschen helfen können, sind zwei Seiten derselben Medaille.

„Diese Dinge sind wissenschaftlich nützlich, weil sie Teil einer einheitlichen wissenschaftlichen Hypothese von allem sind, was wir über einen bestimmten Gehirnraum wissen“, sagt er. „Ich arbeite [auch] derzeit an modellgesteuerter Stimulation. Also idealerweise, wir hätten eine Person in einem Stuhl, die auf einen grauen Bildschirm schaut, und dann würden wir das Model fragen: „Wenn ich der Person glauben machen möchte, dass sie einen Hund sieht, welche Art von Stimulation müsste ich dann anwenden?' Und dann zappen wir das Gehirn entsprechend, und sie sehen einen Hund. Ich denke, das ist eine gute Richtung für das Sehen. Etwas Ähnliches könnte mit der Sprache gemacht werden. Vielleicht könnten wir Menschen mit Sprachverständnisproblemen helfen. Ich denke, es gibt eine Richtung— Ich bin vorsichtig hoffnungsvoll.”

Solche Forschungen und Projekte werden zweifellos neue Diskussionen in den Bereichen maschinelles Lernen, Neurowissenschaften und Kognition anregen. Sie werden auch eine der intensiveren Diskussionen in der wissenschaftlichen Gemeinschaft beeinflussen, die fragt ob das Gehirn überhaupt ein gutes Modell für maschinelles Lernen ist oder nicht, und wenn das überhaupt wichtig ist.

„Die Leute argumentieren in beide Richtungen“, bemerkt Martin. „Ich denke, die Neurowissenschaften können hin und wieder als Validierungs-Checkpoint dienen. Sind Sie auf dem richtigen Weg? Bauen Sie in diesem Fall die richtigen Sprachmodelle?Oder sind sie ganz anders als das Gehirn Dinge löst?“

Unabhängig davon, weiter in das Gehirn zu blicken, um zu sehen, wie es Dinge löst, ist ein Projekt, das jeden interessieren sollte. Wie sich herausstellt, ist maschinelles Lernen eines der besten verfügbaren Werkzeuge, um uns dabei zu helfen.

Folge uns auf

Bleiben Sie über die neuesten technischen Nachrichten auf dem Laufenden

Geben Sie einfach Ihre E-Mail ein und wir kümmern uns um den Rest :

Mit dem Abonnieren stimmen Sie unseren zuNutzungsbedingungen und Datenschutzrichtlinie. Sie können sich jederzeit wieder abmelden.