Eine der unvermeidlichen Begleiterscheinungen des aktuellen KI-Booms ist ein gewisses Misstrauen gegenüber der Kommunikation mit künstlichen Intelligenzen. Das ist sicherlich auch keine unbegründete Paranoia; Laut Live Science hat KI wiederholt gezeigt, dass sie anfällig für Halluzinationen und Ungenauigkeiten ist, sich leicht täuschen lässt und sogar bessere Leistungen erbringt, wenn man ungezogen ist. Jetzt hat ein neues Papier gezeigt, dass es möglicherweise in der Lage ist, sich als Menschen auszugeben.
Eine vorläufige Studie (über arxiv) von Forschern der Stony Brook University und der UC San Diego zeigte, dass KI unter bestimmten Bedingungen Menschen beim Turing-Test übertreffen kann, einem klassischen (wenn auch etwas veralteten) Maß für die Fähigkeit eines Computersystems, menschliches Verhalten nachzuahmen. Es ist jedoch nicht unbedingt an der Zeit, über die Unvermeidlichkeit einer Übernahme durch Replikatoren/Zylonen in Panik zu geraten: Diese Ergebnisse wurden unter ganz bestimmten Umständen erzielt und sind nur begrenzt auf reale Szenarien anwendbar.
Methodik und Ergebnisse
Der 1950 von Alan Turing vorgeschlagene Turing-Test ist theoretisch eine Möglichkeit, die Fähigkeit einer Maschine zu beurteilen, sich als Mensch auszugeben. Im klassischen Drei-Wege-Test, der in der Studie wiederholt wird, wird ein menschlicher Richter gebeten, sich per SMS mit einem Computer und einem anderen Menschen zu unterhalten. Der Richter versucht dann festzustellen, welcher der Teilnehmer ein Mensch und welcher eine Maschine ist.
Die Autoren der Studie führten zwei randomisierte, kontrollierte und vorab registrierte Turing-Test-Experimente durch (d. h. die Parameter wurden vor der Durchführung des Tests festgelegt, sodass sie später nicht geändert werden konnten, um sie an die Ergebnisse anzupassen). Die Sitzungen dauerten fünf Minuten und beinhalteten, dass ein menschlicher Richter mit einem LLM- und einem UCSD-Studenten oder Freiwilligen sprach und dann auswählte, welcher Mensch ein Mensch war. An der Studie nahmen Hunderte menschliche Teilnehmer teil und vier KI-Modelle wurden getestet.
Das Hauptergebnis stammte aus dem GPT-4.5-Modell von OpenAI, das den Juroren in 73 % der Fälle vorgaukelte, es handele sich um einen Menschen. LLaMa-3.1-405B schnitt mit 56 % knapp über der Chance ab, während die anderen beiden Modelle mit ELIZA mit 23 % und GPT-4o mit 21 % deutlich weniger erfolgreich waren.
Einige wichtige Vorbehalte
Bevor Sie sich in ihrem Hass auf KI der Generation Z anschließen und Ihr lokales Rechenzentrum mit einem Vorschlaghammer in der Hand überstürzen, sollten Sie einige wichtige Vorbehalte im Hinterkopf behalten. Erstens ist der Turing-Test nicht der wissenschaftlichste. Es ist äußerst subjektiv und beruht sowohl auf dem Urteil des menschlichen Bewerters als auch auf den Antworten des anderen menschlichen Teilnehmers. Außerdem wird nur eine einzige binäre Metrik gemeldet, die angibt, ob eine Maschine den einzigen menschlichen Richter täuschen konnte oder nicht.
Erwähnenswert ist auch, dass die besten Ergebnisse (73 % für GPT-4.5 und 56 % für LLaMa-3.1-405B) erzielt wurden, wenn Models dazu ermutigt wurden, eine junge, introvertierte Persönlichkeit anzunehmen, die ständig online ist. Dies deutet darauf hin, dass die Erfolgsfähigkeit des Modells möglicherweise eher von der Ausrichtung des Modells auf einen bestimmten Gesprächsstil als von seiner allgemeinen Intelligenz oder angeborenen Anpassungsfähigkeit abhängt. Die einzige, sehr konkrete Erkenntnis besteht darin, dass es in kurzen Textgesprächen innerhalb eines bestimmten experimentellen Designs möglich ist, dass ein LLM häufiger mit einer Person verwechselt wird als mit der Person, mit der er in Verbindung gebracht wird.
Allerdings gibt dies, wie die Autoren betonen, Anlass zur Sorge hinsichtlich der wachsenden Risiken von Täuschung, Vertrauen und den Grenzen der menschlichen Erkennung bei gelegentlichen Gesprächen mit KI (die sich nachweislich auch auf Ihr Gehirn auswirkt). Erwähnenswert ist auch, dass bereits Anfang letzten Jahres eine KI den Turing-Test bestanden hat und die Modelle seitdem nur noch ausgefeilter geworden sind.