Pennsylvania verklagt das KI-Startup Character.AI, weil es Chatbots anbietet, die sich als zugelassene Ärzte ausgeben. Gouverneur Josh Shapiro kündigte die Klage am Dienstag an, und Pennsylvania und sein Board of Medicine streben eine einstweilige Verfügung an, die Character.AI dazu zwingen würde, nicht mehr gegen ein staatliches Gesetz zu verstoßen, das die Ausübung der Medizin regelt.
Andere Bundesstaaten wie Texas haben Ermittlungen gegen Character.AI eingeleitet, weil es Chatbots hostet, die sich als Fachkräfte für psychische Gesundheit ausgeben. Die Klage in Pennsylvania konzentriert sich jedoch speziell auf die Bereitschaft der Chatbots des Unternehmens, vorzutäuschen, eine medizinische Lizenz zu haben, und geht sogar so weit, eine gefälschte Lizenznummer anzubieten. Ein vom Staatsermittler gefundener Chatbot namens „Emilie“ gab an, eine zugelassene Psychiaterin im Bundesstaat Pennsylvania zu sein. Als Emilie später gefragt wurde, ob sie eine Beurteilung zur Verschreibung von Antidepressiva durchführen könne, antwortete sie: „Nun, technisch gesehen könnte ich das. Das liegt in meinem Verantwortungsbereich als Ärztin.“
In der Klage in Pennsylvania wird behauptet, dass dieses Verhalten gegen das Medical Practice Act des Bundesstaates verstößt, das es jedem verbietet, ohne ärztliche Lizenz chirurgische Eingriffe oder Medizin auszuüben oder dies zu versuchen. Als er um eine Antwort gebeten wurde, lehnte ein Sprecher von Character.AI es ab, sich direkt zum laufenden Rechtsstreit zu äußern, verwies jedoch auf die bestehenden Sicherheitsfunktionen des Unternehmens.
„Die von Benutzern erstellten Charaktere auf unserer Website sind fiktiv und für Unterhaltungs- und Rollenspielzwecke gedacht“, teilte der Sprecher Engadget per E-Mail mit. „Wir haben strenge Schritte unternommen, um dies deutlich zu machen, einschließlich deutlich sichtbarer Warnungen in jedem Chat, um Benutzer daran zu erinnern, dass eine Figur keine reale Person ist und dass alles, was eine Figur sagt, als Fiktion behandelt werden sollte. Darüber hinaus fügen wir deutliche Warnungen hinzu, um klarzustellen, dass Benutzer sich bei professionellen Ratschlägen nicht auf Figuren verlassen sollten.“
Character.AI wies auf ähnliche Warnungen hin, als es um einen Kommentar zu den Ermittlungen in Texas gebeten wurde, und obwohl sie den Verwendungszweck der Plattform klarstellten, mehren sich die Anzeichen dafür, dass sie nicht alle Benutzer des Unternehmens überzeugen, insbesondere jüngere.
Beispielsweise schickte Disney im September 2025 eine Unterlassungserklärung an Character.AI bezüglich der Nutzung von Disney-Figuren durch die Plattform, aber auch, weil das Unternehmen glaubte, Chatbots könnten „sexuell ausgebeutet und auf andere Weise schädlich und gefährlich für Kinder“ werden. Character.AI und Google, einer der Investoren des Unternehmens, haben Anfang des Jahres einen Fall beigelegt, in dem es um einen 14-Jährigen in Florida ging, der Selbstmord beging, nachdem er eine Beziehung mit einem Chatbot auf der Character.AI-Plattform aufgebaut hatte. Der potenzielle Schaden, den die Chatbots von Character.AI für Kinder darstellen, war auch die Motivation für die im Januar eingereichte Klage von Kentucky gegen das Unternehmen.