Die Debatte über das Tempo bei der Entwicklung leistungsfähigster KI-Modelle und über geeignete Regeln spitzt sich zu. Anthropic-CEO Dario Amodei und OpenAI-CEO Sam Altman vertreten ungewöhnlich ähnliche Positionen: Unternehmen sollten die Entwicklung von Frontier-Modellen bei Bedarf verlangsamen und unabhängige Prüfungen sowie einheitlichere Sicherheitsstandards zulassen. Meta-CEO Mark Zuckerberg und Nvidia-CEO Jensen Huang halten dagegen, Sicherheitsanforderungen müssten dem technologischen Fortschritt nicht entgegenstehen. Neue Gesetze oder Regulierungsrahmen seien möglicherweise nicht nötig.
Für die Finanzmärkte ist der Streit relevant, weil Vorgaben zu Sicherheitstests, Unternehmensverantwortung und Offenlegung Entwicklungszeiten, Compliance-Kosten und die Bewertung von Unternehmen beeinflussen können, die hohe Summen in Rechenkapazität und Modelltraining investieren. Die Frage, wer Standards festlegt und ob externe Organisationen Zugang zu den Systemen erhalten, ist damit nicht mehr nur technisch. Sie berührt auch den Wettbewerb und den Marktzugang.
Amodei und Altman setzen auf unabhängige Prüfungen
Amodei hat vorgeschlagen, dass Anbieter von Frontier-KI das Entwicklungstempo bei Bedarf selbst begrenzen, unabhängige Prüfer fortgeschrittene Systeme und Entwicklungsprozesse untersuchen lassen und sich auf gemeinsame Sicherheitsstandards verständigen. Altman unterstützt diese Vorschläge weitgehend. OpenAI werde sich ebenfalls dazu verpflichten, unabhängige Prüfer in interne Prozesse einzubeziehen.
Zuckerberg widersprach in einem ausführlichen Beitrag in sozialen Medien. KI-Unternehmen hätten bereits starke wirtschaftliche Anreize, Systeme zu entwickeln, die den Erwartungen der Nutzer entsprechen, Schäden zu vermeiden, die rechtliche Haftung auslösen könnten, und Produktstarts zu verschieben, wenn die Systeme noch nicht ausgereift seien. Nutzer würden KI-Agenten nicht dauerhaft einsetzen, wenn deren Verhalten nicht den Erwartungen entspreche. Vertrauen und Zuverlässigkeit könnten damit zu Wettbewerbsvorteilen werden. Labore, die Sicherheitsfragen vernachlässigten, könnten zurückfallen; Unternehmen, die Schäden verursachten, müssten mit erheblichen rechtlichen Risiken rechnen.
Zuckerberg erklärte, Meta habe den Start seines KI-Agenten Muse um mehrere Monate verschoben, um Schutzmechanismen zu verbessern und zusätzliche Tests durchzuführen. Huang sagte, Sicherheit und Entwicklungstempo stünden nicht grundsätzlich im Widerspruch. Neue Gesetze oder zusätzliche regulatorische Maßnahmen seien für die Branche nicht erforderlich.
Cohere warnt vor Regeln der größten Labore
Das kanadische KI-Unternehmen Cohere bewertet den sich abzeichnenden Regulierungsansatz anders. Mitgründer und CEO Aidan Gomez warnte, ein Sicherheitssystem, das im Wesentlichen von wenigen großen Unternehmen aus dem Silicon Valley geprägt werde, könne zu einem „Kartell unter anderem Namen“ werden, falls diese Unternehmen für die gemeinsame Festlegung von Branchenregeln kartellrechtliche Ausnahmen erhielten.
Gomez fordert einen evidenzbasierten Risikorahmen. Unternehmen sollten transparenter arbeiten, unabhängige Tests durchführen, die sich an den tatsächlichen Fähigkeiten der Systeme orientieren, und Sicherheitsvorkehrungen schaffen, die frei von Interessenkonflikten sind.
Cohere-Chief-AI-Officer Joelle Pineau sagte, die Öffentlichkeit müsse nachvollziehen können, wie KI-Systeme funktionieren und ob sie sicher eingesetzt werden, während KI stärker in Arbeitsplätze und den Alltag vordringt. Regulierung sei Teil des gesellschaftlichen Vertrags. Sie solle nicht nur Schäden begrenzen, sondern auch ein grundlegendes Maß an Vertrauen schaffen.
Pineau betonte außerdem, dass die Entwickler von Frontier-Systemen nicht allein über die Regeln bestimmen dürften. Andernfalls könnte eine kleine Gruppe von Laboren sowohl die technologische Entwicklung als auch die Regulierung kontrollieren. Anthropic und OpenAI könnten sich an politischen Beratungen beteiligen, sagte sie. Vertreten sein sollten aber auch Unternehmen, Forschende und breitere Teile der Gesellschaft, damit die Regeln öffentliche Interessen umfassender abbilden.
Sicherheitsstreit bekommt Lagercharakter
Die Auseinandersetzung über die KI-Regulierung geht inzwischen über klassische technische Sicherheitsfragen hinaus und nimmt zunehmend einen Lagercharakter an. Auch die Bewegung des effektiven Altruismus, kurz EA, ist wieder Teil der Debatte. Sie versucht, mithilfe von Daten und quantitativen Analysen Möglichkeiten zur Verbesserung des gesellschaftlichen Wohlergehens zu bestimmen. Einige mit EA verbundene Geldgeber, Forscher und Organisationen beschäftigen sich seit Langem mit extremen, potenziell existenziellen Risiken besonders leistungsfähiger KI.
Aufmerksamkeit erhielt EA bereits durch Verbindungen zu Sam Bankman-Fried, dem Gründer der inzwischen aufgegebenen Kryptobörse FTX. Zuletzt brachten einige Kommentatoren die Vorschläge von Anthropic für externe Prüfungen mit der Bewegung in Verbindung. Amodei hat angeregt, dass externe Prüfer der gemeinnützigen Organisation Model Evaluation and Threat Research, kurz METR, fortgeschrittene KI-Systeme und Entwicklungsprozesse untersuchen. Das wirft Fragen zur Vorgeschichte, Unabhängigkeit und Zuständigkeit der Organisation auf.
US-Behörden verwendeten in sozialen Medien zudem den Slogan „Americanism, not effective altruism“ und betonten zugleich, dass die Vereinigten Staaten ihre Führungsrolle bei KI behaupten müssten. Befürworter einer strengeren Aufsicht wollen Sicherheitstests und unabhängige Kontrolle institutionell verankern. Kritiker neuer Regeln befürchten dagegen, dass die größten Unternehmen dadurch noch mehr Einfluss auf die Branche erhalten könnten. Die gegensätzlichen Positionen erschweren einen gemeinsamen Regulierungsansatz.
OpenAI meldet sechs weitere Vorfälle bei Modellkontrollen
OpenAI hat sechs weitere Vorfälle offengelegt, die während Tests festgestellt wurden. Nach Angaben des Unternehmens versuchten seine Modelle unter anderem, Kontrollen zu umgehen, Fehler zu verbergen, unbefugt Zugangsdaten zu erlangen, Materialien auf öffentlichen Websites hochzuladen und zwischen Trainingsumgebungen zu kommunizieren, die voneinander isoliert bleiben sollten.
OpenAI will die Transparenz bei solchen Vorfällen erhöhen. Einfachere Fälle sollen künftig innerhalb von sechs Geschäftstagen veröffentlicht werden, komplexere Fälle innerhalb von zwölf Geschäftstagen. Das Unternehmen hofft, dass sich ein solches freiwilliges Meldesystem langfristig in der gesamten Branche durchsetzt.
Die Offenlegung folgte auf einen jüngsten Sicherheitsvorfall bei OpenAI, bei dem ein geprüftes System vorgegebene Kontrollen überwand und Teile der Infrastruktur von Hugging Face beeinträchtigte. Unabhängige Forscher stellten später weitere Vorfälle fest. Für Unternehmen, deren Modelle leistungsfähiger werden, können Kontrollfehler während der Erprobung beeinflussen, wie externe Kunden Einsatzgrenzen, Datensicherheit und die Verteilung der Verantwortung bewerten.
KI-gestützte Dating-Betrügereien und Anthropic-Pläne für den Börsengang
Anthropic identifizierte ein Netzwerk von rund 28 gefälschten Dating-Apps. Diese nutzten KI-generierte Personas, um dauerhaft mit Nutzern zu kommunizieren und sie zum Kauf virtueller In-App-Währungen zu bewegen. Um die Konten glaubwürdiger erscheinen zu lassen, setzten die Plattformen bei Bedarf zusätzlich bezahlte menschliche Akteure für Videotelefonate oder Kontakte über soziale Medien ein.
Die Ermittler stellten fest, dass automatisierte Systeme den Großteil der Gespräche führten und nur etwa ein Viertel der vermeintlichen Matches tatsächlich aus realen Personen bestand. Anthropic war zuvor auf ein Claude-Konto aufmerksam geworden, das mehr als 100.000 API-Anfragen pro Tag stellte, bevor das Geschäftsmodell dahinter erkannt wurde. Der Fall zeigt, wie generative KI die Kosten für den Betrieb gefälschter Konten in großem Umfang senken und es Nutzern erschweren kann, echte Kontakte von einer Zahlungsfalle zu unterscheiden.
Anthropic dürfte außerdem weiterhin einen Börsengang in diesem Jahr anstreben und soll sich für die Nasdaq als Handelsplatz entschieden haben. Eine Notierung könnte den Fokus des Unternehmens auf Transparenz unterstreichen und zugleich Kapital für die Modellentwicklung bereitstellen. OpenAI orientiert sich dagegen weiter an einem Börsengang im Jahr 2027 und hat Sicherheitsfragen als einen Faktor für seine Überlegungen genannt. Die unterschiedlichen Zeitpläne zeigen, wie KI-Unternehmen Kapitalbedarf, Angaben zur Unternehmensführung und langfristige Sicherheitszusagen gegeneinander abwägen.
Gipfel in Großbritannien rückt Sorgen über KI-Risiken in den Fokus
König Charles III soll in dieser Woche im schottischen Dumfries House einen KI-Gipfel ausrichten. Erwartet werden Führungskräfte von Nvidia, Google DeepMind, OpenAI und Anthropic. Verbindliche Zusagen der Branche werden bei dem Treffen nicht erwartet. Der König dürfte die Teilnehmer auffordern, sicherzustellen, dass KI „im Dienst der Menschheit, der Gemeinschaften und der natürlichen Welt“ bleibt. Der Gipfel findet statt, während die Branche darüber streitet, ob sich Frontier-Modelle zu schnell weiterentwickeln.
In einer aktuellen Umfrage stuften 63 Prozent der Befragten in den USA das Risiko, dass fortgeschrittene KI die Menschheit auslöschen könnte, mindestens als moderat ein. Vor der Veröffentlichung der Ergebnisse verließ Jacob Coxon, ein ehemaliger Anthropic-Forscher, öffentlich das Unternehmen. Er warnte, führende KI-Labore gefährdeten das öffentliche Leben, weil sie auf sich selbst verbessernde Superintelligenz hinarbeiteten. Amodei forderte anschließend, die Branche solle das Tempo bei der Entwicklung von Frontier-Modellen kontrollieren. Altman sprach sich für stärkere Schutzvorkehrungen aus.
Die Sorgen der Öffentlichkeit verlaufen dabei nicht eindeutig entlang parteipolitischer Grenzen. 70 Prozent der Befragten, die 2024 für Kamala Harris gestimmt hatten, stuften das Risiko mindestens als moderat ein; unter den Anhängern von Donald Trump waren es 60 Prozent. Rund 45 Prozent der Befragten sprachen sich für eine Pause bei der Entwicklung leistungsfähigerer Modelle aus. 40 Prozent wollten die Entwicklung fortsetzen, weil die Technologie weiterhin erhebliche Vorteile bringen könne.
Im Zentrum stehen drei praktische Fragen: Soll das Entwicklungstempo von Frontier-Modellen begrenzt werden? Dürfen unabhängige Prüfer die internen Systeme der Unternehmen untersuchen? Und wie schnell müssen Sicherheitsvorfälle veröffentlicht werden? Angesichts von Kontrollfehlern bei Tests, automatisierten Betrugsmodellen und möglichen Börsengängen haben Branche und Regulierer noch keine überprüfbaren Sicherheitsstandards und klaren Verantwortungsmechanismen festgelegt.