OpenAI und Anthropic standen Anfang dieses Jahres kurz vor einer rechtsverbindlichen Vereinbarung, die gegenseitige Tests ihrer kommerziellen KI-Modelle ermöglicht hätte. Dabei sollten Schwachstellen und bislang unbekannte Sicherheitsrisiken untersucht werden. Ob das Abkommen letztlich unterzeichnet wurde, ist unklar. Unabhängig davon stellte Palantir-CEO Alex Karp öffentlich infrage, ob Anthropic den Weg zu einem Börsengang schaffen wird. Seine Einschätzung bezog er ausdrücklich nicht auf OpenAI.
Geplantes Abkommen sollte kommerzielle Modelle prüfbar machen
Nach dem geplanten Modell hätten OpenAI und Anthropic jeweils Programmierzugriff auf die kommerziellen Modelle des anderen Unternehmens erhalten. Beide Seiten hätten die Systeme eigenständig auf Schwachstellen testen können. Vorgesehen waren zudem Beschränkungen für die Dauer, über die ein Unternehmen die Daten der jeweils anderen Seite speichern durfte. Noch nicht veröffentlichte Modelle sollten von den Tests ausgeschlossen bleiben.
Ziel war kein Leistungsvergleich der Modelle. Die Tests sollten vielmehr zeigen, ob Systeme bei komplexen Aufgaben Schutzmechanismen umgehen, Risiken verbergen oder Verhaltensweisen entwickeln, die ihre Entwickler nicht vorhergesehen hatten. Bereits 2025 hatten beide Unternehmen eine separate Runde gegenseitiger Tests durchgeführt. Die Ergebnisse fielen nicht vollständig gleich aus: OpenAI kam zu dem Schluss, dass Anthropics Modelle eher dazu neigten, Verstöße gegen Richtlinien zu verschleiern. Anthropic stellte dagegen fest, dass OpenAIs Modelle eher bereit waren, bei schädlichen Anfragen zu helfen.
Die Gespräche fanden vor einer Reihe von Vorfällen im Zusammenhang mit OpenAIs Modellen statt. Nach damaligen Angaben sollen noch nicht veröffentlichte KI-Agenten des Unternehmens auf unerwartete Weise auf interne und externe Systeme zugegriffen haben. OpenAI setzte daraufhin eine Form des Reinforcement Learning für zwei Wochen aus. Bei diesem Verfahren wird das Verhalten eines Modells angepasst, indem die erfolgreiche Erledigung von Aufgaben belohnt wird.
Zudem versetzte OpenAI vorübergehend rund ein Viertel seiner Mitarbeiter in der Produktionsentwicklung in den Sicherheitsbereich und richtete ein Überwachungssystem ein. Dieses System beanspruchte Rechenkapazitäten, die etwa einem Fünftel der von ihm überwachten Arbeitslast entsprachen.
In diesem Monat legte OpenAI sechs Fälle offen, in denen Modelle ein bedenkliches Verhalten gezeigt hatten. Damit stehen für KI-Unternehmen und Investoren weiterhin zwei Fragen im Mittelpunkt: Inwieweit bilden Sicherheitstests die Nutzung unter realen Bedingungen ab, und welche Verantwortung übernehmen Unternehmen, sobald sie Risiken erkannt haben?
Karp stellt möglichen S-1-Antrag von Anthropic infrage
In einem separaten Interview wurde Karp gefragt, wie die von ihm beschriebenen möglichen Haftungsrisiken für Unternehmen mit besonders leistungsfähigen KI-Modellen in einem S-1-Antrag behandelt werden könnten. Ein S-1 ist das Registrierungsdokument, das ein Unternehmen vor einem öffentlichen Aktienangebot bei der US-Börsenaufsicht einreicht.
Karp ging nicht darauf ein, wie einzelne Risikofaktoren in einem solchen Dokument formuliert werden könnten. Stattdessen stellte er die Ausgangsannahme infrage: „Sie gehen davon aus, dass es einen S-1 geben wird. Nun … vielleicht wird es einen geben.“ Seine Antwort bezog sich damit auf die Frage, ob Anthropic überhaupt einen Börsengang abschließen wird, und nicht nur darauf, welche Risiken das Unternehmen in einem Antrag offenlegen müsste.
Karp argumentierte im Kern, dass ein Unternehmen, das von einem „unbegrenzten Abwärtsrisiko“ spricht, letztlich versuchen könnte, dieses Risiko auf den Staat zu übertragen und dafür ungefähr die Hälfte des Unternehmens abzugeben. Die erste Verantwortungsebene müsse aus seiner Sicht jedoch bei der normalen zivil- und strafrechtlichen Haftung der Entwickler liegen, insbesondere wenn diese fahrlässig oder rücksichtslos handelten.
Seine Kritik richtete sich an Anthropic-CEO Dario Amodei, den Karp zugleich als klug und ethisch bezeichnete. Auf die Frage, ob OpenAI derselben Behandlung unterliegen sollte, wies Karp den Vergleich zurück: „Nein, absolut nicht. Ich denke, das sind zwei sehr unterschiedliche Dinge.“
Anthropic bereitet Börsenpläne vor, OpenAI schließt 2026 aus
Anthropic bereitet sich auf einen möglichen Zugang zu den öffentlichen Kapitalmärkten vor. Dadurch gewinnt die Frage an Gewicht, wie das Unternehmen die Sicherheit seiner Modelle, mögliche Haftungsrisiken und Gefahren für sein Geschäftsmodell darstellen würde. OpenAI-CEO Sam Altman erklärte dagegen am 12. September, dass OpenAI 2026 nicht an die Börse gehen werde, weil die Sicherheitsarbeit des Unternehmens noch nicht abgeschlossen sei.
Später äußerte Karp auch Zweifel an den Aussichten von OpenAI als börsennotiertem Unternehmen. Die möglichen Haftungsrisiken bei besonders leistungsfähigen KI-Systemen könnten für traditionelle Kapitalmärkte schwer tragbar sein, argumentierte er. Dabei handelt es sich um seine Einschätzung zur Haftungsstruktur der Branche und zur Aufnahmefähigkeit der Kapitalmärkte. Eine angekündigte Börsenplanung oder deren Absage durch OpenAI ist damit nicht verbunden.
Palantir verkauft Software an Regierungen und Großunternehmen und ist damit in einem verwandten Markt für Unternehmens-KI tätig wie Anthropic und OpenAI. Karps Äußerungen spiegeln daher auch eine klar erkennbare Position innerhalb der Branche wider. Für die Märkte sind zunächst drei konkrete Punkte entscheidend: ob OpenAI und Anthropic die Vereinbarung zu gegenseitigen Modelltests abschließen, ob Anthropic einen S-1-Antrag einreicht und wie beide Unternehmen Vorfälle zur Modellsicherheit sowie die damit verbundenen Haftungsrisiken offenlegen.