Der erste FDA Warning Letter mit KI-Bezug: Warum nicht die Technologie, sondern die Kontrolle versagt hat

Der Einsatz von künstlicher Intelligenz erreicht zunehmend regulierte Bereiche der pharmazeutischen Herstellung, Qualitätssicherung und Dokumentation. Was bislang vor allem als Effizienzthema diskutiert wurde, bekommt nun eine klare regulatorische Dimension.

Die FDA hat in einem Warning Letter vom 2. April 2026 erstmals ausdrücklich den unangemessenen Einsatz von KI-Agenten im GMP-Umfeld beanstandet. Konkret ging es um KI-generierte Spezifikationen, Verfahrensanweisungen sowie Herstell- und Prüfprotokolle, die offenbar ohne ausreichende menschliche Prüfung in GMP-relevante Prozesse übernommen wurden.

Der Fall ist deshalb bemerkenswert, weil die FDA nicht den Einsatz von KI an sich kritisiert. Beanstandet wurde vielmehr, dass KI-Ergebnisse ohne geeignete Kontrolle, Prüfung und Freigabe verwendet wurden. Die Behörde stellte klar, dass Ergebnisse oder Empfehlungen eines KI-Agenten durch einen autorisierten Vertreter der Quality Unit geprüft und freigegeben werden müssen, wenn sie in cGMP-Aktivitäten einfließen.

Dieser Fall markiert einen Wendepunkt. Nicht die Nutzung von KI wird kritisiert, sondern deren unkontrollierter Einsatz in qualitätsrelevanten Prozessen.

Was die FDA konkret beanstandet hat

Der Warning Letter basiert auf einer Inspektion im Oktober 2025 und dokumentiert mehrere schwerwiegende cGMP-Verstöße. Neben klassischen Mängeln (z. B. unzureichende Hygienebedingungen und fehlende Prüfungen) hebt die FDA erstmals ausdrücklich den Umgang mit KI hervor.

Aus Qualitätssicht lassen sich zwei zentrale Mängel erkennen.

Erstens fehlte offenbar die Prüfung KI-generierter Dokumente. Laut FDA wurden Dokumente wie Arzneimittelspezifikationen, Verfahrensanweisungen sowie Herstell- und Prüfprotokolle mithilfe von KI erstellt und anschließend in regulierte Abläufe übernommen. Die FDA wertete die fehlende Überprüfung dieser Dokumente als Verstoß gegen 21 CFR 211.22(c), der die Verantwortung der Quality Unit für die Prüfung und Freigabe qualitätsrelevanter Vorgänge beschreibt.

Zweitens kritisierte die FDA eine übermäßige Abhängigkeit von KI. Besonders deutlich wird dies an der fehlenden Prozessvalidierung. Das Unternehmen gab gegenüber der FDA sinngemäß an, es sei sich der entsprechenden gesetzlichen Anforderung nicht bewusst gewesen, da der eingesetzte KI-Agent nicht darauf hingewiesen habe. Die FDA sah darin einen Verstoß gegen 21 CFR 211.100.

Damit wird ein zentraler Punkt deutlich: Regulatorische Verantwortung kann nicht an ein KI-System delegiert werden. KI kann unterstützen, vorbereiten, strukturieren oder Hinweise liefern. Sie kann aber keine fachliche Verantwortung übernehmen und keine qualitätsrelevante Freigabe ersetzen.

KI ist ein Werkzeug – keine Freigabeinstanz

Der Fall zeigt nicht, dass KI im GMP-Umfeld grundsätzlich ungeeignet wäre. Er zeigt vielmehr, dass KI wie jedes andere Werkzeug kontrolliert eingesetzt werden muss. Gerade in regulierten Umgebungen entscheidet nicht die technische Leistungsfähigkeit eines Systems allein über seine Nutzbarkeit, sondern die Einbettung in klare Prozesse, Verantwortlichkeiten und Nachweise.

Ein KI-generierter Dokumententwurf kann hilfreich sein. Er kann Zeit sparen, Wiederholungen reduzieren und als Ausgangspunkt für fachliche Arbeit dienen. Problematisch wird es, wenn dieser Entwurf ohne qualifizierte Prüfung in das Qualitätsmanagementsystem übernommen wird. Dann entsteht nicht Effizienz, sondern ein Compliance-Risiko.

Die Quality Unit bleibt dabei die entscheidende Instanz. Sie muss sicherstellen, dass qualitätsrelevante Dokumente, Prozesse und Entscheidungen geprüft, nachvollziehbar und freigegeben sind – unabhängig davon, ob Inhalte von einem Menschen erstellt oder durch KI unterstützt wurden.

Der eigentliche Pain Point: Shadow AI im regulierten Umfeld

Viele Unternehmen befinden sich derzeit in einer Übergangsphase. KI-Tools sind verfügbar, einfach zugänglich und versprechen schnelle Ergebnisse. Gleichzeitig fehlen häufig verbindliche Regeln für den Einsatz in GMP- oder GxP-nahen Prozessen.

Genau hier entsteht das eigentliche Risiko. Nicht der kontrollierte Einsatz von KI ist das Problem, sondern die informelle Nutzung außerhalb etablierter Qualitätsstrukturen. Wenn Mitarbeiter KI nutzen, ohne dass klar definiert ist, welche Anwendungsfälle erlaubt sind, welche Daten verarbeitet werden dürfen, wer Ergebnisse prüft und wie der Einsatz dokumentiert wird, entsteht „Shadow AI".

Für regulierte Unternehmen ist das besonders kritisch. Denn GMP-Compliance basiert auf Nachvollziehbarkeit, Verantwortlichkeit und kontrollierten Prozessen. KI darf diese Prinzipien nicht umgehen, sondern muss in sie integriert werden.

Wo KI sinnvoll unterstützen kann

Richtig eingesetzt kann KI in regulierten Umgebungen einen erheblichen Beitrag leisten. Sinnvolle Anwendungsfälle sind beispielsweise:

• Entwürfe für SOPs, Spezifikationen oder Testpläne
• Unterstützung bei Recherche und Zusammenfassung regulatorischer Anforderungen
• Vorbereitung von Risikoanalysen und Gap-Assessments
• Erstellung von Review-Checklisten oder Testfällen
• Unterstützung bei Code-Erstellung und technischer Dokumentation
• Sprachliche Optimierung, Übersetzung und Strukturierung von Dokumenten

Entscheidend ist jedoch: Diese Ergebnisse bleiben Vorarbeiten. Sie müssen fachlich bewertet, geprüft und freigegeben werden, bevor sie in regulierte Prozesse einfließen.

Wo braucht es zwingend menschliche Prüfung?

• Freigabe jeglicher GxP-relevanter Dokumentation
• Code Reviews und technische Verifikation
• Bewertung regulatorischer Konformität
• Entscheidungen über Softwarevalidierung und Qualifikation
• Risikobewertungen und deren finale Einordnung
• Release-/Deployment-Freigaben und qualitätsrelevante Entscheidungen

Grundsätzlich gilt: Jedes KI-generierte Ergebnis, das in einen regulierten Prozess einfließt, muss von fachkundigem Personal geprüft werden.

Besonders kritisch sind: Spezifikationen, SOPs, Validierungsdokumente, Traceability-Matrizen, Risikobewertungen, Prüfprotokolle und Freigabeentscheidungen.

Was Unternehmen jetzt definieren sollten

Der FDA-Fall macht deutlich, dass Unternehmen für den KI-Einsatz im GxP-Umfeld klare Leitplanken benötigen. Dazu gehören mindestens:

Klare Abgrenzung der Anwendungsfälle

Unternehmen müssen definieren, wo KI unterstützen darf und wo nicht. Nicht jeder Use Case ist für KI geeignet – insbesondere nicht ohne Risikobewertung.

Verantwortlichkeiten und Freigabeprozesse

Es muss eindeutig geregelt sein, wer KI-generierte Ergebnisse prüft, bewertet und freigibt. Die Verantwortung bleibt beim Unternehmen und bei den zuständigen Rollen im Qualitätsmanagement.

Human-in-the-Loop als Pflichtprinzip

KI-Ergebnisse dürfen nicht automatisch in GxP-relevante Prozesse übernommen werden. Eine fachkundige menschliche Prüfung ist erforderlich.

Dokumentation und Nachvollziehbarkeit

Der Einsatz von KI muss nachvollziehbar sein. Dazu gehört, zu dokumentieren, wann KI verwendet wurde, wofür sie eingesetzt wurde und wie die Ergebnisse geprüft wurden.

Risikobewertung und Validierungsstrategie

Für konkrete KI-Anwendungsfälle sollte bewertet werden, welches Risiko mit dem Einsatz verbunden ist und welche Kontrollen erforderlich sind.

Schulung der Mitarbeiter

Wer KI nutzt, muss die Grenzen der Technologie kennen. Dazu gehören Halluzinationen, unvollständige Antworten, fehlender Kontext und die Gefahr scheinbar plausibler, aber fachlich falscher Ergebnisse.

Die Haltung der anic GmbH

Die anic GmbH sieht KI als wertvolles Werkzeug zur Unterstützung von Entwicklung, Dokumentation und Recherche. Gleichzeitig gilt: KI ersetzt weder Fachkompetenz noch Verantwortung. Qualitativ oder prozessrelevant wird ein Ergebnis erst dann, wenn es von qualifiziertem Personal geprüft und freigegeben wurde.

Diese Grundhaltung spiegelt sich bereits in bestehenden Kontrollmechanismen wider. KI-generierter Code darf nicht ungeprüft übernommen werden. Code Reviews erfolgen manuell durch qualifizierte Reviewer, und bei Dokumenten gilt ein mehrstufiger Freigabeprozess – unabhängig davon, ob Inhalte mit oder ohne KI-Unterstützung erstellt wurden. Vertrauliche Informationen, personenbezogene Daten und Firmen-IP dürfen zudem nur in freigegebenen und lizenzierten KI-Werkzeugen verarbeitet werden.

Damit wird KI nicht ausgeschlossen, sondern kontrolliert nutzbar gemacht. Der entscheidende Unterschied liegt in der Prozessintegration. KI darf nicht außerhalb des Qualitätsmanagementsystems stehen, sondern muss in bestehende Review-, Freigabe- und Dokumentationsprozesse eingebettet werden.

Von der Technologiefrage zur Governance-Frage

Der erste FDA Warning Letter mit explizitem KI-Bezug ist ein Signal an die Branche. Regulatoren werden KI nicht pauschal ablehnen. Sie werden aber erwarten, dass Unternehmen den Einsatz beherrschen. Wer KI in regulierten Prozessen nutzt, muss zeigen können, dass Ergebnisse geprüft, Entscheidungen nachvollziehbar und Verantwortlichkeiten eindeutig geregelt sind.

Damit verschiebt sich die Diskussion. Es geht nicht mehr nur darum, welches KI-Tool eingesetzt wird. Entscheidend ist, ob Unternehmen Strukturen geschaffen haben, die einen sicheren und auditfähigen Einsatz ermöglichen.

Für pharmazeutische, biotechnologische und andere regulierte Unternehmen bedeutet das: KI-Projekte dürfen nicht isoliert als reine Effizienzinitiativen betrachtet werden. Sie müssen von Anfang an mit QA, IT, Fachbereichen und Compliance abgestimmt werden.

Fazit

Der Fall zeigt: Compliance scheitert nicht an KI, sondern an fehlender Kontrolle. KI kann im GMP-Umfeld wertvoll sein – aber nur, wenn sie als unterstützendes Werkzeug verstanden wird. Sobald KI-Ergebnisse ungeprüft übernommen oder regulatorische Entscheidungen faktisch an ein System delegiert werden, entsteht ein erhebliches Risiko.

Die Zukunft im regulierten Umfeld ist deshalb nicht „KI oder keine KI". Die Zukunft ist kontrollierte KI mit klaren Verantwortlichkeiten, dokumentierten Prüfungen, nachvollziehbaren Freigaben und einer Quality Unit, die ihre Rolle auch im digitalen Wandel aktiv wahrnimmt.

Für die anic GmbH ist genau das der entscheidende Ansatz:

„KI ist im regulierten Umfeld ein wertvolles Werkzeug – vorausgesetzt, ihre Ergebnisse werden nicht blind übernommen, sondern fachlich geprüft und durch autorisiertes Personal verantwortet. Nicht die KI ist das Problem, sondern der unkontrollierte Einsatz ohne menschliche Oversight. Bei anic gilt: KI unterstützt, der Mensch entscheidet und verantwortet."