KI in der Verwaltung: Datenschutz‑Pflichten und Praxistipps

Behörden müssen beim Einsatz von KI‑Systemen strenge Vorgaben aus DSGVO und KI‑Verordnung beachten – ein Leitfaden für öffentliche Stellen

Behörden setzen KI in vielfältigen Bereichen ein: Automatisierung von Verwaltungsdienstleistungen bei gebundenen Entscheidungen (§ 35a VwVfG) z.B. in der Steuerverwaltung, Verkehrsflussanalyse, Videoüberwachung öffentlicher Räume, Umweltüberwachung, Chatbots etwa zur Beantwortung von Fragen, Zusammenfassung und Erstellung von Texten und Sprachübersetzung. Die Anwendbarkeit der DSGVO bleibt von der KI-VO unberührt. Die KI-VO wurde im Mai 2024 verabschiedet und enthält Verbote für bestimmte KI-Praktiken (z.B. Social Scoring), Risiko-Klassifizierung, Pflichtenkatalog für sog. Hoch-Risiko-Systeme (z.B. präventives Risikomanagement), Mindestanforderungen an KI-Systeme (Transparenz, etc.) sowie schrittweise Anwendung der Vorschriften, überwiegend zwei Jahre nach Inkrafttreten. Behörden müssen nun prüfen, welche Rechtsgrundlagen für KI‑Einsatz greifen und wie sie die neuen Pflichten umsetzen.

Rechtliche Einordnung

Rechtsrahmen

Die DSGVO enthält keine spezifischen Vorschriften für KI-Systeme. Behörden müssen daher die allgemeinen Datenschutzgrundsätze auf KI‑Anwendungen übertragen. Ein KI-System ist nach Art. 3 Nr. 1 KI-VO ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.

Die Verarbeitung umfasst: Erheben von Trainingsdaten (z.B. „Crawlen“ von Daten aus dem Internet oder eigenständige Erhebung über das Anfertigen von Bilddaten mit einer Kamera), Verarbeitung von Trainingsdaten zum initialen Training oder zum Verbessern (Fine-Tuning) zur Herstellung (Entwicklung) eines KI-Systems, Bereitstellen von Anwendungen, Nutzung (Anwendung) von KI-Anwendungen (Weiterverarbeitung der Trainingsdaten bei der Nutzung, z.B. Textentwurf), Nutzung von Ergebnissen der KI etc.

Art. 6 Abs. 1 lit. b) DS-GVO greift im Verhältnis zwischen Verwaltung und Bürger i.d.R. nicht, da kein Instrument des Verwaltungshandelns. Möglich ist Art. 6 Abs. 1 lit. e) DS-GVO i.V.m. spezifischer Rechtsgrundlage (z.B. in Rheinland-Pfalz § 3 LDSG RLP als Auffangtatbestand) – beim Einsatz einer Anwendung der Künstlichen Intelligenz kann aber schon der Umstand, dass die Verarbeitung nicht vollständig erklärbar ist, für einen schwerwiegenden Eingriff sprechen, der den Rückgriff auf die Generalklausel ausschließt und eine spezialgesetzliche Regelung erfordert. Nicht Art. 6 Abs. 1 lit. f) DS-GVO – berechtigtes Interesse (Art. 6 Abs. 1 Satz 2 DS-GVO) kann Rechtsgrundlage sein, da öffentliche Stellen diesen Erlaubnistatbestand nicht nutzen dürfen.

Jederzeit Widerruf möglich (Art. 7 Abs. 3 Satz 1 DSGVO) und in Folge dessen Recht auf Löschung; bei Trainingsdaten ist dies kaum möglich. Die Festlegung auf eindeutige und abgrenzbare Zwecke der Datenverarbeitung kann schwierig sein wegen autonomer Weiterentwicklung des Modells und damit verbundener kontinuierlicher Datenverarbeitung mit häufiger Änderung der Verarbeitungszwecke.

Die KI-VO unterscheidet: Ein Inakzeptables Risiko (z.B. Social Scoring durch staatliche Stellen) ist verboten, Hoch-Risiko (negative Auswirkungen auf die Sicherheit der Menschen oder ihre Grundrechte, z.B. in Personalverwaltung oder öffentlicher Daseinsfürsorge) verlangen verbindliche Anforderungen (z.B. menschliche Aufsicht) sowie KI mit begrenztem Risiko hat eine begrenzte Anzahl von Verpflichtungen (z.B. Transparenz). KI mit geringem Risiko (alle anderen KI-Systeme) haben keine zusätzlichen rechtlichen Verpflichtungen.

Auswirkungen für die Praxis

Technisch geschlossene Systeme (technisch abgeschlossene Umgebung, Zugriff nur durch eng begrenzten Anwenderkreis, Kontrolle über Ein- und Ausgabedaten liegt bei den Anwendenden) sind aus datenschutzrechtlicher Sicht vorzugswürdig gegenüber offenen Cloud‑Lösungen, bei denen Eingabedaten evtl. für die Beantwortung von Anfragen anderer Anwender verwendet werden.

Seit dem 1.8.2025 gilt u.a. für die Umsetzung Art. 50 KI-VO, dass KI-generierte Inhalte als solche zu kennzeichnen sind.

Grundsätzlich darf es keine ausschließlich automatisierte Entscheidung gegenüber Personen geben; der Mensch entscheidet. Behörden müssen sicherstellen, dass KI‑Vorschläge stets von Menschen geprüft und freigegeben werden. Die Überprüfung des Outputs darf nicht ausgelassen werden (Halluzination?) und vermeindlich aktuelle Sprachmodelle arbeiten z.T. mit einem nicht laufend aktualisierten Stand (Verzerrung?). Enthält der Output personenbezogene Daten müssen Sie prüfen, ob es für die Nutzung eine Rechtsgrundlage gibt. Behörden sollten eine Dienstanweisung erstellen, die den organisatorischen Rahmen für die Verwendung von KI-Tools innerhalb der Verwaltung regelt. Bei Entwicklung, Bereitstellung und Nutzung von KI-Systemen sind alleinige Verantwortlichkeit, getrennte alleinige Verantwortlichkeit, gemeinsame Verantwortlichkeit oder Auftragsverarbeitung denkbar. Eine differenzierte Betrachtung im Einzelfall ist erforderlich.

➜ Zur To-Do-Liste (priorisiert)​

Risiken & Fallstricke

Halluzinationen und Verzerrungen

Plausibel klingende, unzutreffende Inhalte; Antworten basieren auf geschätzten Wahrscheinlichkeiten; Wenn Fakten „fehlen“, werden dennoch Informationen mit höchster Wahrscheinlichkeit ausgegeben; System „schließt“ Lücken, indem es falsche Informationen SEHR GLAUBHAFT generiert. In möglicherweise veralteten Trainingsdaten spiegeln sich Klischees, Vorurteile und insbesondere Rassismus unreflektiert wieder; Teils aber auch problematisch: Es gibt zu wenige Trainingsdaten.

Einwilligung als Rechtsgrundlage

Jederzeit Widerruf möglich (Art. 7 Abs. 3 Satz 1 DSGVO) und in Folge dessen Recht auf Löschung: bei Trainingsdaten kaum möglich; Daten Dritter aus dem Internet: von den i.d.R. unbekannten Personen kann kaum eine Einwilligung eingeholt werden. Behörden sollten sich nicht auf Einwilligung stützen.

Generalklausel bei unerklärlicher Verarbeitung

Beim Einsatz einer Anwendung der Künstlichen Intelligenz kann schon der Umstand, dass die Verarbeitung nicht vollständig erklärbar ist, für einen schwerwiegenden Eingriff sprechen, der den Rückgriff auf die Generalklausel ausschließt und eine spezialgesetzliche Regelung erfordert.

Personenbezug über Zusammenhänge

Personenbezug evtl. über Zusammenhänge herstellbar, beispielsweise mittels genauer Ortsangaben. Auch scheinbar anonyme Prompts können Rückschlüsse ermöglichen.

Offene Systeme

Bei offenen Cloud‑Lösungen ist unklar, ob Eingabedaten für Trainingszwecke verwendet werden; Verwendung der eingegebenen Daten zu Trainingszwecken ablehnen; „Historie“ abwählen.

➜ Zur Checkliste „Bin ich betroffen?“​

FAQ

1. Dürfen wir ChatGPT oder ähnliche offene Tools in der Verwaltung nutzen?
Technisch geschlossene Systeme sind aus datenschutzrechtlicher Sicht vorzugswürdig. Offene Cloud‑Dienste sollten nur genutzt werden, wenn keine Eingabe personenbezogener Daten als Prompts erfolgt und Verwendung der eingegebenen Daten zu Trainingszwecken abgelehnt wird; „Historie“ abgewählt wird.

2. Reicht eine Einwilligung der Bürger als Rechtsgrundlage?
Nein. Jederzeit Widerruf möglich (Art. 7 Abs. 3 Satz 1 DSGVO) und in Folge dessen Recht auf Löschung: bei Trainingsdaten kaum möglich. Freiwilligkeit (zwischen Behörde und betroffener Person herrscht regelmäßig ein Ungleichgewicht). Behörden sollten sich auf gesetzliche Erlaubnistatbestände stützen.

3. Müssen wir KI‑generierte Texte kennzeichnen?
Ja, seit dem 1.8.2025: u.a. Umsetzung Art. 50 KI-VO: KI-generierte Inhalte sind als solche zu kennzeichnen.

4. Welche Schulungen sind bis wann Pflicht?
Seit dem 2.2.2025: Umsetzung Art. 4 KI-VO: KI-Kompetenz beim Personal sicherstellen (Bildungsbedarf abhängig von Zweck und Kontext, einschl. Risikoklasse der eingesetzten Systeme sowie Vorwissen) Dokumentation der Trainings zum Nachweis.

5. Darf die KI automatisch Bescheide erlassen?
Nur bei gebundenen Entscheidungen und mit gesetzlicher Grundlage (§ 35a VwVfG). Art. 22 DS-GVO: grundsätzlich keine ausschließlich automatisierte Entscheidung gegenüber Personen; der Mensch entscheidet.

6. Was sind „Halluzinationen“ und wie gehen wir damit um?
Plausibel klingende, unzutreffende Inhalte: Antworten basieren auf geschätzten Wahrscheinlichkeiten. Wenn Fakten „fehlen“, werden dennoch Informationen mit höchster Wahrscheinlichkeit ausgegeben. Das System „schließt“ Lücken, indem es falsche Informationen SEHR GLAUBHAFT generiert. Daher: Überprüfung des Outputs: Ergebnis fachlich korrekt (Halluzination?), aktuell (Sprachmodelle arbeiten z.T. mit einem bestimmten, nicht laufend aktualisiertem Stand!).