KI-Verordnung: Diese Praktiken sind seit Februar 2025 verboten

Die EU verbietet manipulative und diskriminierende KI-Systeme – mit teils unklaren Grenzen

Die EU verfolgt mit der KI-Verordnung das Ziel, das Funktionieren des Binnenmarkts durch einen einheitlichen Rechtsrahmen zu verbessern, eine menschenzentrierte und vertrauenswürdige KI zu fördern und gleichzeitig ein hohes Schutzniveau vor schädlichen Auswirkungen von KI-Systemen zu gewährleisten. Die KI-VO verfolgt einen risikobasierten Ansatz, bei dem Art und Inhalt der Vorschriften auf die Intensität und den Umfang der Risiken zugeschnitten sind. Als Ausdruck dieses Ansatzes werden in Art. 5 KI-VO manipulative, ausbeuterische und soziale Kontrollpraktiken verboten. Die Verbote untersagen das Inverkehrbringen, die Inbetriebnahme oder die Verwendung bestimmter KI-Systeme, nicht aber deren Entwicklung oder Herstellung. Einige der Regelungen sind sehr unbestimmt, unklar und teilweise widersprüchlich formuliert.

Rechtliche Einordnung

Da die Verbote in Art. 5 KI-VO Grundrechte einschränken können, beispielsweise die unternehmerische Freiheit, müssen sie bestimmten Anforderungen genügen. Die Verordnung unterscheidet sieben Verbotskategorien:

1. Schädigende Verhaltensbeeinflussung (Art. 5 Abs. 1 lit. a, b KI-VO)

Verboten sind Systeme, die unterschwellige Beeinflussung außerhalb des Bewusstseins (z.B. durch für Menschen nicht erkennbare Ton-, Bild- oder Videoinhalte) oder absichtlich manipulative oder täuschende Techniken verwenden beziehungsweise die Vulnerabilität oder Schutzbedürftigkeit einer Person oder Gruppe aufgrund von Alter, Behinderung oder sozialer/wirtschaftlicher Situation ausnutzen, mit dem Ziel oder der Wirkung, das Verhalten wesentlich zu verändern und erheblichen Schaden zuzufügen.

Unklar bleibt, ob nur natürliche oder auch juristische Personen gemeint sind. Bei beiden Vorschriften wird nicht deutlich, ob es sich bei „einer anderen Person“, der ein erheblicher Schaden zugefügt wird, auch um eine juristische Person (z.B. den Arbeitgeber der manipulierten natürlichen Person) handeln kann. Hier wäre eine Klarstellung im Text der KI-VO wünschenswert.

2. Soziale Bewertung (Art. 5 Abs. 1 lit. c KI-VO)

Die Regelung betrifft die Bewertung oder Einstufung von natürlichen Personen oder Gruppen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale. Hier scheint der Gesetzgeber das chinesische Sozialkreditsystem vor Augen zu haben.

Gefordert wird, dass dies zu einer Schlechterstellung oder Benachteiligung führen muss, die im Hinblick auf das soziale Verhalten oder dessen Tragweite „ungerechtfertigt oder unverhältnismäßig ist“ – unklar ist, wann dies der Fall ist. Der dazugehörige Erwägungsgrund 31 KI-VO ist diesbezüglich nicht hilfreich. Es ist schwer erkennbar, wie zwischen gerechtfertigten oder verhältnismäßigen und ungerechtfertigten oder unverhältnismäßigen Schlechterstellungen oder Benachteiligungen unterschieden werden soll.

3. Risikobewertung in Bezug auf Straftaten (Art. 5 Abs. 1 lit. d KI-VO)

Die Vorschrift betrifft die Durchführung von Risikobewertungen, um das Risiko einer Straftat „ausschließlich“ auf der Grundlage des Profilings (automatisierte Verarbeitung personenbezogener Daten zur Bewertung persönlicher Aspekte) oder der Bewertung persönlicher Merkmale und Eigenschaften zu bewerten oder vorherzusagen. Da das Verbot nur greift, wenn die Risikobewertung „ausschließlich“ auf Grundlage des Profilings oder der Bewertung persönlicher Merkmale stattfindet, scheint eine Umgehung sehr einfach. Dem Wortlaut nach genügt es dafür bereits, wenn auch nur ein nicht-persönlicher Aspekt in die Risikobewertung einbezogen wird (z.B. allgemeine statistische Aussagen).

Gemäß Erwägungsgrund 42 wird mit der Vorschrift das Ziel verfolgt, dass natürliche Personen niemals allein nach dem Verhalten beurteilt werden, das von einer KI vorhergesagt wird, ohne dass eine menschliche Überprüfung stattfindet. Dies könnte dafür sprechen, dass Art. 5 Abs. 1 lit. d KI-VO eigentlich die ausschließlich durch ein KI-System erfolgende Risikobewertung untersagen möchte. Im Wortlaut ist dies aber nicht angelegt.

4. Gesichtsbilddatenbanken (Art. 5 Abs. 1 lit. e KI-VO)

Die Regelung betrifft KI-Systeme, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern. Damit soll einem Gefühl der Massenüberwachung und schweren Verstößen gegen die Grundrechte begegnet werden.

Bei der Gesichtserkennung handelt es sich um ein biometrisches Verfahren; definiert wird der Begriff in der KI-VO aber nicht und es wird auch nicht auf die biometrische Terminologie in Art. 3 Ziff. 34–36, Ziff. 39–43 KI-VO zurückgegriffen, obwohl sich dies angeboten hätte. Andere biometrische Verfahren als Gesichtserkennung werden nicht erfasst.

5. Emotionserkennung (Art. 5 Abs. 1 lit. f KI-VO)

Die Vorschrift betrifft KI-Systeme zur Ableitung von Emotionen (z.B. Glück, Trauer, Wut) einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen. Es ist anzunehmen, dass mit einem solchen KI-System ein Emotionserkennungssystem im Sinne von Art. 3 Ziff. 39 KI-VO gemeint ist, also ein KI-System, das dem Zweck dient, Emotionen oder Absichten natürlicher Personen auf Grundlage ihrer biometrischen Daten festzustellen oder abzuleiten.

Sollte dies der Fall sein, wäre es gut gewesen, wenn der Gesetzgeber den Begriff des Emotionserkennungssystems in Art. 5 Abs. 1 lit. f KI-VO explizit verwendet hätte. Das Verbot gilt nur am Arbeitsplatz und in Bildungseinrichtungen, was unter anderem mit dem dort herrschenden Machtungleichgewicht und der begrenzten Zuverlässigkeit der Systeme begründet wird. Es greift nicht, wenn das KI-System aus medizinischen Gründen oder Sicherheitsgründen Anwendung finden soll. Diese Ausnahme ist unglücklich formuliert („es sei denn, die Verwendung des KI-Systems soll eingeführt oder auf den Markt gebracht werden“). Es ist anzunehmen, dass sie das Inverkehrbringen, die Inbetriebnahme und die Verwendung erfassen soll.

6. Biometrische Kategorisierung (Art. 5 Abs. 1 lit. g KI-VO)

Die Regelung betrifft Systeme zur biometrischen Kategorisierung, mit denen natürliche Personen individuell auf der Grundlage ihrer biometrischen Daten kategorisiert werden, um ihre Rasse, ihre politischen Einstellungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder weltanschaulichen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung zu erschließen oder abzuleiten.

Systeme zur biometrischen Kategorisierung sind gemäß Art. 3 Ziff. 40 KI-VO KI-Systeme, die dem Zweck dienen, natürliche Personen auf der Grundlage ihrer biometrischen Daten bestimmten Kategorien (z.B. Geschlecht, Alter, Religion) zuzuordnen, „sofern es sich um eine Nebenfunktion eines anderen kommerziellen Dienstes handelt und aus objektiven technischen Gründen unbedingt erforderlich ist“. Dieser Zusatz ist im Deutschen fehlerhaft; es müsste heißen: „sofern es sich nicht um eine Nebenfunktion handelt“. Dies zeigt ein Vergleich mit der englischen Sprachfassung („unless it is ancillary to another commercial service“).

Die Definitionen in der KI-VO und der DS-GVO stimmen nicht überein, da Art. 4 Ziff. 14 DS-GVO zusätzlich verlangt, dass die Daten „die eindeutige Identifizierung dieser natürlichen Person ermöglichen oder bestätigen“. Hier sollte entweder Erwägungsgrund 14 KI-VO oder die Definition Art. 3 Ziff. 34 KI-VO angepasst werden.

Unklar ist zudem, wie aus biometrischen Daten z.B. auf politische Einstellungen oder die Gewerkschaftszugehörigkeit geschlossen werden kann. Erwägungsgrund 30 spricht insoweit von biometrischen Daten wie dem Gesicht und dem Fingerabdruck, woraus die politische Meinung, die Mitgliedschaft in einer Gewerkschaft etc. abgeleitet werden sollen. Wie dies vonstatten gehen soll, ist nicht erkennbar.

Das Verbot gilt nicht für die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze oder die Kategorisierung biometrischer Daten im Bereich der Strafverfolgung. Diese Ausnahme ist unglücklich formuliert, da Art. 5 Abs. 1 lit. g KI-VO weder die Kennzeichnung oder Filterung biometrischer Datensätze noch die Kategorisierung biometrischer Daten, sondern bestimmte Formen der Kategorisierung natürlicher Personen auf Grundlage ihrer biometrischen Daten verbietet. Die Ausnahme betrifft ihrem Wortlaut nach mithin Vorgänge, die in Art. 5 Abs. 1 lit. g KI-VO gar nicht verboten werden.

7. Biometrische Echtzeit-Fernidentifizierungssysteme (Art. 5 Abs. 1 lit. h KI-VO)

Die Vorschrift verbietet die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme (Art. 3 Ziff. 41 und Ziff. 42 KI-VO) in öffentlich zugänglichen Räumen (Art. 3 Ziff. 44 KI-VO) zu Strafverfolgungszwecken (Art. 3 Ziff. 45 und Ziff. 46 KI-VO), wobei Ausnahmen vorgesehen sind.

Das Verbot wird vom Gesetzgeber mit möglichen Eingriffen in die Rechte und Freiheiten betroffener Personen, einem Gefühl ständiger Überwachung, möglichen Abschreckungs- und Diskriminierungseffekten sowie eingeschränkten Kontroll- und Korrekturmöglichkeiten begründet. Fraglich ist, warum der Einsatz solcher Systeme nur durch Strafverfolgungsbehörden, nicht aber durch andere Akteure (z.B. private Sicherheitsdienste) untersagt wird.

Auswirkungen für die Praxis

Wenn Sie KI-Systeme entwickeln, die unter eines der sieben Verbote fallen könnten, müssen Sie seit dem 2. Februar 2025 entscheiden, ob Sie die Entwicklung einstellen oder grundlegend umgestalten. Die Verbote untersagen das Inverkehrbringen, die Inbetriebnahme oder die Verwendung bestimmter KI-Systeme, nicht aber deren Entwicklung oder Herstellung. Sie dürfen also weiter forschen, aber nicht mehr ausrollen. Wenn Sie glauben, unter eine Ausnahme zu fallen (z.B. medizinische oder Sicherheitsgründe bei Emotionserkennung), dokumentieren Sie die Begründung schriftlich und lassen Sie sie juristisch prüfen.

Verboten sind Systeme, die unterschwellige Beeinflussung außerhalb des Bewusstseins oder absichtlich manipulative oder täuschende Techniken verwenden beziehungsweise die Vulnerabilität oder Schutzbedürftigkeit einer Person oder Gruppe ausnutzen, um das Verhalten wesentlich zu verändern und erheblichen Schaden zuzufügen. Prüfen Sie alle KI-gestützten Werbe- und Empfehlungssysteme. Stellen Sie sicher, dass Nutzer erkennen können, wann und wie KI ihre Entscheidungen beeinflusst. Wenn Sie vulnerable Gruppen (Kinder, Senioren, Menschen mit Behinderungen, wirtschaftlich Schwache) ansprechen, ist besondere Vorsicht geboten.

➜ Zur To-Do-Liste (priorisiert)​​​

Risiken & Fallstricke

„Ausschließlich“-Falle

Da das Verbot bei Straftaten-Profiling nur greift, wenn die Risikobewertung „ausschließlich“ auf Grundlage des Profilings oder der Bewertung persönlicher Merkmale stattfindet, scheint eine Umgehung sehr einfach. Dem Wortlaut nach genügt es dafür bereits, wenn auch nur ein nicht-persönlicher Aspekt in die Risikobewertung einbezogen wird (z.B. allgemeine statistische Aussagen. Verlassen Sie sich nicht darauf – die Kommission könnte dies als Scheinlösung werten.

Übersetzungsfehler

Der Zusatz zur biometrischen Kategorisierung ist im Deutschen fehlerhaft; es müsste heißen: „sofern es sich nicht um eine Nebenfunktion handelt“. Dies zeigt ein Vergleich mit der englischen Sprachfassung. Prüfen Sie im Zweifel die englische Fassung.

Unklare Ausnahmen

Die Ausnahme bei Emotionserkennung ist unglücklich formuliert („es sei denn, die Verwendung des KI-Systems soll eingeführt oder auf den Markt gebracht werden“). Es ist anzunehmen, dass sie das Inverkehrbringen, die Inbetriebnahme und die Verwendung erfassen soll. Dokumentieren Sie Ihre Auslegung.

Biometrische Daten

Die Definitionen in der KI-VO und der DS-GVO stimmen nicht überein. Wenden Sie im Zweifel die strengere Definition an.

Juristische vs. natürliche Personen

Unklar bleibt, ob nur natürliche oder auch juristische Personen gemeint sind. Bei beiden Vorschriften wird nicht deutlich, ob es sich bei „einer anderen Person“, der ein erheblicher Schaden zugefügt wird, auch um eine juristische Person handeln kann. Hier wäre eine Klarstellung im Text der KI-VO wünschenswert. Gehen Sie vorsichtshalber davon aus, dass auch Schäden bei juristischen Personen erfasst sind.

Entwicklung vs. Inverkehrbringen

Die Verbote untersagen das Inverkehrbringen, die Inbetriebnahme oder die Verwendung bestimmter KI-Systeme, nicht aber deren Entwicklung oder Herstellung. Sie dürfen also weiter forschen, aber nicht mehr ausrollen – achten Sie auf die Grenze.

Bestimmtheitsmängel

Diesbezüglich bestehen für Art. 5 KI-VO Zweifel. Es ist nicht ausgeschlossen, dass Gerichte einzelne Verbote für zu unbestimmt und damit unwirksam erklären – verlassen Sie sich aber nicht darauf.

➜ Zur Checkliste „Bin ich betroffen?“​​​

FAQ

1. Ab wann gelten die Verbote?
Die in Kapitel II geregelten verbotenen Praktiken im KI-Bereich gelten bereits ab dem 2. Februar 2025. Die übrige KI-Verordnung tritt erst am 2. August 2026 in Kraft.

2. Darf ich verbotene KI-Systeme noch entwickeln?
Die Verbote untersagen das Inverkehrbringen, die Inbetriebnahme oder die Verwendung bestimmter KI-Systeme, nicht aber deren Entwicklung oder Herstellung. Sie dürfen also weiter forschen, aber nicht mehr ausrollen.

3. Was passiert, wenn ich gegen ein Verbot verstoße?
Die KI-VO sieht hohe Bußgelder vor (bis zu 7% des weltweiten Jahresumsatzes oder 35 Mio. Euro, je nachdem, welcher Betrag höher ist). Zudem drohen Unterlassungsansprüche und Reputationsschäden.

4. Sind die Verbote wirklich so unklar, wie der Artikel sagt?
Einige der Regelungen sind sehr unbestimmt, unklar und teilweise widersprüchlich formuliert. Diesbezüglich bestehen für Art. 5 KI-VO Zweifel. Ja, die Autoren kritisieren erhebliche Bestimmtheitsmängel.

5. Kann ich mich auf Ausnahmen berufen?
Ja, aber dokumentieren Sie die Begründung schriftlich. Die Ausnahme bei Emotionserkennung ist unglücklich formuliert. Es ist anzunehmen, dass sie das Inverkehrbringen, die Inbetriebnahme und die Verwendung erfassen soll. Holen Sie im Zweifel Rechtsberatung ein.

6. Was ist mit KI-Systemen, die ich nur intern nutze (z.B. zur Mitarbeiterbewertung)?
Die Verbote untersagen das Inverkehrbringen, die Inbetriebnahme oder die Verwendung bestimmter KI-Systeme. Auch die interne Verwendung ist erfasst – z.B. bei Social Scoring oder Emotionserkennung am Arbeitsplatz.