Die EU-KI-Verordnung wird erstmals auf ihre Praxistauglichkeit getestet – und zeigt bei autonomen KI-Agenten bereits Schwächen

KI-Agenten-Systeme stehen im Zentrum des ersten großen Stresstests für die EU-KI-Verordnung – dieser Artikel zeigt, wie diese Systeme rechtlich einzuordnen sind und wo Regulierungslücken klaffen.

Mit den sog. KI-Agenten-Systemen steht nun bereits der nächste große Entwicklungsschritt im Bereich der KI-Systeme in den Startlöchern. Damit gemeint sind KI-Systeme, die in der Lage sind, auch komplexe Aufgaben auf Aufforderung des Nutzers selbstständig erfüllen zu können. So kann ein KI-Agenten-System auf die Aufforderung des Nutzers, einen Urlaub zu planen, einen entsprechenden Reiseplan auf der Basis der Präferenzen des Nutzers erstellen und selbstständig die entsprechenden Reisedienstleistungen buchen.

KI-Agenten-Systeme sollen nach der Vorstellung der entwickelnden Unternehmen autonom Geschäftsprozesse durchführen und als „virtuelle“ Mitarbeiter bzw. Kollegen handeln. Für die KI-Verordnung stellen KI-Agenten-Systeme den ersten großen „Stresstest“ dar, da es sich um die erste nennenswerte technologische Fortentwicklung seit Erlass der KI-Verordnung handelt. Der Beitrag untersucht, wie diese Systeme in die EU-KI-Verordnung einzuordnen sind und ob der risikobasierte Ansatz der Verordnung ausreicht.

Rechtliche Einordnung von KI-Agenten-Systemen

Der Unionsgesetzgeber hat sich in der KI-Verordnung für einen technologieoffenen Regelungsansatz entschieden, mit dem Ziel, möglichst viele KI-Systeme zunächst in den Anwendungsbereich der Verordnung zu bringen. Die Definition des „KI-Systems“, welche den sachlichen Anwendungsbereich der KI-Verordnung determiniert, ist entsprechend breit gewählt und umfasst viele verschiedene Erscheinungsformen künstlicher Intelligenz.

Die Regelungsintensität der KI-Verordnung differenziert nach der typischen Gefährlichkeit des beabsichtigten Nutzungszwecks nach einem sog. risikobasierten Ansatz. Besonders gefährliche Verwendungszwecke werden verboten oder sind nur unter hohen Voraussetzungen zulässig, während für andere, wenig oder nicht gefährliche Verwendungszwecke nur geringe Auflagen bestehen.

Der Unionsgesetzgeber konnte diesen technologieoffenen Ansatz im Trilog-Verfahren jedoch nicht durchhalten: So wurde eine zweite „Kategorie“ mit einem eigenen Regelungssystem in die Verordnung aufgenommen: Für sog. KI-Modelle mit allgemeinem Verwendungszweck weitere Pflichten geschaffen, welche neben dem risikobasierten Ansatz stehen. Rechtliche Pflichten können sich mithin entweder aus dem risikobasierten Ansatz oder der Einordnung als KI-Modell mit allgemeinem Verwendungszweck ergeben.

1. KI-Modell mit allgemeinem Verwendungszweck

Die KI-Verordnung definiert ein KI-Modell mit allgemeinem Verwendungszweck gemäß Art. 3 Nr. 63 KI-Verordnung als „ein KI-Modell einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird, das eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann“.

Beruht das KI-Agenten-System auf einem LLM und wird lediglich um die für die Agenten-Funktion erforderlichen Fähigkeiten ergänzt, so wird das Modell als KI-Modell mit allgemeinem Verwendungszweck einzustufen sein. Wird ein LLM im Wege des Fine-Tunings für einen bestimmten Zweck zugeschnitten, führt dies nicht automatisch dazu, dass es sich bei dem Modell nicht mehr um ein KI-Modell mit allgemeinem Verwendungszweck handelt. Vielmehr muss im Einzelfall betrachtet werden, welche Fähigkeiten im Modell verbleiben und ob diese verbleibenden Fähigkeiten noch einem allgemeinen Verwendungszweck entsprechen.

2. KI-System mit allgemeinem Verwendungszweck

Gemäß Art. 3 Nr. 66 KI-Verordnung muss das KI-System in der Lage sein, einer Vielzahl von Zwecken sowohl für die direkte Verwendung als auch für die Integration in andere KI-Systeme zu dienen, damit es als KI-System mit allgemeinem Verwendungszweck eingestuft werden kann. Maßgeblich ist mithin, welche Zwecke das KI-System erfüllen kann.

Der risikobasierte Ansatz sowie die begriffliche Unterscheidung zur „Zweckbestimmung“ sprechen dafür, dass bei der Bestimmung, ob es sich um ein KI-System mit allgemeinem Verwendungszweck handelt, auch auf absehbare Fehlverwendungen ankommen muss.

Bei der Bestimmung der Verwendungszwecke eines KI-Agenten-Systems muss daher nicht nur das beabsichtigte „Betätigungsfeld“ des Agenten-Systems und die Natur des erzeugten Outputs berücksichtigt werden, sondern auch die dem KI-Agenten-System zur Verfügung stehenden Werkzeuge. Somit wäre auch ein KI-Agenten-System, welches zwar nur einen beabsichtigten Verwendungszweck hat, wie etwa ein Agent für Reisebuchungen, als KI-System mit allgemeinem Verwendungszweck anzusehen, wenn es als Werkzeug beispielsweise einen Computer oder Browser eigenständig steuern könnte.

3. Systemisches Risiko

Im Zusammenhang mit KI-Agenten-Systemen sind einige der Kriterien des Anhang XIII der KI-Verordnung erwähnenswert. Hiernach kann das systemische Risiko auch anhand der „Ein- und Ausgabemodalitäten“ des Modells, sowie der „Anpassungsfähigkeit zum Erlernen neuer, unterschiedlicher Aufgaben, des Grades an Autonomie und Skalierbarkeit sowie der Instrumente, zu denen es Zugang hat“ bestimmt werden. Die Entscheidung, ob aufgrund dieser Kriterien ein systemisches Risiko gegeben ist, trifft die Kommission von Amts wegen.

Wenn das KI-Agenten-System beispielsweise eigenständig einen Computer steuern kann, besteht die Gefahr, dass sich Fehlfunktionen gravierend auswirken, auch wenn der eigentliche Einsatzzweck, etwa ein Reisebuchungs-Agent unkritisch wirkt und die Risikoklassifizierung entsprechend gering ausfällt.

Das Risiko, dass ein „harmloses“ KI-System jedoch aufgrund einer Fehlfunktion nicht im vorgesehenen Anwendungsgebiet bleibt oder sich sein Verhalten insbesondere bei Agenten-Systemen, die selbstständig ihre erforderlichen Handlungen planen als Risiko für einen unvorhergesehenen Bereich darstellt (sog. „Emergent Behavior“), wird so jedoch nicht adressiert. Insoweit erscheinen gerade die Regelungen für „Nicht-Hoch-Risiko“ KI-Systeme als nicht adäquat, um das geänderte Risikoprofil von KI-Agenten-Systemen vollständig zu adressieren.

Auswirkungen für die Praxis

Die Auswahl der Werkzeuge bestimmt, welche Maßnahmen das KI-Agenten-System tatsächlich umsetzen kann. Die Auswahl der Werkzeuge determiniert mithin unmittelbar die Leistungsfähigkeit und somit auch das Risikoprofil des KI-Agenten-Systems. Je mehr Werkzeuge Sie Ihrem System zur Verfügung stellen, desto höher das regulatorische Risiko.

Da ein KI-Agenten-System zunächst die Nutzereingabe verstehen, ein bestimmtes Ziel identifizieren, planen und sodann Maßnahmen umsetzen können muss, steht zu erwarten, dass auch ein KI-Agenten-System, dessen zugrundeliegendes KI-Modell für ein bestimmtes Anwendungsgebiet zugeschnitten wird, in den allermeisten Fällen ein KI-Modell mit allgemeinem Verwendungszweck beinhalten wird.

Rechtliche Pflichten können sich mithin entweder aus dem risikobasierten Ansatz oder der Einordnung als KI-Modell mit allgemeinem Verwendungszweck ergeben. Prüfen Sie beide Regelungsstränge parallel.

Für eine rechtssichere KI-Beratung, die beide Regelungsstränge von Anfang an berücksichtigt, stehen wir Ihnen gerne zur Verfügung.​

➜ Zur To-Do-Liste (priorisiert)​​​

Risiken & Fallstricke

Nur auf den Verwendungszweck schauen

Durch das (alleinige) Abstellen auf den Verwendungszweck können die Aspekte, welche das Risikoprofil von KI-Agenten-Systemen im Vergleich zu den bislang bekannten KI-Systemen ändert, nur eingeschränkt berücksichtigt werden. Insbesondere wird das Risiko, dass das KI-System selbstständig auf verschiedene Werkzeuge zurückgreifen und diese einsetzen kann, nicht in der Risikoklassifizierung der KI-Verordnung hinreichend berücksichtigt. Viele Unternehmen übersehen, dass ein „harmloser“ Reisebuchungs-Agent zum Hochrisiko-System werden kann, wenn er einen Browser oder Computer steuern kann.

Fine-Tuning als Ausweg missverstehen

Wird ein LLM im Wege des Fine-Tunings für einen bestimmten Zweck zugeschnitten, führt dies nicht automatisch dazu, dass es sich bei dem Modell nicht mehr um ein KI-Modell mit allgemeinem Verwendungszweck handelt. Vielmehr muss im Einzelfall betrachtet werden, welche Fähigkeiten im Modell verbleiben. Ein spezialisiertes Modell bleibt meist ein „Modell mit allgemeinem Verwendungszweck“, wenn es weiterhin planen, verstehen und umsetzen kann.

Autonomiegrad unterschätzen

Umso autonomer das KI-Agenten-System handeln kann, desto größer wird jedoch auch das Risikoprofil des Systems, da unerwartete, fehlerhafte oder schadensbringende Handlungen des KI-Systems nicht durch einen Eingriff des menschlichen Überwachers verhindert werden können. Wer auf maximale Autonomie setzt, muss mit höheren Compliance-Anforderungen rechnen.

Fehlverwendungen ausblenden

Bei der Bestimmung, ob es sich um ein KI-System mit allgemeinem Verwendungszweck handelt, muss es auch auf absehbare Fehlverwendungen ankommen. Planen Sie nicht nur den „Happy Path“, sondern auch, was passiert, wenn das System zweckentfremdet wird oder Fehler macht.

Doppelregulierung übersehen

Rechtliche Pflichten können sich entweder aus dem risikobasierten Ansatz oder der Einordnung als KI-Modell mit allgemeinem Verwendungszweck ergeben. Beide Regelungsstränge können parallel greifen – prüfen Sie beide.

Wie sie typische Fehler vermeiden

Werkzeug-Inventar führen: Dokumentieren Sie alle Schnittstellen, APIs und Steuerungsmöglichkeiten. Nur so können Sie das tatsächliche Risikoprofil ermitteln.

Autonomiegrad bewusst wählen: Entscheiden Sie sich für „Human in the Loop“ oder „Human on the Loop“, wenn Sie Hochrisiko-Einstufungen vermeiden wollen.

Rechtliche Begleitung ab Konzeptphase: Holen Sie Compliance und Rechtsabteilung bereits bei der Produktentwicklung an Bord – nicht erst vor dem Launch.

Transparenz intern und extern: Dokumentieren Sie Ihre Entscheidungen nachvollziehbar und kommunizieren Sie gegenüber Kunden und Behörden offen.

FAQ

Was ist ein KI-Agenten-System?

KI-Agenten-Systeme zeichnen sich dadurch aus, dass sie in der Lage sind, ein bestimmtes, vom Anwender gesetztes Ziel selbstständig zu erreichen und die für die Zielerreichung notwendigen Schritte selbstständig zu ermitteln und auch umzusetzen. Beispiel: Ein System, das auf die Aufforderung „Buche mir einen Urlaub“ selbstständig Flüge, Hotels und Mietwagen recherchiert und bucht.

Reicht es, mein LLM auf einen speziellen Zweck zuzuschneiden (Fine-Tuning)?

Meist nicht. Da ein KI-Agenten-System zunächst die Nutzereingabe verstehen, ein bestimmtes Ziel identifizieren, planen und sodann Maßnahmen umsetzen können muss, steht zu erwarten, dass auch ein KI-Agenten-System, dessen zugrundeliegendes KI-Modell für ein bestimmtes Anwendungsgebiet zugeschnitten wird, in den allermeisten Fällen ein KI-Modell mit allgemeinem Verwendungszweck beinhalten wird.

Warum sind die Werkzeuge, die mein System nutzt, so wichtig?

Bei der Bestimmung der Verwendungszwecke eines KI-Agenten-Systems muss nicht nur das beabsichtigte „Betätigungsfeld“ berücksichtigt werden, sondern auch die dem KI-Agenten-System zur Verfügung stehenden Werkzeuge. Somit wäre auch ein KI-Agenten-System, welches zwar nur einen beabsichtigten Verwendungszweck hat, als KI-System mit allgemeinem Verwendungszweck anzusehen, wenn es als Werkzeug beispielsweise einen Computer oder Browser eigenständig steuern könnte.

Was bedeutet „Human in the Loop“, „Human on the Loop“ und „Human out of the Loop“?

Bei „Human in the Loop“-Systemen ist stets eine Handlung des Nutzers erforderlich, bevor das KI-System eine Handlung vornehmen kann. Bei „Human on the Loop“-Systemen kann das KI-System selbstständig Handlungen vornehmen, der Nutzer überwacht jedoch die Handlungen des Systems und kann korrigierend einschreiten. Bei „Human out of the Loop“-Systemen erfolgt keine vorherige Freigabe oder Kontrolle durch den Nutzer.

Kann die EU-Kommission mein System nachträglich als „systemisches Risiko“ einstufen?

Ja. Die Entscheidung, ob aufgrund dieser Kriterien ein systemisches Risiko gegeben ist, trifft die Kommission von Amts wegen. Hier steht zu erwarten, dass gerade die fortgeschrittenen KI-Agenten-Systeme, welche auch komplexere Aufgaben weitgehend selbstständig erfüllen können, oftmals von der Kommission entsprechend eingestuft werden.

Reicht der risikobasierte Ansatz der KI-VO für KI-Agenten-Systeme aus?

Nein. Der risikobasierte Ansatz scheint die besonderen Eigenschaften und Risiken der KI-Agenten-Systeme nicht hinreichend adäquat erfassen zu können. Insbesondere wird das Risiko, dass das KI-System selbstständig auf verschiedene Werkzeuge zurückgreifen und diese einsetzen kann, nicht in der Risikoklassifizierung der KI-Verordnung hinreichend berücksichtigt.

➜ Zur Checkliste „Bin ich betroffen?“​​​