KI-VO: Neue Pflichten zu verbotener KI und KI-Kompetenz gelten ab sofort

19.02.2025

KI-VO: Neue Pflichten zu verbotener KI und KI-Kompetenz gelten ab sofort

von Prof. Dr. Rolf Schwartmann und RiVG Kristin Benedikt

Sechs Monate nach Inkrafttreten der KI-Verordnung (KI-VO) gelten neue Regeln für Unternehmen, öffentliche Stellen und alle, die beruflich KI-Systeme wie ChatGPT Microsoft Copilot oder Google Gemini einsetzen. Seit Anfang Februar 2025 müssen Anbieter und Betreiber von KI-Systemen KI-Kompetenz gem. Art. 4 KI-VO vermitteln. Zudem sind bestimmte KI-Systeme ab sofort in der EU verboten. Welche das sind, wirft für Betreiber noch Fragen auf.

 

Die KI-VO schreibt weder vor, wie KI-Kompetenz genau zu vermitteln ist, noch welche Kenntnisse im Einzelnen erforderlich sind, um als KI-kompetent zu gelten. Klar ist jedoch, dass die Anforderungen nach der KI-VO nur eingehalten werden können, wenn Beschäftigte mindestens die folgenden Fragen beantworten können:

1. Was ist KI und was nicht?

Nach der Definition der KI-VO ist ein KI-System ein maschinengestütztes System, das u.a. autonom Vorhersagen, Entscheidungen oder Inhalte erzeugt und anpassungsfähig, d.h. selbstlernend ist. Gemeint sind nicht nur KI-Systeme zur Text-, Bild- oder Videoerstellung, sondern auch Funktionen in selbstfahrenden Fahrzeugen oder biometrische Authentifizierung, etwa bei Smartphones.

2. Wie funktioniert generative KI?

Generative KI, wie ChatGPT für Sprache oder DALL·E für Bilder, wurde mit riesigen Datenmengen trainiert. Sie ist darauf ausgelegt, Inhalte zu erzeugen, die von menschlichen Werken kaum zu unterscheiden sind. Die erzeugten Inhalte werden nicht von Datenbanken abgerufen, sondern die KI berechnet, welcher Wortbestandteil oder welcher Pixel mit hoher Wahrscheinlichkeit als nächstes folgt.

3. Für wen gilt das KI-Recht?

Die KI-VO gilt faktisch für alle, die KI im beruflichen Kontext einsetzt. Wer KI für rein private Zwecke betreibt, fällt nicht unter die KI-VO. In der Theorie klingt die Abgrenzung leicht, in der Praxis wird es hingegen komplex. Arbeitgeber, die ausdrücklich erlauben oder dulden, dass Beschäftigte von ihren privaten Geräten kostenlose KI-Dienste zur Übersetzung geschäftlicher E-Mails oder für die Erstellung von Vorträgen nutzen, sind ebenfalls Betreiber nach der KI-VO.

4. Was bedeutet der risikobasierte Ansatz der KI-VO?

Die KI-VO stuft KI-Anwendungen in mehrere Risikoklassen ein: verboten, hochriskant und normal. Beschäftigte müssen für einen rechtskonformen Einsatz wissen, welche KI-Anwendung in welchem Anwendungsbereich zulässig ist. Außerdem gelten für bestimmte KI-Systeme, die mit Menschen interagieren wie z.B. Chatbots oder bei KI-generierten Inhalten wie Deepfakes zusätzliche Transparenzpflichten.

5. Wann ist KI hochriskant?

Die KI-VO enthält einen Katalog an Hochrisiko-KI-Systemen. Darunter fallen KI-Systeme zur Bewerberauswahl, zur Gestaltung von Arbeitsbedingungen oder zur Bewertung von Lernergebnissen im Bildungsbereich. Weitere hochriskante Bereiche sind Daseinsvorsorge, Gesundheit und Justiz.

6. Gibt es Ausnahmen von der Einordnung einer KI als hochriskant?

Das Gesetz enthält Ausnahmen von dieser Einstufung als hochriskant. Das ist dann der Fall, wenn die KI nur unwesentliche Hilfsaufgaben übernimmt und ein zuvor gefundenes menschliches Ergebnis verbessert, aber nicht beeinflusst, wie z.B. bei der Rechtschreibprüfung.

7. Welches Recht ist neben der KI-VO noch zu beachten?

Wer KI-Systeme verwendet, muss nicht nur die Regeln der KI-VO einhalten. Da KI-erzeugte Texte und Bilder auf geschützten Inhalten basieren oder selbst schutzfähig sein können, sind zusätzlich das Urheberrecht und das Markenrecht zu beachten. Datenschutzrecht, Verbraucherschutzrecht, Arbeitsrecht und der Geschäftsgeheimnisschutz gelten ebenso für Prompts wie auch für den Output.

 

Zudem muss jeder wissen, welche KI-Anwendungen nach Art. 5 KI-VO verboten sind. Die KI-VO enthält – wie auch für die Hochrisiko-KI – einen abschließenden Katalog verbotener Praktiken. Verboten sind beispielsweise KI-Systeme zum Social Scoring, prädiktive Polizeisysteme oder Emotionserkennungssysteme, die am Arbeitsplatz und in Bildungseinrichtungen eingesetzt werden. Doch keine Regel ohne Ausnahme: Erlaubt sind ausnahmsweise Systeme zur Ableitung von Emotionen, wenn dies aus medizinischen Gründen oder aus Sicherheitsgründen erforderlich ist. Das lässt Raum für Interpretation und führt zu Rechtsunsicherheit.

Die EU-Kommission hat deshalb die Aufgabe, die Verbotsnormen durch Leitlinien zu konkretisieren. Paradoxerweise ist die EU-Kommission erst ab dem 2. August 2026 dazu ermächtigt, Leitlinien zu veröffentlichen, obwohl Anbieter und Betreiber die KI-Verbote seit dem 2. Februar 2025 einhalten müssen.


Prof. Dr. Rolf Schwartmann Kölner Forschungsstelle für Medienrecht TH Köln, Vors. Gesellschaft für Datenschutz und Datensicherheit (GDD) e.V.; Geschäftsführender Herausgeber EuDIR

 Kristin Benedikt Richterin am Verwaltungsgericht Regensburg; Geschäftsführende Herausgeberin EuDIR

Die neu im Nomos Verlag gegründete EuDIR – Zeitschrift für Europäisches Daten- und Informationsrecht erscheint erstmals im Februar 2025.