Ist mein KI-System ein Hochrisiko-KI-System?

„Ist mein KI-System ein Hochrisiko-KI-System?“ ist die wichtigste Frage, die die KI-Verordnung der EU (Verordnung (EU) 2024/1689) jedem europäischen Unternehmen stellt. Wer zu niedrig einstuft, riskiert Geldbußen von 15 Mio. € oder 3 % des weltweiten Umsatzes (Art. 99). Wer zu hoch einstuft, verbringt zwei Quartale und ein sechsstelliges Beratungsbudget damit, Pflichten zu erfüllen, die für ihn gar nicht gelten.

Sie möchten eine erste Antwort für Ihr eigenes System? Der kostenlose Vorab-Check zur KI-Verordnung gibt Ihnen in etwa fünf Minuten eine vorläufige Risikoklasse, ohne Anmeldung.

Die Einstufungslogik der Verordnung steht in Art. 6 und Anhang III. Hier ist der Entscheidungsbaum.

Die zwei Wege in die Hochrisikostufe

Ein System ist ein Hochrisiko-KI-System, wenn eine von zwei Bedingungen erfüllt ist:

1. Art. 6 Abs. 1: Das System soll als Sicherheitsbauteil eines Produkts verwendet werden oder ist selbst ein Produkt, das unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fällt (Medizinprodukte, Maschinen, Spielzeug, Aufzüge usw.) — und dieses Produkt muss einer Konformitätsbewertung durch Dritte unterzogen werden.
2. Art. 6 Abs. 2: Das System ist für einen der in Anhang III aufgeführten Anwendungsfälle bestimmt.

Für die meisten SaaS-Start-ups und KMU spielt Weg 1 keine Rolle. Auf Weg 2 kommt es an.

Anhang III — acht Bereiche

Anhang III nennt acht Bereiche von Hochrisiko-KI-Systemen. Die vollständige Liste steht in unserer Erläuterung zu Anhang III (auf Englisch), hier die Kurzfassung:

1. Biometrische Identifizierung, Kategorisierung und Emotionserkennung (soweit nicht nach Art. 5 verboten)
2. Kritische Infrastruktur — Sicherheit von Straßenverkehr, Wasser-, Gas- und Stromversorgung und digitaler Infrastruktur
3. Allgemeine und berufliche Bildung — Zulassung, Bewertung, Überwachung bei Prüfungen
4. Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit — Vorauswahl von Bewerbungen, Entscheidungen über Beförderungen, Zuweisung von Aufgaben
5. Zugang zu grundlegenden Diensten und Leistungen — öffentliche Unterstützungsleistungen, Bonitätsbewertung, Preisbildung bei Lebens- und Krankenversicherungen, Entsendung von Notdiensten
6. Strafverfolgung — Risikobewertung von Personen, Bewertung von Beweismitteln, Lügendetektoren
7. Migration, Asyl und Grenzkontrolle
8. Rechtspflege und demokratische Prozesse

Fällt die Zweckbestimmung Ihres Systems in einen dieser Bereiche, gilt es grundsätzlich als Hochrisiko-KI-System, und die vollständigen Pflichten für Anbieter und Betreiber gelten.

Die Ausnahme nach Art. 6 Abs. 3 — für SaaS am wichtigsten

Die Verordnung von 2024 hat Art. 6 Abs. 3 eingeführt. Danach entgeht ein System, das sonst unter Anhang III fiele, der Einstufung als Hochrisiko-KI-System, wenn es kein erhebliches Risiko der Beeinträchtigung birgt. Dafür gibt es vier konkrete Wege:

1. Das System führt eine eng gefasste Verfahrensaufgabe durch (z. B. unstrukturierte Eingaben in strukturierte umwandeln)
2. Das System soll das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit verbessern
3. Das System erkennt Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern und soll die vorherige Bewertung nicht ohne menschliche Überprüfung ersetzen oder beeinflussen
4. Das System führt eine vorbereitende Aufgabe für eine Bewertung durch, die für den Anwendungsfall in Anhang III relevant ist

Unter Weg 4 landen die meisten SaaS-Produkte. Er ist die Rechtsgrundlage dafür, dass Maditon sich selbst nicht als Hochrisiko-KI-System einstuft: Maditon erstellt einen Entwurf der Risikoeinstufung, und eine namentlich benannte Person in Ihrer Organisation bestätigt oder verwirft ihn. Wir erklären das im Detail in Art. 6 Abs. 3 Buchst. d erklärt (auf Englisch).

Aber — und das ist das entscheidende Kleingedruckte — die Ausnahme gilt nicht, wenn das System „ein Profiling natürlicher Personen vornimmt“. Wenn Ihre KI einzelne Menschen bewertet oder in eine Rangfolge bringt, können Sie die Ausnahme nicht nutzen.

Beispiele

Damit es konkret wird, hier fünf für KMU typische Fälle:

System	Einstufung	Warum
Ein SaaS, das Bewerber nach ihrer voraussichtlichen Eignung in eine Rangfolge bringt	Hohes Risiko (Anhang III Nr. 4)	Unmittelbarer Anwendungsfall für Personalentscheidungen, und es nimmt ausdrücklich ein Profiling von Personen vor — keine Ausnahme
Ein SaaS, das Interviewfragen für eine einstellende Führungskraft entwirft	Begrenztes Risiko	Entscheidet nicht über Bewerber und bringt sie nicht in eine Rangfolge; Transparenzpflichten nach Art. 50
Ein Kreditmodell, das Verbraucherkredite bewilligt	Hohes Risiko (Anhang III Nr. 5 Buchst. b)	Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen, Profiling
Dasselbe Kreditmodell, nur für interne Portfolioanalysen genutzt	Wahrscheinlich kein hohes Risiko	Die Ausnahme nach Art. 6 Abs. 3 kann greifen — es beeinflusst keine Einzelentscheidungen
Ein Kundenservice-Chatbot auf einer Website aus dem Gesundheitswesen	Begrenztes Risiko	Nur Transparenz nach Art. 50 — der Hinweis auf den Chatbot ist Pflicht

Sie sehen: Zwei Systeme mit demselben zugrunde liegenden Modell können je nach Zweckbestimmung in unterschiedlichen Stufen landen. Deshalb zählt Ihre schriftliche Beschreibung des Zwecks mehr als die Architektur des Modells.

Was Sie nach der Einstufung tun

Lautet die Antwort hohes Risiko, schulden Sie die vollständigen Pflichten nach Art. 9 bis 17 (wenn Sie Anbieter sind) oder nach Art. 26 (wenn Sie Betreiber sind). Die praktischen nächsten Schritte finden Sie in unserer Compliance-Checkliste.

Lautet die Antwort begrenztes Risiko, schulden Sie die Transparenzpflichten nach Art. 50. Dokumentieren Sie die Gestaltung des Hinweises in Ihrem Prüfpfad.

Lautet die Antwort minimales Risiko, schulden Sie trotzdem KI-Kompetenz nach Art. 4 — siehe KI-Kompetenz nach Artikel 4. Und es ist ohnehin gute Praxis, die Begründung der Einstufung zu dokumentieren.

Dokumentieren Sie die Einstufung mit Prüfanmerkungen

Wie auch immer Sie einstufen: Schreiben Sie die Begründung auf. Eine Einstufung als minimales Risiko mit einem einzigen Satz Begründung hält den Fragen einer Aufsichtsbehörde nicht stand. Halten Sie fest:

• Die Zweckbestimmung des Systems
• Welche Bereiche aus Anhang III Sie geprüft und ausgeschlossen (oder bejaht) haben
• Ob die Ausnahme nach Art. 6 Abs. 3 greift und warum
• Wer die Einstufung geprüft und bestätigt hat (mit Name und Datum)

Das ist der Prüfpfad, den die Verordnung erwartet. Es ist auch das, was ein Compliance-Assistent für Sie erzeugen sollte, damit Sie nicht bei einem 30-seitigen Google-Dokument landen, das im nächsten Jahr niemand mehr findet.