EU AI Act

Seine Rechtsgrundlage ist die Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz. Der vollständige Langtitel umfasst außerdem Änderungen zahlreicher weiterer EU-Rechtsakte, etwa zu Produktsicherheit, Marktüberwachung, Luftfahrt, Fahrzeugen, Medizinprodukten und Finanzdienstleistungen.

Für Unternehmen ist der EU AI Act besonders relevant, wenn sie KI-Systeme entwickeln, anbieten, in bestehende Software integrieren, beruflich einsetzen oder KI-Ergebnisse in Geschäftsprozessen verwenden. Das betrifft nicht nur Technologieanbieter, sondern auch Organisationen, die KI in Informationsmanagementsystemen, Dokumentenmanagement, Wissensdatenbanken, Kundenservice, Personalprozessen, Analysewerkzeugen oder automatisierten Workflows nutzen.

Was ist der EU AI Act?

Der EU AI Act ist die erste umfassende horizontale KI-Verordnung eines großen Wirtschaftsraums. Er schafft einen einheitlichen Rechtsrahmen für künstliche Intelligenz im europäischen Markt und soll Innovation ermöglichen, ohne zentrale Schutzstandards für Sicherheit, Gesundheit, Demokratie, Rechtsstaatlichkeit und Grundrechte aufzugeben.

Als EU-Verordnung gilt der EU AI Act unmittelbar in allen Mitgliedstaaten. Dennoch sind nationale Begleitregelungen erforderlich, etwa für zuständige Behörden, Marktüberwachung, Durchsetzung, Zuständigkeiten, Sanktionen und praktische Verwaltungsverfahren. Unternehmen sollten deshalb nicht nur den EU AI Act selbst, sondern auch nationale Aufsichtsstrukturen und behördliche Leitlinien im Blick behalten.

Die Verordnung verfolgt einen risikobasierten Ansatz. Je stärker ein KI-System Sicherheit, Gesundheit, Grundrechte oder wichtige Lebensbereiche beeinflussen kann, desto strenger sind die Anforderungen. Eine KI-gestützte Rechtschreibkorrektur ist daher anders zu bewerten als ein System, das Bewerber vorsortiert, Kreditwürdigkeit beurteilt, medizinische Entscheidungen unterstützt oder Zugang zu wesentlichen Dienstleistungen beeinflusst.

Was gilt als KI-System im Sinne des EU AI Act?

Ein KI-System ist nach dem EU AI Act ein maschinengestütztes System, das mit unterschiedlichem Grad an Autonomie betrieben wird und nach seiner Einführung anpassungsfähig sein kann. Es leitet aus erhaltenen Eingaben ab, wie es Ausgaben erzeugt, beispielsweise Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen. Diese Ausgaben können physische oder virtuelle Umgebungen beeinflussen.

Zu KI-Systemen können beispielsweise gehören:

• Machine-Learning-Modelle zur Klassifikation, Prognose oder Mustererkennung
• große Sprachmodelle in Chatbots, Suchsystemen oder Dokumentenanalyse
• Systeme zur Bild-, Sprach- oder Texterkennung
• Empfehlungssysteme und semantische Suchfunktionen
• KI-gestützte Extraktion, Bewertung oder Zusammenfassung von Informationen
• KI-Funktionen in ERP-, CRM-, HR-, DMS- oder Informationsmanagementsystemen
• Anwendungen zur automatisierten Priorisierung, Zuordnung oder Entscheidungsunterstützung

Nicht jede Automatisierung ist automatisch ein KI-System. Ein klassischer Workflow, ein Excel-Makro oder eine RPA-Anwendung, die ausschließlich nach fest definierten Wenn-dann-Regeln arbeitet und keine KI-typische Ableitung aus Daten vornimmt, kann außerhalb des KI-Begriffs liegen. In der Praxis ist die Abgrenzung jedoch nicht immer eindeutig, insbesondere wenn Softwareanbieter KI-Funktionen in bestehende Systeme integrieren.

KI-System, GPAI-Modell und generative KI

Für die richtige Einordnung ist wichtig, zwischen KI-System, General-Purpose-AI-Modell und generativer KI zu unterscheiden. Ein KI-System ist eine anwendungsbezogene Lösung, die in einem konkreten Kontext eingesetzt wird, etwa ein Chatbot im Kundenservice oder ein System zur Dokumentenklassifikation. Ein General-Purpose-AI-Modell, kurz GPAI-Modell, ist dagegen ein Modell mit allgemeinem Verwendungszweck, das für viele unterschiedliche Aufgaben angepasst oder in verschiedene Systeme integriert werden kann.

Generative KI bezeichnet Systeme oder Modelle, die neue Inhalte erzeugen, etwa Texte, Bilder, Audio, Video oder Code. Nicht jede generative KI ist automatisch ein GPAI-Modell im rechtlichen Sinn, und nicht jedes GPAI-Modell muss zwingend generativ sein. Entscheidend sind technische Ausgestaltung, allgemeine Verwendbarkeit, Verwendungszweck und die Rolle Ihres Unternehmens in der jeweiligen KI-Wertschöpfungskette.

Ein Beispiel macht die Abgrenzung deutlich: Ein großes Sprachmodell kann ein GPAI-Modell sein. Ein darauf aufbauender interner Chatbot ist ein KI-System. Wird dieser Chatbot anschließend in einen HR-Workflow integriert, der Bewerbungen bewertet oder Kandidaten priorisiert, kann daraus ein Hochrisiko-KI-System werden. Dasselbe Basismodell kann also je nach Einsatzkontext sehr unterschiedliche rechtliche Anforderungen auslösen.

Warum wurde der EU AI Act eingeführt?

KI wird in immer mehr Bereichen eingesetzt: in Bewerbungsprozessen, Kundenkommunikation, Medizin, Industrie, Verwaltung, Wissensmanagement, Dokumentenanalyse, Betrugserkennung, Vertragsprüfung und automatisierten Workflows. Dadurch entstehen erhebliche Chancen, aber auch neue Risiken. KI kann Prozesse beschleunigen, Informationen besser auffindbar machen und Entscheidungen vorbereiten, kann aber auch fehlerhafte, diskriminierende oder nicht nachvollziehbare Ergebnisse erzeugen.

Der EU AI Act soll deshalb den sicheren und verantwortungsvollen Einsatz von KI fördern. Er soll Manipulation, Diskriminierung, missbräuchliche Überwachung, intransparente Entscheidungsunterstützung und unzureichend kontrollierte Hochrisiko-Anwendungen begrenzen. Gleichzeitig soll er verlässliche Rahmenbedingungen schaffen, damit Unternehmen KI rechtssicher entwickeln, beschaffen und einsetzen können.

Für Unternehmen bedeutet das: KI bleibt grundsätzlich erlaubt, aber nicht jede Anwendung ist ohne Prüfung zulässig. Entscheidend sind Zweck, Einsatzkontext, betroffene Personen, Datenarten, technische Funktion, Risikoklasse und die Rolle Ihres Unternehmens. Besonders sorgfältig sollten Sie KI bewerten, wenn Ergebnisse Auswirkungen auf Menschen, Verträge, Rechte, Zugang zu Leistungen oder Beschäftigungsverhältnisse haben können.

Für wen gilt der EU AI Act?

Der EU AI Act betrifft nicht nur klassische KI-Anbieter oder große Technologieunternehmen. Auch Unternehmen, Behörden, Forschungseinrichtungen, Produkthersteller, Importeure, Händler und Betreiber von KI-Systemen können betroffen sein. Der räumliche Anwendungsbereich reicht über die EU hinaus, wenn Anbieter oder Betreiber außerhalb der EU ansässig sind und der Output eines KI-Systems in der EU verwendet wird.

Relevant ist der EU AI Act zum Beispiel, wenn Sie:

• KI-gestützte Suchfunktionen in Informationsmanagementsystemen nutzen
• Dokumente automatisch klassifizieren, verschlagworten oder auswerten lassen
• Chatbots für Kundenservice, interne Wissensdatenbanken oder Self-Service-Portale einsetzen
• KI zur Bewerberauswahl, Leistungsbewertung oder Personalplanung verwenden
• Prognosen, Bewertungen oder Risikoeinschätzungen durch KI erstellen lassen
• generative KI in Geschäftsprozesse oder Fachsoftware integrieren
• KI-Systeme als Teil einer eigenen Softwarelösung bereitstellen
• KI-Ergebnisse in Workflows übernehmen, etwa zur Freigabe, Priorisierung oder Weiterleitung
• externe KI-Dienste in DMS, Intranet, CRM, ERP oder Serviceplattformen anbinden

Bestimmte Bereiche sind ganz oder teilweise vom Anwendungsbereich ausgenommen. Dazu gehören insbesondere KI-Systeme für nationale Sicherheit, bestimmte militärische und verteidigungsbezogene Zwecke, rein private nicht-berufliche Nutzung sowie bestimmte Forschungs-, Entwicklungs- und Testtätigkeiten vor dem Inverkehrbringen. Für KI-Systeme und GPAI-Modelle unter freien und Open-Source-Lizenzen gelten teilweise Erleichterungen, aber keine pauschale Ausnahme. Insbesondere bei verbotenen Praktiken, bestimmten Transparenzpflichten, Hochrisiko-KI und GPAI-Modellen mit systemischem Risiko können weiterhin Pflichten bestehen.

Welche Rollen unterscheidet der EU AI Act?

Um Ihre Pflichten zu bestimmen, müssen Sie zuerst klären, welche Rolle Ihr Unternehmen im konkreten KI-Einsatz einnimmt. Ein Unternehmen kann mehrere Rollen gleichzeitig haben, etwa wenn es eine externe KI-Komponente nutzt, sie in eine eigene Software integriert und anschließend Kunden bereitstellt. Die Rollen beziehen sich immer auf ein konkretes System und einen konkreten Nutzungskontext.

Wichtige Akteure sind:

• Anbieter: Sie entwickeln ein KI-System oder GPAI-Modell, lassen es entwickeln oder bringen es unter Ihrem Namen oder Ihrer Marke in Verkehr oder nehmen es in Betrieb. Das kann entgeltlich oder unentgeltlich geschehen.
• Betreiber: Sie verwenden ein KI-System in eigener Verantwortung beruflich oder organisatorisch, beispielsweise in internen Prozessen.
• Importeur: Sie bringen ein KI-System aus einem Drittstaat auf den EU-Markt.
• Händler: Sie stellen ein KI-System auf dem EU-Markt bereit, ohne Anbieter oder Importeur zu sein.
• Bevollmächtigter: Sie handeln aufgrund eines schriftlichen Mandats im Namen eines außerhalb der EU ansässigen Anbieters.
• Produkthersteller: Sie bringen ein Produkt mit KI-System unter eigenem Namen oder eigener Marke in Verkehr oder nehmen es in Betrieb und können unter bestimmten Voraussetzungen als Anbieter gelten.

Betroffene Personen sind keine operative Rolle wie Anbieter, Betreiber, Importeur oder Händler. Sie sind Personen, deren Rechte, Daten, Chancen oder Interessen durch ein KI-System beeinflusst werden können. Ihnen können Schutz-, Informations-, Beschwerde- und Erläuterungsrechte zustehen.

Der Begriff Nutzer sollte nicht mit der Rolle des Betreibers verwechselt werden. Im EU AI Act ist Betreiber die zentrale Rolle für Organisationen, die KI-Systeme in eigener Verantwortung verwenden. Endnutzer, Kunden, Beschäftigte oder Bürger können dagegen betroffene Personen sein.

Wann werden Betreiber, Händler oder Importeure selbst zu Anbietern?

Ein Unternehmen kann Anbieterpflichten auslösen, obwohl es ursprünglich nur Betreiber, Händler oder Importeur war. Art. 25 EU AI Act regelt diese Anbieterfiktion insbesondere für Hochrisiko-KI-Systeme. Das kann etwa passieren, wenn Sie ein Hochrisiko-KI-System unter eigenem Namen oder eigener Marke bereitstellen, die Zweckbestimmung wesentlich ändern oder eine wesentliche Änderung am System vornehmen.

Auch bei Informationsmanagementsystemen ist diese Abgrenzung wichtig. Wenn Sie lediglich eine KI-Funktion eines Softwareanbieters bestimmungsgemäß nutzen, sind Sie häufig Betreiber. Wenn Sie dieselbe Funktion jedoch in eine eigene Lösung integrieren, unter Ihrer Marke bereitstellen oder für einen neuen sensiblen Zweck einsetzen, können zusätzliche Anbieterpflichten entstehen.

Eine wesentliche Änderung kann zum Beispiel vorliegen, wenn Sie ein System für eine neue Zielgruppe einsetzen, einen neuen Entscheidungszweck festlegen, zusätzliche Datenquellen einbinden, das Modell austauschen, Schwellenwerte ändern oder den Automatisierungsgrad erhöhen. Auch ein zunächst unterstützendes System kann regulatorisch anders zu bewerten sein, wenn seine Ergebnisse faktisch entscheidend werden.

Wie ist der risikobasierte Ansatz aufgebaut?

Die bekannte Einteilung in unannehmbares, hohes, begrenztes und minimales Risiko ist als Orientierung hilfreich. Formal regelt der EU AI Act jedoch vor allem verbotene KI-Praktiken, Hochrisiko-KI-Systeme, bestimmte Transparenzpflichten und besondere Vorgaben für GPAI-Modelle. Risikoarme Anwendungen bleiben weitgehend unreguliert, können aber weiterhin datenschutz-, arbeits-, urheber-, vertrags- oder sicherheitsrechtliche Anforderungen auslösen.

Für die praktische Einordnung sollten Sie schrittweise prüfen:

1. Fällt das System überhaupt unter den KI-Begriff?
2. Ist Ihr Unternehmen Anbieter, Betreiber, Importeur, Händler, Bevollmächtigter oder Produkthersteller?
3. Greift eine Ausnahme vom Anwendungsbereich?
4. Handelt es sich um eine verbotene KI-Praktik?
5. Liegt ein Hochrisiko-KI-System nach Anhang I oder Anhang III vor?
6. Gelten Transparenzpflichten nach Art. 50?
7. Sind GPAI-Pflichten relevant?
8. Welche zusätzlichen Anforderungen ergeben sich aus DSGVO, IT-Sicherheit, Arbeitsrecht, Produktsicherheit, Urheberrecht oder Branchenrecht?

Diese Prüflogik verhindert zwei typische Fehler. Einerseits sollte KI nicht pauschal als unzulässig betrachtet werden. Andererseits reicht es nicht, eine Anwendung als allgemeine Büro-KI oder Standardsoftware zu behandeln, wenn sie tatsächlich in sensiblen Bereichen eingesetzt wird.

Verbotene KI-Praktiken

Bestimmte KI-Praktiken sind verboten, weil sie als unvereinbar mit europäischen Grundwerten und Grundrechten gelten. Diese Verbote greifen seit dem 2. Februar 2025. Unternehmen sollten daher früh prüfen, ob bestehende oder geplante KI-Anwendungen in diese Kategorien fallen.

Verboten sind insbesondere:

• manipulative oder täuschende KI-Techniken, die das Verhalten von Personen wesentlich beeinflussen und einen erheblichen Schaden verursachen oder mit hinreichender Wahrscheinlichkeit verursachen können
• Ausnutzung von Schutzbedürftigkeit, etwa aufgrund von Alter, Behinderung oder sozialer oder wirtschaftlicher Situation, wenn dadurch Verhalten wesentlich beeinflusst wird und erheblicher Schaden droht
• Social Scoring durch öffentliche oder private Akteure, wenn Personen auf Grundlage sozialer Verhaltensweisen oder persönlicher Merkmale unzulässig bewertet und benachteiligt werden
• bestimmte KI-Systeme zur Vorhersage des Risikos, dass eine natürliche Person eine Straftat begeht, wenn dies ausschließlich auf Profiling oder Persönlichkeitsmerkmalen beruht
• ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachung zur Erstellung oder Erweiterung von Gesichtserkennungsdatenbanken
• Ableitung von Emotionen am Arbeitsplatz oder in Bildungseinrichtungen, außer aus medizinischen oder sicherheitsbezogenen Gründen
• biometrische Kategorisierung zur Ableitung sensibler Merkmale wie rassische oder ethnische Herkunft, politische Meinung, Gewerkschaftszugehörigkeit, religiöse oder weltanschauliche Überzeugung, Sexualleben oder sexuelle Orientierung
• bestimmte Formen biometrischer Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken

Bei biometrischer Echtzeit-Fernidentifizierung bestehen eng begrenzte Ausnahmen, insbesondere für bestimmte schwerwiegende Strafverfolgungszwecke. Solche Einsätze unterliegen strengen Voraussetzungen, Genehmigungsvorgaben und Verhältnismäßigkeitsprüfungen. Für private Unternehmen sind diese Konstellationen meist nicht einschlägig, dennoch sollten Anwendungen mit biometrischer Identifizierung, Überwachung oder Verhaltensanalyse besonders sorgfältig geprüft werden.

Hochrisiko-KI-Systeme

Hochrisiko-KI-Systeme sind nicht grundsätzlich verboten, unterliegen aber besonders strengen Anforderungen. Die Einstufung ergibt sich vor allem aus Art. 6 EU AI Act in Verbindung mit Anhang I und Anhang III. Anhang I betrifft KI als Sicherheitskomponente bestimmter regulierter Produkte oder KI-Systeme, die selbst solche Produkte sind. Anhang III beschreibt besonders sensible Einsatzbereiche.

Hochrisiko-KI kann insbesondere in folgenden Bereichen vorkommen:

• biometrische Identifizierung und bestimmte biometrische Kategorisierung
• Sicherheitskomponenten im Management und Betrieb kritischer digitaler Infrastruktur, Straßenverkehr sowie Versorgung mit Wasser, Gas, Wärme und Strom
• Bildung, Prüfungsbewertung und Zugang zu Bildungsangeboten
• Beschäftigung, Bewerberauswahl, Personalmanagement und Leistungsbewertung
• Zugang zu wesentlichen privaten und öffentlichen Dienstleistungen
• Kreditwürdigkeitsprüfung in bestimmten Fällen
• Risiko- und Preisbewertung bei Lebens- und Krankenversicherungen
• Strafverfolgung
• Migration, Asyl und Grenzkontrolle
• Rechtspflege und demokratische Prozesse
• bestimmte Sicherheitskomponenten regulierter Produkte, etwa im Medizinprodukte- oder Maschinenbereich

Für Anhang-III-Systeme gibt es eine wichtige Einschränkung. Ein System kann unter bestimmten Voraussetzungen nicht als Hochrisiko gelten, wenn es kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte birgt und nur eine eng begrenzte unterstützende Funktion erfüllt. Diese Ausnahme greift jedoch grundsätzlich nicht, wenn das System Profiling natürlicher Personen vornimmt. Anbieter, die sich auf die Nicht-Hochrisiko-Ausnahme nach Art. 6 Abs. 3 berufen, müssen ihre Bewertung dokumentieren und bestimmte Systeme in der EU-Datenbank registrieren.

Beispiele für Hochrisiko und Nicht-Hochrisiko im Informationsmanagement

Eine semantische Suche in internen Dokumenten ist in vielen Fällen keine Hochrisiko-KI, wenn sie lediglich Informationen auffindbar macht und keine rechtlich oder ähnlich erheblich wirkenden Entscheidungen vorbereitet. Auch automatische Verschlagwortung, Dublettenerkennung oder einfache Zusammenfassungen können risikoarm sein, solange Ergebnisse nur unterstützend genutzt und fachlich geprüft werden.

Anders kann es aussehen, wenn ein Informationsmanagementsystem KI nutzt, um Bewerbungen zu ranken, Beschäftigte zu bewerten, Weiterbildungschancen zu priorisieren, Kunden nach Ausfallrisiko einzustufen oder Zugang zu wesentlichen Dienstleistungen vorzubereiten. In solchen Fällen kann die Anwendung unter Anhang III fallen. Entscheidend ist nicht die technische Oberfläche, sondern der konkrete Zweck, die Wirkung auf Personen und der Grad der menschlichen Kontrolle.

Pflichten von Anbietern von Hochrisiko-KI

Anbieter von Hochrisiko-KI-Systemen tragen die umfangreichsten Pflichten. Sie müssen sicherstellen, dass das System vor dem Inverkehrbringen oder der Inbetriebnahme die gesetzlichen Anforderungen erfüllt. Dazu gehören technische, organisatorische und dokumentarische Maßnahmen über den gesamten Lebenszyklus des Systems.

Zentrale Anbieterpflichten sind:

• Einrichtung eines Risikomanagementsystems
• Daten-Governance und Anforderungen an Trainings-, Validierungs- und Testdaten
• technische Dokumentation
• automatische Protokollierungsfunktionen
• Transparenzinformationen und Gebrauchsanweisungen für Betreiber
• Ausgestaltung geeigneter menschlicher Aufsicht
• Anforderungen an Genauigkeit, Robustheit und Cybersicherheit
• Qualitätsmanagementsystem
• Konformitätsbewertung vor dem Inverkehrbringen
• EU-Konformitätserklärung
• CE-Kennzeichnung, soweit einschlägig
• Registrierung bestimmter Hochrisiko-KI-Systeme in der EU-Datenbank
• Post-Market-Monitoring und Korrekturmaßnahmen
• Meldung schwerwiegender Vorfälle

Ein Qualitätsmanagementsystem ist dabei mehr als eine formale Dokumentensammlung. Es sollte Zuständigkeiten, Entwicklungsprozesse, Datenmanagement, Tests, Risikomanagement, Lieferantensteuerung, Änderungsmanagement, Vorfallprozesse und interne Kontrollen abbilden. Für Anbieter von Hochrisiko-KI ist diese organisatorische Einbettung zentral, weil die Anforderungen nicht nur vor dem Start, sondern über den gesamten Lebenszyklus gelten.

Die technische Dokumentation sollte so aufgebaut sein, dass Behörden, notifizierte Stellen und nachgelagerte Akteure die Konformität nachvollziehen können. Typische Inhalte sind Zweckbestimmung, Systemarchitektur, Modellbeschreibung, Datenquellen, Trainings- und Testverfahren, Leistungskennzahlen, Validierung, bekannte Grenzen, Risiken, menschliche Aufsicht, Cybersicherheitsmaßnahmen und Monitoring-Konzept.

Konformitätsbewertung, Normen und gemeinsame Spezifikationen

Die Konformitätsbewertung kann je nach System im Wege interner Kontrolle oder unter Einbindung einer notifizierten Stelle erfolgen. Besonders bei regulierten Produkten oder bestimmten sensiblen Systemen kann externe Prüfung erforderlich sein. Anbieter sollten früh klären, welches Verfahren einschlägig ist und welche Nachweise erforderlich sind.

Harmonisierte Normen, gemeinsame Spezifikationen und Leitlinien werden in der Praxis eine wichtige Rolle spielen. Wenn ein Hochrisiko-KI-System einschlägige harmonisierte Normen erfüllt, kann dies eine Konformitätsvermutung auslösen. Gemeinsame Spezifikationen können relevant werden, wenn harmonisierte Normen fehlen oder nicht ausreichen.

Für GPAI-Modelle spielen zusätzlich Codes of Practice eine wichtige Rolle. Sie sollen die Umsetzung der GPAI-Pflichten konkretisieren, insbesondere bei Dokumentation, Urheberrecht, Risikomanagement und systemischen Risiken. Unternehmen sollten diese Instrumente beobachten, weil sie faktisch prägen werden, welche Maßnahmen als angemessen gelten.

Pflichten von Betreibern von Hochrisiko-KI

Betreiber von Hochrisiko-KI-Systemen haben andere Pflichten als Anbieter. Sie müssen das System grundsätzlich gemäß Zweckbestimmung und Gebrauchsanweisung verwenden. Wenn sie den Zweck ändern oder das System wesentlich verändern, können sie selbst in die Anbieterrolle rücken.

Typische Betreiberpflichten sind:

• Nutzung gemäß Anleitung des Anbieters
• Sicherstellung geeigneter menschlicher Aufsicht
• Überwachung des Betriebs auf Grundlage der Gebrauchsanweisung
• Verwendung geeigneter Eingabedaten, soweit diese vom Betreiber kontrolliert werden
• Aufbewahrung automatisch erzeugter Protokolle, soweit sie unter Kontrolle des Betreibers stehen
• Information von Anbieter, Importeur, Händler oder zuständigen Marktüberwachungsbehörden bei relevanten Risiken oder schwerwiegenden Vorfällen
• Aussetzung der Nutzung, wenn ein System ein Risiko darstellen kann und keine wirksame Abhilfe möglich ist
• Information betroffener Personen in bestimmten Fällen
• Information von Arbeitnehmervertretungen und betroffenen Beschäftigten beim Einsatz im Beschäftigungskontext
• Durchführung einer Grundrechte-Folgenabschätzung in bestimmten Fällen
• Einhaltung besonderer Registrierungs- oder Dokumentationspflichten, insbesondere bei bestimmten öffentlichen Betreibern

Für Unternehmen ist entscheidend, die Verantwortlichkeiten nicht allein an den Anbieter auszulagern. Auch wenn ein KI-System eingekauft wird, müssen Sie prüfen, ob der konkrete Einsatz zur Zweckbestimmung passt, ob menschliche Aufsicht praktisch funktioniert und ob Beschäftigte, Kunden oder andere betroffene Personen angemessen informiert werden.

Menschliche Aufsicht

Menschliche Aufsicht ist eine zentrale Schutzmaßnahme bei Hochrisiko-KI. Sie soll verhindern, dass fehlerhafte, diskriminierende oder unangemessene KI-Ergebnisse unkontrolliert zu Entscheidungen führen. Eine rein formale Freigabe genügt in der Regel nicht, wenn Aufsichtspersonen die Ergebnisse faktisch nicht prüfen können oder unter Zeitdruck immer der KI folgen.

Geeignete menschliche Aufsicht setzt voraus, dass Verantwortliche die Funktionsweise, Grenzen und Risiken des Systems verstehen. Sie müssen wissen, wann sie Ergebnisse überstimmen, eine Entscheidung stoppen, zusätzliche Informationen einholen oder eskalieren sollen. Dafür braucht es klare Rollen, fachliche Qualifikation, Eskalationswege, Dokumentation und realistische Bearbeitungszeiten.

Besonders wichtig ist der Umgang mit Overreliance, also dem übermäßigen Vertrauen in KI-Ergebnisse. Wenn Mitarbeitende KI-Ausgaben regelmäßig ungeprüft übernehmen, kann menschliche Aufsicht ihre Schutzfunktion verlieren. Unternehmen sollten deshalb definieren, in welchen Fällen Quellenprüfung, Vier-Augen-Prinzip, manuelle Entscheidung oder zusätzliche Plausibilitätskontrolle erforderlich ist.

Protokollierung und Nachvollziehbarkeit

Protokollierung ist wichtig, um KI-Nutzung nachvollziehbar zu machen, Fehler zu untersuchen und gesetzlichen Dokumentationspflichten nachzukommen. Bei Hochrisiko-KI müssen Anbieter automatische Protokollierungsfunktionen vorsehen. Betreiber müssen Protokolle aufbewahren, soweit sie unter ihrer Kontrolle stehen und die jeweiligen Pflichten greifen.

Sinnvolle Logs können je nach System Eingaben, Ausgaben, Zeitpunkte, Systemversionen, verwendete Datenquellen, Nutzerrollen, Freigaben, Überschreibungen, Fehlermeldungen und Eskalationen umfassen. Gleichzeitig müssen Datenschutz und Vertraulichkeit beachtet werden. Protokolle sollten nicht mehr personenbezogene oder vertrauliche Informationen enthalten als erforderlich und nur berechtigten Personen zugänglich sein.

Auch Aufbewahrungsfristen sollten bewusst festgelegt werden. Zu kurze Fristen können Nachvollziehbarkeit und Incident-Analyse erschweren, zu lange Fristen können Datenschutz- und Geheimnisschutzrisiken erhöhen. In regulierten Bereichen sollten Sie branchenspezifische Anforderungen, Verjährungsfristen, Audit-Anforderungen und Löschkonzepte berücksichtigen.

Grundrechte-Folgenabschätzung

Der EU AI Act sieht für bestimmte Betreiber von Hochrisiko-KI-Systemen eine Grundrechte-Folgenabschätzung vor. Diese ist von der Datenschutz-Folgenabschätzung nach DSGVO zu unterscheiden, kann aber inhaltlich mit ihr verzahnt werden. Ziel ist es, Auswirkungen auf Grundrechte systematisch zu bewerten, bevor ein Hochrisiko-KI-System eingesetzt wird.

Eine solche Bewertung kann insbesondere für öffentliche Stellen sowie für bestimmte private Betreiber relevant sein, etwa wenn Hochrisiko-KI beim Zugang zu wesentlichen Dienstleistungen verwendet wird. Geprüft werden sollten unter anderem Zweck, betroffene Personengruppen, erwartete Auswirkungen, Risiken für Diskriminierung, Transparenz, menschliche Aufsicht und Beschwerdemöglichkeiten. Wenn personenbezogene Daten verarbeitet werden, sollten Datenschutzrecht und Grundrechteprüfung gemeinsam betrachtet werden.

Rechte betroffener Personen

Der EU AI Act stärkt nicht nur Pflichten von Anbietern und Betreibern, sondern auch Schutzmöglichkeiten betroffener Personen. Nach Art. 85 können natürliche und juristische Personen Beschwerden bei Marktüberwachungsbehörden einreichen, wenn sie der Ansicht sind, dass gegen den EU AI Act verstoßen wurde. Dieses Beschwerderecht kann insbesondere relevant werden, wenn KI-Systeme in sensiblen Bereichen eingesetzt werden.

Art. 86 enthält außerdem ein Recht auf Erläuterung der Entscheidungsfindung bei bestimmten Hochrisiko-KI-Systemen. Betroffene Personen können unter bestimmten Voraussetzungen eine klare und aussagekräftige Erklärung verlangen, wenn eine Entscheidung eines Betreibers auf dem Output eines Hochrisiko-KI-Systems beruht und rechtliche oder ähnlich erhebliche Auswirkungen auf sie hat. Dies betrifft insbesondere bestimmte Systeme aus Anhang III, nicht aber jede beliebige KI-gestützte Entscheidung.

Für Unternehmen bedeutet das: Transparenz sollte nicht erst bei einer Beschwerde beginnen. Wenn KI-Ergebnisse individuelle Entscheidungen beeinflussen, sollten Sie dokumentieren, welche Rolle das System gespielt hat, welche menschliche Prüfung erfolgt ist und welche wesentlichen Faktoren berücksichtigt wurden. Das erleichtert Erklärungen, interne Kontrolle und den Umgang mit Betroffenenanfragen.

EU-Datenbank für Hochrisiko-KI

Der EU AI Act sieht eine EU-Datenbank für bestimmte Hochrisiko-KI-Systeme vor. Anbieter müssen dort bestimmte Hochrisiko-KI-Systeme registrieren, bevor sie diese in Verkehr bringen oder in Betrieb nehmen. Auch Anbieter, die sich bei bestimmten Anhang-III-Systemen auf die Ausnahme von der Hochrisiko-Einstufung berufen, müssen bestimmte Informationen registrieren.

Daneben können bestimmte Betreiber, insbesondere öffentliche Stellen, Registrierungspflichten haben. Nicht jedes Hochrisiko-KI-System wird in gleicher Weise öffentlich sichtbar registriert, und Umfang sowie Sichtbarkeit der Einträge hängen von der jeweiligen Kategorie ab. Die Datenbank soll Transparenz schaffen und Marktüberwachung erleichtern.

Für Unternehmen bedeutet das, dass interne Dokumentation allein nicht immer genügt. Ein KI-Inventar ist sehr sinnvoll, ersetzt aber nicht spezifische gesetzliche Pflichten wie technische Dokumentation, Protokollierung, Konformitätsbewertung, Registrierung, Grundrechte-Folgenabschätzung oder Post-Market-Monitoring.

Transparenzpflichten bei KI-Systemen

Viele KI-Anwendungen sind keine Hochrisiko-Systeme, können aber Transparenzpflichten auslösen. Art. 50 EU AI Act unterscheidet mehrere Fallgruppen und verteilt Pflichten teils auf Anbieter, teils auf Betreiber. Deshalb ist es ungenau, alle Anwendungen mit begrenztem Risiko gleich zu behandeln.

Anbieter bestimmter KI-Systeme müssen Systeme, die direkt mit Menschen interagieren, so gestalten, dass Personen grundsätzlich erkennen können, dass sie mit KI interagieren. Anbieter von KI-Systemen, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, müssen außerdem dafür sorgen, dass Outputs in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind, soweit dies technisch machbar und angemessen ist.

Betreiber haben eigene Offenlegungspflichten. Wer ein Emotionserkennungssystem oder ein System zur biometrischen Kategorisierung einsetzt, muss betroffene Personen grundsätzlich informieren. Wer Deepfakes verbreitet, muss grundsätzlich offenlegen, dass Inhalte künstlich erzeugt oder manipuliert wurden. Deepfakes sind dabei vor allem künstlich erzeugte oder manipulierte Bild-, Audio- oder Videoinhalte, die wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähneln und fälschlich echt erscheinen können.

Für KI-generierte oder manipulierte Texte gilt eine besondere Transparenzpflicht, wenn sie veröffentlicht werden, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren. Diese Pflicht gilt nicht ausnahmslos, etwa wenn eine menschliche Prüfung oder redaktionelle Kontrolle stattgefunden hat und eine natürliche oder juristische Person die redaktionelle Verantwortung trägt. Unternehmen sollten daher prüfen, ob Kennzeichnung, menschliche Freigabe und Dokumentation zum jeweiligen Veröffentlichungskontext passen.

Minimales Risiko und risikoarme Anwendungen

Viele KI-Systeme gelten in der Praxis als risikoarm und unterliegen keinen umfangreichen Pflichten nach dem EU AI Act. Beispiele sind Spamfilter, Rechtschreib- und Grammatikprüfung, einfache interne Assistenzfunktionen, allgemeine Produktempfehlungen oder Zusammenfassungen ohne kritische Entscheidungsfunktion. Dennoch können Datenschutz, Geheimnisschutz, Urheberrecht, Verbraucherschutz und Informationssicherheit relevant bleiben.

Auch risikoarme KI kann problematisch werden, wenn vertrauliche Daten verarbeitet werden oder Ergebnisse ungeprüft in wichtige Prozesse einfließen. Eine automatische Zusammenfassung ist weniger kritisch, wenn sie nur der internen Orientierung dient. Sie kann aber relevant werden, wenn sie Grundlage für Personalentscheidungen, Kundenbewertungen, Leistungsansprüche oder rechtlich verbindliche Aussagen ist.

General-Purpose-AI-Modelle und generative KI

General-Purpose-AI-Modelle sind Modelle mit allgemeinem Verwendungszweck, die für eine Vielzahl unterschiedlicher Aufgaben eingesetzt werden können. Dazu gehören viele große Sprachmodelle und multimodale Modelle, aber der Begriff ist nicht auf generative KI beschränkt. Der EU AI Act unterscheidet zwischen allgemeinen Pflichten für Anbieter von GPAI-Modellen und zusätzlichen Pflichten für Modelle mit systemischem Risiko.

Allgemeine Pflichten für GPAI-Anbieter umfassen insbesondere:

• Erstellung und Pflege technischer Dokumentation
• Bereitstellung relevanter Informationen für nachgelagerte Anbieter
• Beachtung des EU-Urheberrechts
• Einführung einer Policy zur Einhaltung urheberrechtlicher Vorgaben
• Veröffentlichung einer hinreichend detaillierten Zusammenfassung der für das Training verwendeten Inhalte
• Kooperation mit zuständigen Behörden und dem AI Office

Für frei und quelloffen bereitgestellte GPAI-Modelle gelten bestimmte Erleichterungen. Diese greifen jedoch nicht uneingeschränkt und insbesondere nicht bei GPAI-Modellen mit systemischem Risiko. Unternehmen sollten daher nicht allein aus der Open-Source-Eigenschaft ableiten, dass keine Pflichten bestehen.

Für GPAI-Modelle mit systemischem Risiko gelten zusätzliche Anforderungen. Ein systemisches Risiko wird insbesondere vermutet, wenn das Modell mit einem sehr hohen Rechenaufwand trainiert wurde, etwa oberhalb von 10^25 FLOPs. Anbieter solcher Modelle müssen unter anderem Modellbewertungen einschließlich adversarial testing durchführen oder veranlassen, systemische Risiken bewerten und mindern, angemessene Cybersicherheitsmaßnahmen sicherstellen und schwerwiegende Vorfälle an das AI Office sowie gegebenenfalls nationale Behörden melden.

Rolle des AI Office

Das AI Office der Europäischen Kommission spielt eine zentrale Rolle bei GPAI-Modellen. Es unterstützt die einheitliche Anwendung des EU AI Act, wirkt an Leitlinien mit, begleitet Codes of Practice und ist insbesondere bei Modellen mit systemischem Risiko relevant. Es kann Informationen von GPAI-Anbietern verlangen und an Aufsichts- und Durchsetzungsprozessen mitwirken.

Für Unternehmen ist das AI Office vor allem dann wichtig, wenn sie GPAI-Modelle entwickeln, bereitstellen oder in größerem Umfang in eigene Systeme integrieren. Aber auch Betreiber sollten Entwicklungen des AI Office beobachten, weil Leitlinien und Codes of Practice praktische Standards setzen können. Diese Standards beeinflussen mittelbar auch Beschaffung, Vertragsgestaltung und Risikobewertung.

Urheberrecht, Trainingsdaten und KI-Ausgaben

Der EU AI Act enthält besondere Vorgaben für Anbieter von GPAI-Modellen im Zusammenhang mit Urheberrecht und Trainingsdaten. Dazu gehören eine Urheberrechts-Policy und eine Zusammenfassung der verwendeten Trainingsinhalte auf geeigneter Ebene. Diese Pflichten ersetzen aber nicht die allgemeine Prüfung urheberrechtlicher Fragen im Unternehmen.

Wenn Sie generative KI einsetzen, sollten Sie klären, ob Eingaben urheberrechtlich geschütztes Material enthalten und ob Ausgaben rechtssicher verwendet werden können. Besonders relevant ist dies bei Marketingtexten, Bildern, Code, Schulungsunterlagen, Produktdokumentation und öffentlich zugänglichen Wissensinhalten. Der EU AI Act klärt nicht umfassend, ob KI-generierte Outputs urheberrechtlich schutzfähig sind oder welche Nutzungsrechte daran bestehen.

Auch Vertraulichkeit und Geschäftsgeheimnisse sind zu beachten, wenn interne Dokumente in externe KI-Dienste eingegeben werden. Unternehmen sollten festlegen, welche Inhalte in KI-Tools verarbeitet werden dürfen und welche nicht. Bei öffentlich genutzten KI-Inhalten sollten zusätzlich Quellenprüfung, Plagiatsrisiken, Markenrechte, Persönlichkeitsrechte und Irreführung berücksichtigt werden.

Technische Risiken generativer KI

Generative KI bringt spezifische technische Risiken mit sich. Dazu gehören Halluzinationen, also plausibel klingende, aber falsche Inhalte, sowie fehlende oder erfundene Quellen. Auch Modell-Bias, veraltete Trainingsdaten, unklare Verantwortlichkeiten und übermäßiges Vertrauen in KI-Ausgaben können zu Fehlentscheidungen führen.

In Informationsmanagementsystemen sind Prompt Injection und Data Leakage besonders relevant. Bei Prompt Injection versuchen Angreifer, ein KI-System über manipulierte Inhalte oder Eingaben zu unerwünschtem Verhalten zu bringen. Data Leakage beschreibt den ungewollten Abfluss vertraulicher Informationen, etwa wenn interne Dokumente in externe Dienste gelangen oder Berechtigungen nicht sauber umgesetzt sind.

Geeignete Gegenmaßnahmen sind Zugriffskontrollen, sichere Schnittstellen, Mandantentrennung, Quellenanzeige, Output-Filter, Protokollierung, redaktionelle Freigaben und Tests gegen missbräuchliche Prompts. Wichtig ist auch, dass KI-Assistenten nur auf Informationen zugreifen dürfen, die die anfragende Person tatsächlich sehen darf. Gerade bei RAG-Systemen hängt Compliance nicht nur vom Modell, sondern stark von Datenquellen, Berechtigungen und Prozesskontrollen ab.

Bedeutung für Informationsmanagementsysteme

Informationsmanagementsysteme speichern, strukturieren, analysieren und verteilen geschäftsrelevante Informationen. Sie bilden häufig die Grundlage für Wissensmanagement, Dokumentenmanagement, Collaboration, Compliance, Archivierung, Workflow-Steuerung und Kundenkommunikation. KI kann solche Systeme deutlich leistungsfähiger machen, etwa durch intelligente Suche, automatische Klassifikation, Zusammenfassungen oder dialogbasierte Wissensassistenten.

Typische KI-Funktionen in Informationsmanagementsystemen sind:

• automatische Verschlagwortung von Dokumenten
• semantische Suche über große Datenbestände
• Erkennung sensibler oder personenbezogener Informationen
• Zusammenfassung langer Dokumente
• Extraktion von Daten aus Verträgen, Rechnungen, E-Mails oder Formularen
• automatische Zuordnung von Vorgängen zu Abteilungen oder Workflows
• KI-gestützte Recherche in internen Wissensdatenbanken
• interne Wissensassistenten und Chatbots
• Klassifikation von Tickets, Anfragen oder Dokumententypen
• Erkennung von Dubletten, Anomalien oder fehlenden Informationen

Der EU AI Act verlangt nicht, solche Funktionen grundsätzlich zu vermeiden. Er verlangt aber, dass Unternehmen wissen, welche KI sie einsetzen, wofür sie genutzt wird, welche Daten verarbeitet werden und welche Risiken daraus entstehen. Dasselbe technische Modell kann je nach Einsatzkontext unterschiedliche rechtliche Anforderungen auslösen.

Ein Beispiel ist ein interner Wissensassistent mit Retrieval-Augmented Generation, kurz RAG. Dabei durchsucht das System interne Dokumente und erzeugt Antworten auf Basis gefundener Quellen. Risiko und Compliance hängen hier nicht nur vom Sprachmodell ab, sondern auch von Datenquellen, Berechtigungen, Quellenanzeige, Protokollierung, Zugriffskontrolle, Löschkonzept, Halluzinationskontrolle und Freigabeprozessen.

EU AI Act, DSGVO und automatisierte Entscheidungen

Der EU AI Act ersetzt die Datenschutz-Grundverordnung nicht. Beide Regelwerke können gleichzeitig gelten, wenn KI-Systeme personenbezogene Daten verarbeiten. Während die DSGVO vor allem Rechtmäßigkeit, Transparenz, Zweckbindung, Betroffenenrechte und Datensicherheit regelt, fokussiert der EU AI Act auf KI-spezifische Risiken wie Risikomanagement, Datenqualität, menschliche Aufsicht, Robustheit, Transparenz und Marktüberwachung.

Art. 22 DSGVO wird häufig mit dem EU AI Act verwechselt. Diese Vorschrift betrifft bestimmte ausschließlich automatisierte Entscheidungen mit rechtlicher Wirkung oder ähnlich erheblicher Beeinträchtigung. Ein KI-System kann unter den EU AI Act fallen, ohne dass Art. 22 DSGVO einschlägig ist. Umgekehrt kann eine automatisierte Entscheidung datenschutzrechtlich kritisch sein, selbst wenn das KI-System nicht als Hochrisiko-KI eingestuft wird.

In der Praxis sollten Sie gemeinsam prüfen:

• Welche personenbezogenen Daten werden verarbeitet?
• Auf welcher Rechtsgrundlage erfolgt die Verarbeitung?
• Werden besondere Kategorien personenbezogener Daten verwendet?
• Liegt automatisierte Entscheidungsfindung im Sinne von Art. 22 DSGVO vor?
• Ist eine Datenschutz-Folgenabschätzung erforderlich?
• Ist zusätzlich eine Grundrechte-Folgenabschätzung nach EU AI Act erforderlich?
• Werden Daten an externe KI-Anbieter oder in Drittländer übermittelt?
• Bestehen Auftragsverarbeitung, gemeinsame Verantwortlichkeit oder internationale Datentransfers?
• Sind Zugriffsrechte, Rollen, Protokollierung und Löschkonzepte angemessen geregelt?
• Werden Geschäftsgeheimnisse und vertrauliche Informationen geschützt?

Informationsmanagementsysteme sind hier besonders sensibel, weil sie häufig große Mengen vertraulicher Unternehmensinformationen bündeln. Eine KI-Funktion, die auf E-Mails, Verträge, Personalunterlagen, Kundendaten oder interne Strategiedokumente zugreift, muss technisch und organisatorisch kontrolliert werden. Dazu gehören Berechtigungskonzepte, Mandantentrennung, sichere Schnittstellen, Prompt-Schutz und Maßnahmen gegen Datenabfluss.

Beschäftigungskontext und Mitbestimmung

KI im Beschäftigungskontext ist besonders sensibel. Systeme zur Bewerberauswahl, Leistungsbewertung, Personalplanung, Schichtzuteilung, Weiterbildungsauswahl oder Verhaltensanalyse können erhebliche Auswirkungen auf Beschäftigte haben. Viele dieser Anwendungen können Hochrisiko-KI sein.

Neben dem EU AI Act sind Datenschutzrecht, Arbeitsrecht, Antidiskriminierungsrecht und Mitbestimmungsrechte relevant. Arbeitnehmervertretungen sollten frühzeitig eingebunden werden, wenn KI-Systeme Verhalten oder Leistung überwachen oder Personalentscheidungen beeinflussen können. Auch Transparenz gegenüber Beschäftigten ist wichtig, damit klar ist, welche Daten genutzt werden, welche Rolle die KI spielt und wer die Entscheidung verantwortet.

Unternehmen sollten Diskriminierungsrisiken systematisch prüfen. Trainingsdaten, Auswahlkriterien, Proxy-Variablen und historische Verzerrungen können dazu führen, dass bestimmte Gruppen benachteiligt werden. Menschliche Aufsicht, regelmäßige Tests, nachvollziehbare Kriterien und Beschwerdemöglichkeiten sind hier besonders wichtig.

Verbraucherschutz und Irreführung

KI kann auch verbraucherschutzrechtliche Risiken auslösen. Das gilt etwa bei Chatbots, Produktberatung, personalisierten Angeboten, dynamischen Preisen, synthetischen Bewertungen oder KI-generierten Produktinformationen. Wenn Verbraucher nicht erkennen, dass sie mit KI interagieren, oder wenn KI-Ausgaben falsche Erwartungen wecken, können Transparenz- und Irreführungsrisiken entstehen.

Unternehmen sollten KI-gestützte Kundenkommunikation so gestalten, dass Verantwortlichkeiten klar bleiben. Ein Chatbot sollte keine falschen Aussagen zu Preisen, Vertragsbedingungen, Verfügbarkeit, Gewährleistung oder medizinischen, rechtlichen oder finanziellen Fragen erzeugen. Besonders bei beratungsnahen Anwendungen sind fachliche Grenzen, Eskalation an Menschen und dokumentierte Freigabeprozesse wichtig.

Verhältnis zu weiteren Rechtsakten

Der EU AI Act steht neben anderen europäischen und nationalen Vorgaben. Je nach Branche und System können zusätzliche Regelwerke relevant sein. Dazu gehören insbesondere DSGVO, NIS2, Cyber Resilience Act, Produktsicherheitsrecht, Medizinprodukterecht, Maschinenrecht, Produkthaftung, Arbeitsrecht, Verbraucherschutzrecht und branchenspezifische Aufsichtsregeln.

Für Banken, Versicherungen, Gesundheitswesen, öffentliche Verwaltung, Industrie und HR-Prozesse können sich dadurch mehrere Compliance-Ebenen überschneiden. Ein KI-System zur Kreditwürdigkeitsprüfung kann beispielsweise zugleich unter EU AI Act, DSGVO, Finanzaufsicht und Verbraucherschutz fallen. Ein KI-gestütztes Medizinprodukt kann zusätzlich strenge Anforderungen aus dem Medizinprodukterecht erfüllen müssen.

KI-Kompetenz nach Art. 4 EU AI Act

Art. 4 EU AI Act verlangt von Anbietern und Betreibern Maßnahmen zur Sicherstellung von KI-Kompetenz. Das bedeutet, dass Personen, die mit KI-Systemen arbeiten, über ein angemessenes Verständnis von Funktionsweise, Chancen, Grenzen und Risiken verfügen sollen. Dabei sind technisches Wissen, Erfahrung, Ausbildung, Einsatzkontext und die betroffenen Personen zu berücksichtigen.

Formale Schulungen sind ein wichtiger Weg, aber nicht die einzige Möglichkeit. Auch interne Richtlinien, Rollenbeschreibungen, Freigabeprozesse, Leitfäden, praktische Übungen und fachbereichsspezifische Hinweise können zur KI-Kompetenz beitragen. Wichtig ist, dass Mitarbeitende wissen, welche Daten eingegeben werden dürfen, wann Ergebnisse zu prüfen sind, wie Fehler gemeldet werden und welche Entscheidungen nicht ungeprüft automatisiert werden dürfen.

Post-Market-Monitoring und schwerwiegende Vorfälle

Für Anbieter von Hochrisiko-KI endet Compliance nicht mit dem Inverkehrbringen. Sie müssen ein Post-Market-Monitoring einrichten, um die Leistung, Sicherheit und Risiken des Systems laufend zu überwachen. Dazu gehören Feedback aus der Nutzung, Fehleranalysen, Leistungskennzahlen, Korrekturmaßnahmen und Re-Evaluationen bei Änderungen.

Schwerwiegende Vorfälle müssen nach den Vorgaben des EU AI Act gemeldet werden. Dazu können Ereignisse gehören, die zu Tod, schwerer Gesundheitsschädigung, schweren Störungen kritischer Infrastruktur oder erheblichen Verletzungen von Grundrechten führen oder führen können. Unternehmen sollten interne Incident-Prozesse definieren, damit technische, rechtliche, Datenschutz-, Sicherheits- und Fachverantwortliche schnell zusammenarbeiten.

Wenn personenbezogene Daten betroffen sind, kann zusätzlich eine Meldung nach DSGVO erforderlich sein. Ein KI-Vorfall kann also gleichzeitig KI-rechtliche, datenschutzrechtliche, IT-sicherheitsrechtliche und vertragliche Meldepflichten auslösen. Deshalb sollten Meldewege, Zuständigkeiten und Eskalationsfristen nicht erst im Ernstfall geklärt werden.

KI in der Lieferkette

KI-Systeme entstehen häufig in komplexen Lieferketten. Ein Modellanbieter stellt ein GPAI-Modell bereit, ein Systemanbieter entwickelt darauf eine Anwendung, ein Integrator bindet sie in Fachsoftware ein, ein Händler stellt sie am Markt bereit und ein Unternehmen nutzt sie als Betreiber. Jede Stufe benötigt bestimmte Informationen von vorgelagerten Akteuren.

Für nachgelagerte Anbieter sind Modellinformationen, technische Dokumentation, Leistungsgrenzen, Trainingsdatenzusammenfassungen, Sicherheitsmaßnahmen und Update-Informationen wichtig. Betreiber benötigen Zweckbestimmung, Gebrauchsanweisung, Transparenzinformationen, Anforderungen an Eingabedaten, Protokollierungsfunktionen, menschliche Aufsicht und Hinweise zu Risiken. Wenn diese Informationsflüsse fehlen, wird Compliance praktisch schwierig.

Unternehmen sollten deshalb bei Beschaffung, Integration und Vertragsgestaltung nicht nur auf Funktionalität achten. Wichtig ist, ob der Anbieter die rechtlich und technisch benötigten Informationen bereitstellt, Änderungen rechtzeitig kommuniziert und bei Vorfällen unterstützt. Gerade bei Cloud-KI-Diensten sollten Datenflüsse, Modellupdates und Unterauftragnehmer transparent geregelt sein.

Beschaffung und Verträge bei KI-Diensten

Wenn Sie KI-Systeme einkaufen oder Cloud-KI-Dienste anbinden, sollten Sie Anbieter strukturiert prüfen. Wichtig sind nicht nur Preis und Funktionalität, sondern auch Zweckbestimmung, Risikoklasse, technische Dokumentation, Datenschutz, Informationssicherheit, Modellupdates und Support. Besonders kritisch ist, ob Ihre Eingaben für Training oder Verbesserung des Dienstes verwendet werden.

Bei der Beschaffung sollten Sie unter anderem fragen:

• Welche Zweckbestimmung hat das KI-System?
• Welche Rolle nimmt der Anbieter nach dem EU AI Act ein?
• Welche Risikoklasse nimmt der Anbieter an und warum?
• Welche Dokumentation, Gebrauchsanweisung und Sicherheitsnachweise werden bereitgestellt?
• Welche Daten werden verarbeitet und wo?
• Werden Eingaben oder Ausgaben für Training, Monitoring oder Produktverbesserung genutzt?
• Welche Unterauftragnehmer und Drittlandtransfers gibt es?
• Welche Logging-, Lösch- und Exportfunktionen sind verfügbar?
• Wie werden Modellupdates, Leistungsänderungen und Sicherheitsvorfälle kommuniziert?
• Welche Audit-, Informations- und Mitwirkungsrechte bestehen?

Verträge sollten Regelungen zu Datenverarbeitung, Vertraulichkeit, Verfügbarkeit, Haftung, Support, Vorfallmeldung, Unterauftragnehmern, Modelländerungen, Löschung, Exit-Möglichkeiten und Dokumentationspflichten enthalten. Bei Hochrisiko-KI sollten außerdem Gebrauchsanweisung, Verantwortlichkeiten, Protokollierung, menschliche Aufsicht, Mitwirkung bei Behördenanfragen und Update-Kontrolle besonders klar geregelt sein.

Shadow AI und interne KI-Richtlinien

Ein praktisches Risiko ist Shadow AI, also die Nutzung nicht freigegebener KI-Tools durch Mitarbeitende. Dabei können vertrauliche Informationen, personenbezogene Daten oder Geschäftsgeheimnisse unkontrolliert in externe Dienste gelangen. Zudem können KI-Ausgaben ohne Prüfung in Angebote, Kundenkommunikation, Berichte oder Entscheidungen übernommen werden.

Eine interne KI-Richtlinie sollte deshalb klar regeln:

• welche KI-Tools erlaubt, eingeschränkt oder verboten sind
• welche Daten nicht eingegeben werden dürfen
• wann KI-Ergebnisse geprüft und freigegeben werden müssen
• wie Quellen, Halluzinationen und Fehler kontrolliert werden
• wie mit personenbezogenen Daten und Geschäftsgeheimnissen umzugehen ist
• welche Transparenzhinweise erforderlich sind
• wer neue KI-Use-Cases freigibt
• wie Vorfälle und Fehlfunktionen gemeldet werden
• wie Prompt-Verläufe, Protokolle und Nachweise dokumentiert werden

Eine gute Richtlinie sollte verständlich und praxistauglich sein. Wenn Vorgaben zu abstrakt bleiben, weichen Mitarbeitende eher auf nicht freigegebene Tools aus. Deshalb sollten Sie klare Beispiele, erlaubte Alternativen, Eskalationswege und kurze Entscheidungsregeln bereitstellen.

Regulatory Sandboxes und Tests in der realen Welt

Der EU AI Act enthält auch innovationsfördernde Instrumente. Dazu gehören KI-Reallabore, sogenannte Regulatory Sandboxes, in denen Unternehmen und Behörden unter Aufsicht innovative KI-Systeme entwickeln, testen und validieren können. Ziel ist es, regulatorisches Lernen zu ermöglichen und zugleich Risiken kontrolliert zu halten.

Daneben sieht der EU AI Act unter bestimmten Voraussetzungen Tests in der realen Welt vor. Solche Tests können wichtig sein, wenn KI-Systeme nur unter praktischen Einsatzbedingungen zuverlässig bewertet werden können. Sie setzen jedoch Planung, Risikobegrenzung, Dokumentation, Aufsicht und je nach Fall Einwilligungen oder zusätzliche Schutzmaßnahmen voraus.

Für Unternehmen können Sandboxes und Real-World-Testing besonders interessant sein, wenn sie neue KI-Anwendungen in regulierten oder sensiblen Bereichen entwickeln. Sie ersetzen aber keine Compliance-Pflichten. Vielmehr sollen sie helfen, Anforderungen frühzeitig zu verstehen und technisch sinnvoll umzusetzen.

Zentrale Pflichten und Aufgaben für Unternehmen

Welche Pflichten gelten, hängt von Rolle, System, Einsatzbereich und Risikoklasse ab. Unternehmen sollten den EU AI Act nicht als einmalige Rechtsprüfung behandeln, sondern als Bestandteil einer laufenden KI-Governance. Dazu gehört eine Verbindung von Recht, IT, Informationssicherheit, Datenschutz, Einkauf, Fachbereichen und Unternehmensleitung.

Wichtige Aufgaben sind:

• KI-Systeme im Unternehmen erfassen
• Anwendungszwecke und Zweckbestimmungen dokumentieren
• Rollen nach dem EU AI Act klären
• Risikoklasse und mögliche Ausnahmen bewerten
• Datenschutz, Informationssicherheit und Geheimnisschutz prüfen
• Transparenzpflichten identifizieren
• menschliche Aufsicht und fachliche Prüfung sicherstellen
• Anbieterinformationen und Verträge prüfen
• Dokumentations-, Logging-, Registrierungs- und Meldepflichten berücksichtigen
• Mitarbeitende und Führungskräfte zu KI-Kompetenz befähigen
• Prozesse für Vorfälle, Beschwerden und Fehlfunktionen definieren
• Systeme bei Updates, Modelländerungen oder Zweckänderungen neu bewerten

Ein internes KI-Inventar ist dafür sehr hilfreich. Darin können Sie festhalten, welche KI-Systeme eingesetzt werden, wer verantwortlich ist, welche Daten verarbeitet werden, welche Anbieter beteiligt sind, welche Risikoeinschätzung vorgenommen wurde und welche Kontrollen bestehen. Für Hochrisiko-KI genügt ein Inventar allein jedoch nicht, da spezifische gesetzliche Pflichten hinzukommen können.

Erste Prüfung eines KI-Use-Cases

Eine erste Prüfung sollte pragmatisch sein und dennoch die zentralen Risiken erfassen. Ziel ist nicht, KI-Projekte unnötig zu stoppen, sondern früh zu erkennen, welche Anwendungen unkritisch sind und welche vertieft geprüft werden müssen. Besonders wichtig ist, auch eingebettete KI-Funktionen in Standardsoftware zu berücksichtigen.

Eine sinnvolle Erstprüfung umfasst folgende Schritte:

1. Beschreiben Sie den Zweck des KI-Einsatzes.
2. Klären Sie, welche Daten verarbeitet werden.
3. Prüfen Sie, ob Personen betroffen sind und welche Auswirkungen möglich sind.
4. Bestimmen Sie Ihre Rolle nach dem EU AI Act.
5. Schließen Sie verbotene KI-Praktiken aus.
6. Prüfen Sie Hochrisiko-Bezüge nach Anhang I und Anhang III.
7. Prüfen Sie Transparenzpflichten nach Art. 50.
8. Erfassen Sie GPAI-Bezug und beteiligte Modellanbieter.
9. Bewerten Sie Datenschutz, Informationssicherheit, Urheberrecht und Geheimnisschutz.
10. Legen Sie menschliche Aufsicht, Freigaben, Protokollierung und Eskalation fest.

Diese Erstprüfung sollte dokumentiert werden. Bei risikoarmen Anwendungen kann eine kurze Bewertung genügen. Bei sensiblen Einsatzbereichen, personenbezogenen Daten, Beschäftigungskontexten oder potenzieller Hochrisiko-KI sollten Sie vertieft prüfen und geeignete Fachfunktionen einbeziehen.

Typische Missverständnisse zum EU AI Act

Rund um den EU AI Act gibt es einige Missverständnisse, die zu unnötigen Blockaden oder unterschätzten Risiken führen können. Eine klare Einordnung hilft, KI gezielt und verantwortungsvoll einzusetzen.

„Der EU AI Act verbietet KI.“ Nein. Er verbietet nur bestimmte besonders problematische Praktiken. Die meisten KI-Systeme bleiben erlaubt, müssen aber je nach Risiko bestimmte Anforderungen erfüllen.

„Nur Anbieter sind betroffen.“ Nicht richtig. Auch Betreiber, Importeure, Händler, Produkthersteller und Bevollmächtigte können Pflichten haben. Unternehmen, die KI beruflich nutzen, sollten ihre Rolle immer konkret prüfen.

„Wenn eine Software KI enthält, ist sie automatisch Hochrisiko.“ Nein. Entscheidend ist der konkrete Zweck und Einsatzkontext. Eine KI-Suche in Dokumenten ist anders zu bewerten als eine KI zur Bewerberbewertung oder Kreditentscheidung.

„Datenschutz reicht aus.“ Datenschutz ist wichtig, aber nicht identisch mit dem EU AI Act. Zusätzlich geht es um KI-spezifische Anforderungen wie Transparenz, Datenqualität, Robustheit, menschliche Aufsicht, Konformitätsbewertung und Marktüberwachung.

„KI-generierte Inhalte müssen immer gekennzeichnet werden.“ Nein. Kennzeichnungspflichten hängen von Art des Inhalts, Veröffentlichung, Zweck und Ausnahmen ab. Bei Chatbots, Deepfakes und öffentlichen Informationsinhalten sollten Sie jedoch besonders sorgfältig prüfen.

„Eingekaufte KI ist automatisch compliant.“ Auch bei externen Lösungen müssen Sie prüfen, ob der konkrete Einsatz in Ihrem Unternehmen zulässig ist. Anbieter-Compliance ersetzt nicht Betreiberpflichten, Datenschutzprüfung, interne Freigaben und angemessene menschliche Kontrolle.

Sanktionen bei Verstößen

Der EU AI Act sieht erhebliche Bußgelder vor. Bei Verstößen gegen verbotene KI-Praktiken können Bußgelder von bis zu 35 Millionen Euro oder bis zu 7 Prozent des weltweiten Jahresumsatzes verhängt werden, je nachdem, welcher Betrag höher ist. Für viele andere Verstöße, etwa gegen Pflichten zu Hochrisiko-KI, können bis zu 15 Millionen Euro oder bis zu 3 Prozent des weltweiten Jahresumsatzes relevant sein.

Für falsche, unvollständige oder irreführende Angaben gegenüber Behörden oder notifizierten Stellen können Bußgelder von bis zu 7,5 Millionen Euro oder bis zu 1 Prozent des weltweiten Jahresumsatzes verhängt werden. Für KMU einschließlich Start-ups gilt bei bestimmten Bußgeldobergrenzen grundsätzlich der niedrigere Betrag aus Festbetrag und Umsatzprozentsatz. Die konkrete Höhe hängt von Art, Schwere, Dauer, Vorsatz, Fahrlässigkeit, Unternehmensgröße und weiteren Umständen ab.

Neben Bußgeldern können Behörden weitere Maßnahmen ergreifen. Dazu gehören Untersagung bestimmter KI-Anwendungen, Korrekturmaßnahmen, Rücknahme vom Markt, Rückruf, Informationspflichten, zusätzliche Prüfungen und Einschränkungen der Nutzung. Hinzu kommen mögliche Reputationsschäden, Vertragsrisiken, Haftungsfragen und Vertrauensverlust bei Kunden, Mitarbeitenden und Partnern.

Zeitplan der Anwendung und Übergangsfristen

Der EU AI Act ist am 1. August 2024 in Kraft getreten. Die Vorschriften werden schrittweise anwendbar, damit Unternehmen, Behörden und Anbieter Zeit für die Umsetzung haben. Dennoch sind einige zentrale Pflichten bereits wirksam oder stehen kurzfristig an.

Wichtige Stichtage sind:

2. Februar 2025: Verbotene KI-Praktiken und Anforderungen an KI-Kompetenz gelten.

2. August 2025: Regeln für GPAI-Modelle, Governance-Strukturen, AI Office und Teile der Sanktionen werden anwendbar.

2. August 2026: Die meisten Vorschriften des EU AI Act gelten, darunter viele Anforderungen für Hochrisiko-KI nach Anhang III.

2. August 2027: Art. 6 Abs. 1 wird für Hochrisiko-KI-Systeme anwendbar, die als Sicherheitskomponente eines Produkts oder selbst als Produkt unter bestimmte EU-Harmonisierungsrechtsakte in Anhang I fallen.

2. August 2027: Für GPAI-Modelle, die bereits vor dem 2. August 2025 in Verkehr gebracht wurden, gelten bestimmte Pflichten erst ab diesem Zeitpunkt.

Für bestehende Systeme gibt es Übergangsregelungen. Hochrisiko-KI-Systeme, die bereits vor den maßgeblichen Stichtagen in Verkehr gebracht oder in Betrieb genommen wurden, unterliegen den neuen Anforderungen teilweise erst, wenn sie wesentlich geändert werden. Für bestimmte Systeme öffentlicher Stellen und bestimmte groß angelegte IT-Systeme bestehen zusätzliche Übergangsfristen. Unternehmen sollten Altsysteme daher nicht ignorieren, sondern erfassen, bewerten und bei Änderungen neu prüfen.

Da Leitlinien, harmonisierte Normen, gemeinsame Spezifikationen und Codes of Practice fortlaufend konkretisiert werden, sollten Unternehmen den Stand regelmäßig prüfen. Besonders sinnvoll ist es, nicht bis zum Ablauf einzelner Fristen zu warten. KI-Inventar, Rollenklärung, Anbieterprüfung, interne Richtlinien und Freigabeprozesse benötigen Zeit und sollten früh etabliert werden.

Praktische erste Schritte für Unternehmen

Wenn Sie den EU AI Act strukturiert angehen möchten, sollten Sie mit einer pragmatischen Bestandsaufnahme beginnen. Ziel ist nicht, jedes KI-Projekt zu stoppen, sondern Transparenz über Nutzung, Risiken und Verantwortlichkeiten zu gewinnen. Besonders wichtig ist, auch eingebettete KI-Funktionen in Standardsoftware, Cloud-Diensten und Informationsmanagementsystemen zu erfassen.

Ein sinnvoller Startpunkt ist folgende Vorgehensweise:

1. KI-Anwendungen identifizieren: Prüfen Sie Fachsoftware, Cloud-Dienste, Informationsmanagementsysteme, Collaboration-Tools und Eigenentwicklungen.
2. Use Cases beschreiben: Dokumentieren Sie Zweck, Ergebnisart, betroffene Prozesse und betroffene Personengruppen.
3. Datenarten erfassen: Halten Sie fest, ob personenbezogene Daten, vertrauliche Dokumente, Geschäftsgeheimnisse oder sensible Informationen verarbeitet werden.
4. Rolle bestimmen: Klären Sie, ob Sie Anbieter, Betreiber, Importeur, Händler, Bevollmächtigter oder Produkthersteller sind.
5. Risiko einschätzen: Prüfen Sie verbotene Praktiken, Hochrisiko-Bezug, Transparenzpflichten und GPAI-Relevanz.
6. Kontrollen festlegen: Definieren Sie menschliche Aufsicht, Freigaben, Protokollierung, Quellenprüfung und Transparenzhinweise.
7. Anbieterinformationen einholen: Fordern Sie technische, rechtliche und sicherheitsbezogene Informationen Ihrer KI-Anbieter an.
8. Richtlinien erstellen: Legen Sie fest, welche KI-Tools erlaubt sind und welche Daten nicht eingegeben werden dürfen.
9. KI-Kompetenz sicherstellen: Vermitteln Sie Mitarbeitenden die wichtigsten Regeln für sicheren und verantwortungsvollen KI-Einsatz.
10. Reviews einplanen: Bewerten Sie KI-Systeme bei Updates, Modelländerungen, neuen Datenquellen oder geänderten Zwecken erneut.

Ein strukturiertes Informationsmanagement kann diese Umsetzung unterstützen, indem Richtlinien, Risikobewertungen, Vertragsunterlagen, technische Dokumentation, Freigaben und Prüfprotokolle zentral verfügbar sind. Für regulierte oder hochriskante Anwendungen müssen darüber hinaus die spezifischen gesetzlichen Dokumentations-, Registrierungs-, Konformitäts- und Überwachungspflichten erfüllt werden.

Häufige Fragen zu EU AI Act

Was regelt der EU AI Act?

Der EU AI Act regelt das _{Inverkehrbringen}, die Inbetriebnahme, die Bereitstellung und die Nutzung von KI-Systemen in der EU. Er enthält Verbote bestimmter KI-Praktiken, Anforderungen an Hochrisiko-KI, Transparenzpflichten und besondere Regeln für General-Purpose-AI-Modelle. Reine Forschung, Entwicklung und Tests vor dem Inverkehrbringen können teilweise ausgenommen oder anders behandelt sein.

Gilt der EU AI Act unmittelbar in Deutschland?

Ja, als EU-Verordnung gilt der EU AI Act unmittelbar in allen Mitgliedstaaten. Trotzdem müssen Mitgliedstaaten nationale Zuständigkeiten, Aufsichtsbehörden, Durchsetzungsstrukturen, Sanktionen und Begleitregelungen festlegen. Für Unternehmen ist daher sowohl der EU-Rechtsakt als auch die nationale Aufsichtspraxis relevant.

Was ist der Unterschied zwischen Anbieter und Betreiber?

Anbieter ist, wer ein KI-System oder GPAI-Modell entwickelt, entwickeln lässt oder unter eigenem Namen oder eigener Marke in Verkehr bringt oder in Betrieb nimmt. Betreiber ist, wer ein KI-System in eigener Verantwortung beruflich oder organisatorisch verwendet. Ein Unternehmen kann je nach Konstellation vom Betreiber zum Anbieter werden, etwa bei Rebranding, wesentlicher Änderung oder Änderung der Zweckbestimmung.

Betrifft der EU AI Act auch kleine und mittlere Unternehmen?

Ja. Kleine und mittlere Unternehmen können betroffen sein, wenn sie KI-Systeme anbieten, importieren, vertreiben oder beruflich nutzen. Der Umfang der Pflichten hängt von Rolle, System, Einsatzkontext und Risiko ab. Auch ein kleiner Betrieb kann relevante Pflichten haben, wenn KI etwa für Bewerberauswahl, Kundenbewertung oder Zugang zu Leistungen eingesetzt wird.

Gilt der EU AI Act auch für Excel-Makros, klassische Workflows oder RPA?

Nicht automatisch. Wenn ein Excel-Makro, ein klassischer Workflow oder eine RPA-Lösung nur feste Regeln abarbeitet, liegt häufig kein KI-System im Sinne des EU AI Act vor. Wenn jedoch lernende Modelle, Mustererkennung, Wahrscheinlichkeitsbewertungen, Sprachmodelle oder andere KI-typische Ableitungen aus Eingaben genutzt werden, kann der EU AI Act relevant werden.

Ist ein KI-Inventar Pflicht?

Ein allgemeines KI-Inventar ist nicht in jedem Fall ausdrücklich vorgeschrieben, aber sehr empfehlenswert. Es hilft Ihnen, KI-Systeme zu erfassen, Risiken zu bewerten und Verantwortlichkeiten zu klären. Bei Hochrisiko-KI können zusätzlich spezifische Pflichten gelten, etwa technische Dokumentation, Logging, Registrierung, Konformitätsbewertung, Grundrechte-Folgenabschätzung und laufende Überwachung.

Wann ist ein KI-System Hochrisiko?

Ein KI-System ist Hochrisiko, wenn es unter Art. 6 in Verbindung mit Anhang I oder Anhang III des EU AI Act fällt. Das betrifft etwa bestimmte Systeme in Beschäftigung, Bildung, kritischer Infrastruktur, Kreditwürdigkeitsprüfung, Versicherungen, Strafverfolgung, Migration, Justiz oder als Sicherheitskomponente regulierter Produkte. Für bestimmte Anhang-III-Systeme gibt es Ausnahmen, wenn kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte besteht, wobei Profiling natürlicher Personen grundsätzlich gegen diese Ausnahme spricht.

Wann ist ein Chatbot Hochrisiko?

Ein allgemeiner Support-Chatbot, der Fragen zu Öffnungszeiten, Produkten oder internen Dokumenten beantwortet, ist meist nicht allein deshalb Hochrisiko. Hochrisiko kann ein Chatbot werden, wenn er in sensiblen Bereichen eingesetzt wird, etwa zur Bewerberbewertung, Bildungszulassung, Kreditentscheidung, Leistungsgewährung oder Priorisierung wesentlicher Dienstleistungen. Entscheidend sind Zweck, Wirkung auf Personen und der Grad menschlicher Kontrolle.

Wann wird ein internes KI-Tool zum Hochrisiko-System?

Ein internes KI-Tool kann Hochrisiko sein, wenn es in einem sensiblen Bereich nach Anhang III eingesetzt wird und erhebliche Auswirkungen auf Personen haben kann. Das kann etwa bei Bewerberbewertung, Leistungsbewertung, Zugang zu Weiterbildung, Kreditentscheidungen oder wesentlichen Dienstleistungen der Fall sein. Entscheidend ist nicht, ob das Tool intern oder extern ist, sondern wofür es verwendet wird.

Müssen KI-generierte Inhalte immer gekennzeichnet werden?

Nein. Die Kennzeichnungspflicht hängt von Inhalt, Zweck und Veröffentlichungskontext ab. Transparenzpflichten gelten insbesondere bei direkter Interaktion mit KI, Deepfakes, Emotionserkennung, biometrischer Kategorisierung und bestimmten KI-generierten oder manipulierten Texten zu Angelegenheiten von öffentlichem Interesse. Ausnahmen können etwa bei menschlicher Prüfung oder redaktioneller Verantwortung greifen.

Ist generative KI durch den EU AI Act verboten?

Nein. Generative KI ist grundsätzlich erlaubt. Je nach Einsatz können aber Transparenzpflichten, Datenschutzanforderungen, Urheberrechtsfragen, Sicherheitsmaßnahmen und Qualitätskontrollen relevant sein. Wenn generative KI in Hochrisiko-Kontexte integriert oder unter eigener Marke weitergegeben wird, können zusätzliche Pflichten entstehen.

Was gilt für Open-Source-KI?

Für KI-Systeme und GPAI-Modelle unter freien und Open-Source-Lizenzen gibt es im EU AI Act bestimmte Erleichterungen, aber keine vollständige Ausnahme. Insbesondere bei verbotenen Praktiken, bestimmten Transparenzpflichten, Hochrisiko-KI, kommerzieller Bereitstellung oder GPAI-Modellen mit systemischem Risiko können Pflichten bestehen. Unternehmen sollten daher nicht allein wegen Open Source von regulatorischer Irrelevanz ausgehen.

Reicht es aus, wenn der KI-Anbieter compliant ist?

Nicht immer. Wenn Sie ein KI-System nutzen, können Sie als Betreiber eigene Pflichten haben. Dazu gehören bestimmungsgemäße Nutzung, menschliche Aufsicht, Monitoring, Log-Aufbewahrung, Information betroffener Personen und in bestimmten Fällen eine Grundrechte-Folgenabschätzung. Außerdem müssen Sie prüfen, ob Ihr konkreter Einsatz zur Zweckbestimmung des Systems passt.

Welche Rolle spielt der Datenschutz beim EU AI Act?

Datenschutz und EU AI Act überschneiden sich, sind aber nicht dasselbe. Wenn KI personenbezogene Daten verarbeitet, müssen zusätzlich die Vorgaben der DSGVO eingehalten werden. Der EU AI Act ergänzt diese Anforderungen um KI-spezifische Regeln, etwa zu Risikomanagement, Transparenz, Datenqualität, Robustheit, menschlicher Aufsicht und Marktüberwachung.

Was bedeutet KI-Kompetenz für Unternehmen?

KI-Kompetenz bedeutet, dass Personen, die mit KI-Systemen arbeiten, deren Funktionsweise, Grenzen und Risiken angemessen verstehen. Unternehmen müssen entsprechende Maßnahmen treffen, wobei Kontext, technisches Wissen, Erfahrung, Ausbildung und betroffene Personen zu berücksichtigen sind. Schulungen sind ein wichtiger Weg, können aber durch Richtlinien, Leitfäden, Freigabeprozesse und praktische Unterstützung ergänzt werden.

Was mussten Unternehmen bis zum 2. Februar 2025 umgesetzt haben?

Seit dem 2. Februar 2025 gelten die Verbote bestimmter KI-Praktiken und die Pflicht zu Maßnahmen für KI-Kompetenz. Unternehmen sollten daher geprüft haben, ob sie verbotene KI-Anwendungen einsetzen, und Mitarbeitende angemessen zum Umgang mit KI befähigen. Dazu gehören insbesondere Regeln zu zulässigen Tools, verbotenen Eingaben, Prüfung von Ergebnissen, Meldung von Fehlern und Verantwortlichkeiten.

Was bedeutet wesentliche Änderung eines KI-Systems?

Eine wesentliche Änderung liegt vor, wenn ein KI-System so verändert wird, dass sich Zweck, Leistung, Risiko oder Konformität erheblich ändern können. Das kann durch technische Anpassungen, neue Datenquellen, neue Einsatzbereiche, Modellwechsel, geänderte Schwellenwerte oder veränderte Entscheidungslogik geschehen. Wer eine solche Änderung vornimmt oder die Zweckbestimmung ändert, kann insbesondere bei Hochrisiko-KI Anbieterpflichten auslösen.

Welche Rechte haben betroffene Personen?

Betroffene Personen können unter bestimmten Voraussetzungen Beschwerden bei Marktüberwachungsbehörden einreichen. Außerdem können sie bei bestimmten Hochrisiko-KI-Systemen eine Erläuterung verlangen, wenn eine Entscheidung auf dem Output des Systems beruht und rechtliche oder ähnlich erhebliche Auswirkungen hat. Zusätzlich können Datenschutzrechte nach DSGVO relevant sein, wenn personenbezogene Daten verarbeitet werden.

Sind KI-Funktionen in Informationsmanagementsystemen automatisch riskant?

Nein. Viele KI-Funktionen in Informationsmanagementsystemen, etwa semantische Suche, automatische Verschlagwortung oder einfache Zusammenfassungen, können risikoarm sein. Entscheidend ist der konkrete Einsatz. Wenn KI personenbezogene Daten bewertet, sensible Entscheidungen vorbereitet oder in Beschäftigung, Kredit, Versicherung, Bildung oder wesentlichen Dienstleistungen genutzt wird, können strengere Anforderungen gelten.

Welche Fristen sind besonders wichtig?

Die Verbote bestimmter KI-Praktiken und die Anforderungen an KI-Kompetenz gelten seit dem 2. Februar 2025. GPAI-Regeln gelten grundsätzlich ab dem 2. August 2025, für bereits vorher in Verkehr gebrachte GPAI-Modelle teilweise erst ab dem 2. August 2027. Die meisten Vorschriften gelten ab dem 2. August 2026, während Art. 6 Abs. 1 für bestimmte Hochrisiko-KI-Systeme im Zusammenhang mit regulierten Produkten ab dem 2. August 2027 anwendbar wird.

Was gilt für bestehende KI-Systeme?

Für bereits vor den maßgeblichen Stichtagen in Verkehr gebrachte oder in Betrieb genommene Hochrisiko-KI-Systeme gelten Übergangsregelungen. Teilweise greifen die neuen Anforderungen erst bei wesentlichen Änderungen. Für bestimmte öffentliche Systeme und groß angelegte IT-Systeme gibt es zusätzliche Übergangsfristen. Trotzdem sollten Sie bestehende Systeme erfassen, bewerten und bei Updates oder Zweckänderungen erneut prüfen.

Was sollten Unternehmen jetzt tun?

Unternehmen sollten zunächst erfassen, welche KI-Systeme sie einsetzen oder anbieten. Danach sollten sie Zwecke, Datenarten, Rollen, Anbieterinformationen, Risiken, Transparenzpflichten, Datenschutz, Informationssicherheit und mögliche Hochrisiko-Bezüge prüfen. Auf dieser Grundlage lassen sich interne Richtlinien, Freigabeprozesse, Schulungsmaßnahmen, Vertragsprüfungen und Dokumentationspflichten zielgerichtet umsetzen.