AI Act meets MDR

Anwendungsbereich und Adressaten

Bei der künstlichen Intelligenz handelt es sich um eine Simulation menschlicher Intelligenz in Maschinen, die es ihnen ermöglicht, zu lernen, zu denken und Probleme zu lösen. Der AI Act orientiert sich bei der Definition der KI an dem bereits etablierten KI-Begriff der OECD. Demgemäß wird KI als ein maschinengestütztes System definiert, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist, das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ergebnisse wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen hervorgebracht werden, die die physische oder virtuelle Umgebung beeinflussen können (Art. 3 Nr. 1 AI-Act).

Grundsätzlich kann KI heutzutage eingeteilt werden in

• das Machine Learning, bei dem Algorithmen darauf trainiert werden, Muster und Korrelationen in großen Datensätzen zu finden und auf Basis dieser Analyse die besten Entscheidungen und Vorhersagen zu treffen sowie
• das Deep Learning als Teilbereich des Machine Learning, bei dem die KI eigenständig aus Beispielen lernt.

Der AI Act gilt nach Art. 2 sowohl für Anbieter als auch für Betreiber von KI. Anbieter ist derjenige, der am Entwicklungsprozess zumindest mitwirkt, wobei es ausreichend ist, die Entwicklung in Auftrag zu geben und anschließend das KI-System zu betreiben.

Wer nicht am Entwicklungsprozess beteiligt ist, gilt als Betreiber. Der AI Act gilt für Betreiber, die ihren Sitz in der Union haben oder die sich in der Union befinden sowie für Importeure.

Selbst Anbieter oder Betreiber von KI aus Drittländern müssen den AI Act beachten, wenn Menschen in der EU von der Verwendung des KI-Systems betroffen sind. Der AI Act orientiert sich insoweit an der DSGVO, deren Wirkung ebenfalls über die europäischen Grenzen hinausgeht.

Die gesamte Lieferkette ist somit von der Regulierung erfasst, wodurch ein lückenloses Schutzniveau erreicht werden soll. Um allerdings die Innovationskraft nicht zu behindern, ist die wissenschaftliche Forschung und Entwicklung von KI-Systemen von der Anwendung des AI Acts ausgenommen, ebenso wie der rein private Gebrauch von KI.

Risikobasierter Regulierungsansatz

Das KI-Gesetz statuiert zunächst einige Regelungen, die für alle KI-Systeme gleichermaßen gelten. So müssen grundsätzlich alle Anbieter und Betreiber von KI-Systemen sicherstellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ausreichende KI-Kenntnisse verfügen (vgl. Art. 4 AI Act). Da diese Verpflichtung auch auf die Betreiber von KI-Systemen ausgeweitet wird, müssen sich alle Unternehmen, die in irgendeiner Form zukünftig KI-Systeme einsetzen, mit dem AI Act auseinandersetzen. Somit dürften in naher Zukunft praktisch alle Unternehmen hiervon betroffen sein.

Sodann verfolgt das KI-Gesetz einen risikobasierten Ansatz mit vier Risikostufen für KI-Systeme sowie die Ermittlung spezifischer Risiken für KI-Modelle mit allgemeinem Verwendungszweck (General Purpose AI = GPAI). Eine solche Klassifizierung ist den Medtech-Unternehmen nicht unbekannt, da auch die MDR/IVDR mit unterschiedlichen Risikoklassen arbeitet. In der Gesetzgebungslogik bleibt sich die EU daher erfreulicherweise treu.

Unannehmbar hohes Risiko

Im Rahmen des risikobasierten Ansatzes wird zunächst ein Verbot in Art. 5 AI Act für bestimmte Einsatzzwecke oder Praktiken mit einem unannehmbar hohen Risiko ausgesprochen. Hierzu zählen unter anderem Social Scoring, Techniken zur unterschwelligen Beeinflussung, Emotionserkennung am Arbeitsplatz sowie die biometrische Echtzeit Fernidentifizierung.

Hohes Risiko

Die nachfolgenden Regelungen (Art. 6ff AI Act) beschäftigen sich mit KI-Systemen, die ein hohes Risiko für die Gesundheit und Sicherheit oder für die Grundrechte darstellen. Solche Systeme können auf dem europäischen Markt zukünftig nur noch zugelassen werden, wenn sie bestimmten, zwingend vorgeschriebenen Anforderungen genügen und eine Konformitätsbewertung durchlaufen. Ein Großteil der KI-Innovationen in der Medizintechnik und der gesamten Gesundheitsbranche wird den Regelungen unterfallen, die für Hochrisiko-KI-Systeme gelten, soweit für das Konformitätsbewertungsverfahren eine Benannte Stelle benötigt wird.

Moderates Risiko

KI-Systeme mit nur moderatem Risiko sind insbesondere Chatbots, Deep Fakes oder Wearable Wellness Tracker. Für diese Systeme gelten geringere Anforderungen. Der Nutzer muss letztendlich wissen, dass er mit einer KI interagiert. Anbieter solcher Systeme sollen aber nach dem Willen des Gesetzgebers dennoch Verhaltenskodizes erstellen und ermutigt werden, die Regelungen für Hochrisiko-KI-Systeme freiwillig anzuwenden.

Niedriges Risiko

Alle anderen Systeme werden mit einem niedrigen Risiko bewertet und es sind lediglich die allgemeinen Anforderungen, z.B. die Schulungspflicht aus Art. 4 AI Act, zu erfüllen. Hierzu zählen beispielsweise Spamfilter oder Übersetzungstools.

KI-Systeme mit allgemeinem Verwendungszweck

Auf der Zielgeraden im Gesetzgebungsprozess wurde durch den Hype um KI-Modelle mit allgemeinem Verwendungszweck (General Purpose AI-Modelle – GPAI) viel diskutiert. Dabei geht es unter anderem um die Entwicklungen von GPT-4, KI-Systemen zur Diagnoseverbesserung im Gesundheitswesen oder neue personalisierte Medizin. Diese KI-Systeme mit allgemeinem Verwendungszweck haben nunmehr im AI Act ein eigenes Kapitel (Art. 51-55) und mehrere Anhänge erhalten. GPAI-Modelle sind KI-Systeme, die auf einer breiten Datenbasis trainiert wurden, auf eine allgemeine Ausgabe ausgerichtet sind und an unterschiedliche Aufgaben angepasst werden können. Diese Modelle können in eine große Zahl anderer KI-Systeme integriert werden. Daher müssen sowohl Anbieter, die GPAI entwickeln als auch diejenigen, die sie in ihre Systeme integrieren, die Vorgaben des AI Acts einhalten.

Grundsätzlich müssen Anbieter von GPAI eine detaillierte technische Dokumentation erstellen und diese nicht nur der zuständigen Behörde auf Anfrage vorlegen, sondern auch den nachgelagerten Systemanbietern die notwendigen Informationen offenlegen. Soweit von den GPAI-Modellen systemische Risiken ausgehen, müssen die Anbieter unter anderem die Cybersicherheit gewährleisten, Angriffstests durchführen und schwerwiegende Vorfälle dokumentieren und melden.

Klassifizierung von KI-Systemen im Gesundheitswesen

Ob ein KI-System als Hochrisiko-KI-System einzustufen ist, bestimmt sich nach Art. 6 AI Act in Verbindung mit Anhang I oder III. Danach sind Medizinprodukte als Hochrisiko-KI-System einzuordnen, wenn sie einer Konformitätsbewertung durch Dritte unterzogen werden.

Dies bedeutet, dass wenn nach den Vorschriften der MDR für das Konformitätsbewertungsverfahren eine Benannte Stelle benötigt wird, ein verwendetes KI-System automatisch als Hochrisiko-KI-System nach AI Act eingestuft wird. Ausgenommen sind lediglich Medizinprodukte, die in Klasse I (nach MDR) eingeordnet werden. Nach Art. 6 Abs. 1 AI Act gilt dies für KI-Systeme, die selbst als Produkt gelten, als auch für solche, die als Sicherheitskomponente eines Medizinprodukts eingesetzt werden.

Compliance-Pflichten bei Hochrisiko-KI-Systemen und Sanktionen

Auf den ersten Blick enthält der AI Act einen umfangreichen Pflichtenkatalog für Anbieter und Betreiber von Hochrisiko-KI-Systemen. Unternehmen, die bislang nicht mit regulatorischen Anforderungen vertraut sind, dürften daher erhebliche Schwierigkeiten haben, die Compliance-Pflichten umzusetzen. Die Unternehmen, die bereits in den vergangenen Jahren die Anforderungen der MDR/IVDR umsetzen mussten, sind insoweit sturmerprobt und haben bei der Umsetzung der Pflichten im Zusammenhang mit dem AI Act einige Vorteile. Nichtsdestotrotz bleibt einiges zu tun.

Bevor ein Hochrisiko-KI-System in Verkehr gebracht wird, müssen die meisten der nachstehend aufgelisteten Anforderungen erfüllt werden. Anbieter müssen unter anderem

• ein Risikomanagementsystem einrichten
• die Daten-Governance einhalten
• eine technische Dokumentation erstellen
• es ermöglichen, dass Ereignisse automatisch aufgezeichnet werden
• die Transparenzanforderungen erfüllen und in diesem Zusammenhang auch eine Gebrauchsanweisung erstellen
• eine wirksame menschliche Aufsicht ermöglichen
• eine angemessene Cybersicherheit gewährleisten,
• über ein Qualitätsmanagementsystem verfügen
• sicherstellen, dass das KI-System einem Konformitätsbewertungsverfahren unterzogen wird und eine EU-Konformitätserklärung ausstellen sowie die CE-Kennzeichnung anbringen und
• die Registrierungspflichten erfüllen.

Nach der Markteinführung müssen die Anbieter

• gegebenenfalls erforderliche Korrekturmaßnahmen ergreifen
• auf Anfrage der Aufsichtsbehörde nachweisen, dass die verpflichtenden Anforderungen erfüllt sind sowie
• ein System zur Beobachtung nach dem Inverkehrbringen einrichten und dokumentieren.

Viele Pflichten sind von den Medtech-Unternehmen bereits im Zusammenhang mit der MDR/IVDR zu erfüllen, so dass hier auf den bestehenden Strukturen aufgebaut werden kann. Beispielsweise können die Anforderungen nach dem AI Act in das Konformitätsbewertungsverfahren nach MDR mit einbezogen werden. Die Benannten Stellen sind in diesem Zusammenhang berechtigt, die Konformität in Bezug auf den AI Act zu kontrollieren, soweit sie selbst die Anforderungen für die notifizierenden Stellen nach AI Act erfüllen.

Für die Einhaltung des AI Acts sind im Wesentlichen die nationalen Aufsichtsbehörden zuständig. Eine Ausnahme bildet hier die GPAI, für die das europäische AI Office zuständig sein wird.

Für Verstöße gegen die Vorschriften des AI Acts können die zuständigen Behörden empfindliche Sanktionen verhängen. Bei Verstößen gegen die dargestellten Pflichten können Anbieter und Betreiber mit Geldbußen von bis zu 15 Mio. Euro oder 3 % des Jahresumsatzes sanktioniert werden.

Inkrafttreten und Übergangsfristen

Bis zum Redaktionsschluss war der AI Act noch nicht im Amtsblatt der Europäischen Union veröffentlicht. Dies dürfte nunmehr der Fall sein; der AI Act tritt sodann zwanzig Tage nach der Veröffentlichung in Kraft. Die Vorschriften für verbotene KI finden sodann als erstes Anwendung, nämlich sechs Monate nach dem Inkrafttreten. KI-Systeme mit allgemeinem Verwendungszweck müssen dann nach zwölf Monaten den Regeln des AI Acts entsprechen. Für Hochrisiko-KI-Systeme nach Anhang III (somit nicht für Medizinprodukte) gilt eine Übergangsfrist von 24 Monaten. Da KI-Systeme als Medizinprodukte oder Komponenten von Medizinprodukten unter Anhang I fallen, gilt hier die Übergangsfrist von 36 Monaten.

Fazit und Ausblick

In naher Zukunft wird kaum ein Unternehmen mehr an den Regelungen des AI Acts vorbeikommen. KI entwickelt sich mehr und mehr zu einem integralen Bestandteil, nicht nur im Gesundheitswesen, sondern auch in allen anderen Bereichen. Es bleibt abzuwarten, ob der AI Act den Anforderungen in den kommenden Jahren gerecht wird und die neue „digitale Spezies“ regulieren kann. Viele Fragen sind noch offen und müssen in der Praxis geklärt werden. Gerade im Hinblick auf selbstlernende KI-Systeme stellt sich die Frage, ob die regulatorischen Anforderungen ausreichend sind. Auch Haftungsfragen im Zusammenhang mit KI-Systemen werden noch viel Gesprächsstoff bieten. Hier befindet sich die KI-Haftungsrichtlinie im Entwurfsstadium. Von großer praktischer Bedeutung werden auch die harmonisierten Normen sein, die derzeit von den zuständigen Gremien auf EU-Ebene erarbeitet werden.

Auch wenn die Übergangsfrist von drei Jahren großzügig scheint, bleibt keine Zeit zum Ausruhen. Die nächsten 36 Monate sollten daher gut genutzt werden, um sich mit den KI-Anforderungen auseinanderzusetzen und im globalen Wettbewerb bestehen zu können.