Michael Kolain ist Rechtswissenschaftler und Autor. Er arbeitet als Koordinator des Programmbereichs „Digitalisierung“ am Deutschen Forschungsinstitut für öffentliche Verwaltung. Gemeinsam mit Prof. Dr. Mario Martini und Jan Mysegades hat er 2017 das Buch „Blackbox Algorithmus – Grundlagen einer Regulierung Künstlicher Intelligenz“ vorgelegt.
Dass staatliche Behörden einen strengen Blick auf Arzneimittel und Medizinprodukte werfen, bevor sie massenhaft auf den europäischen Markt gelangen, ist eindeutig geregelt. BioNTech oder AstraZeneca haben aufwändige Zulassungsverfahren durchlaufen, bevor sie zur Pandemiebekämpfung zum Einsatz kamen. Der Sinn leuchtet leicht ein: Die Verbraucherinnen und Verbraucher sollen von dem Risiko verschont bleiben, dass unausgereifte oder gefährliche Produkte in Umlauf geraten und Schäden anrichten.
Als Gemeinwesen trauen wir Arzneimittelherstellern nicht zu, in eigener Verantwortung zu entscheiden, ob ein Medikament wirksam ist und nur geringe Nebenwirkungen auslöst. Die EU setzt bei solchen Produkten auf Vorsorge: Der Gesetzgeber zwingt Unternehmen, gegenüber staatlichen Behörden nachzuweisen, dass die Chancen ihrer Anwendungen die Risiken überwiegen. Der Staat vertraut gerade nicht auf eine Nachsorge, in der allein regulatorische Anreizstrukturen wie hohe Bußgelder oder Schadensersatzansprüche und die experimentellen Kräfte des Markts dafür sorgen, dass Produkte ein ausreichend hohes Maß an Qualität, Sicherheit und Rechtskonformität aufweisen. Vergleichbare Zulassungsverfahren kennen wir auch aus dem Bereich chemischer Stoffe, Lebensmittel oder bei Kraftfahrzeugen.
Was uns bei Schmerztabletten oder Autos im Hinblick auf gesundheitliche Gefahren als völlig normal erscheint, handhaben wir bei IT-Produkten anders. Obwohl die Ausnutzung von Sicherheitslücken in Smartphones, Betriebssystemen oder Smart-Home-Geräten tiefe und strukturelle Einblicke in das Privatleben großer Teile der Bevölkerung ermöglicht, müssen Amazon Echo, Android oder ein neues Xiaomi-Phone keinerlei Zulassungsverfahren durchlaufen, bei dem der Schutz der Privatsphäre eine Rolle spielt. Bislang beschränkt sich etwa die CE-Kennzeichnung für Smartphones auf die Netzspannung oder die elektromagnetische Verträglichkeit. Solche Mindeststandards umfassen jedoch nur Aspekte, die dem Schutz der Gesundheit und Sicherheit der Nutzer dienen, nicht aber deren informationeller Selbstbestimmung.
Für das Gros aller Soft- und Hardware gilt stattdessen das Prinzip: Für einen Marktzutritt genügt, dass der Hersteller sein Produkt selbst als rechtskonform einstuft. Eine Vorabprüfung findet nicht statt. Die Datenschutzgrundverordnung (DSGVO) verpflichtet die Verantwortlichen zwar dazu, in eigener Verantwortung eine Datenschutz-Folgenabschätzung vorzunehmen, wenn von ihrem Datenverarbeitungsprozess „ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen“ ausgeht. Das Ergebnis der Selbstüberprüfung müssen die Verantwortlichen aber nicht veröffentlichen und nur dann einer Aufsichtsbehörde vorlegen, wenn sie das hohe Risiko nicht technisch-organisatorisch beseitigt bekommen. Wer also behauptet, dass ein Produkt etwa Datenschutzstandards wahrt und keine Gefahr für die Privatsphäre oder die Gleichbehandlung begründet, darf es unter die Leute bringen.
Plakativ gesagt: Die rechtlichen Unterschiede zwischen Medizinprodukten und IT-Geräten führen aktuell dazu, dass es einerseits monatelang dauert, bis Covid-Schnelltests ein staatliches Zulassungsverfahren durchlaufen haben, während andererseits Smart-Home-Geräte ohne Datenschutz-Check auf den Markt kommen und unsere Privatsphäre munter ausleuchten.
Eine Gesetzesreform hat die EU jüngst für hochriskante lernfähige Systeme („high-risk AI systems“) angekündigt. In ihrem aktuellen Verordnungsentwurf sieht die EU-Kommission ein abgestuftes Zulassungssystem für Hochrisiko-Anwendungen vor: So sollen künftig Systeme der biometrischen Gesichtserkennung im öffentlichen Raum genehmigungsbedürftig sein. Andere Anwendungen müssen eine Konformitätsprüfung durchlaufen, an der auch eine unabhängige, staatlich bestimmte Stelle zu beteiligen ist.
Der Anwendungsbereich der Verordnung ist aber von vornherein doppelt beschränkt: Sie gilt nur für KI-Systeme und nur dann, wenn ein hohes Risiko vorliegt. Rechtlich zu bestimmen sind beide Voraussetzungen auf der Grundlage ausdifferenzierter Vorschriften und einer erweiterbaren Liste im Annex des Entwurfs.
Aus Sicht des digitalen Verbraucherschutzes kann man nun fragen: Warum führt die EU eine Zulassung für KI ein, verzichtet aber auch weiterhin auf vergleichbare Vorgaben für Smartphones oder Amazon Echo? Immerhin vertraut die Bevölkerung ihren Smartphones mittlerweile fast ihr gesamtes Leben an, lauscht Alexa intimen Gesprächen und verursachen Schwachstellen gängiger Betriebssysteme enorme Streuschäden.
Der lange Weg bis zum Zulassungsverfahren für Arzneimittel
Dass die demokratische Rechtsordnung stets ein paar Jahrzehnte und einige handfeste Skandale braucht, bevor sie Zulassungsverfahren für neue Technologien aus der Taufe hebt, zeigt ein Blick in die Geschichte des Arzneimittelrechts.
Als 1885 der erste Impfstoff gegen Tollwut zum Einsatz kommt, gibt es lange noch keine Arzneimittelbehörden, die dazu ihr Plazet geben müssten. Als Paul Ehrlich 1910 seine „Verbindung 606“ gegen Syphilis unter die Leute bringt, braucht er keine staatliche Zulassung. Auch nach dem Ersten Weltkrieg, als die industrielle Produktion von Arzneimitteln immer weiter zunimmt, ist keine staatliche Regulierung in Sicht. So kann ab 1923 Insulin ohne behördliche Hürden Menschen, die an Diabetes erkrankt sind, das Leben retten. Das Vertrauen in die pharmazeutische Industrie nimmt mit der Zeit zu: Immer mehr Menschen nehmen Abstand von rein pflanzlichen Wirkstoffen und präventiven Hygienemaßnahmen. Die Bevölkerung ist begeistert von den neuen Heilmethoden, die für sie an Wunder grenzen. Die Lebenserwartung der Bevölkerung steigt drastisch. An Regulierung der Pharmaindustrie denken nur wenige.
Erst 1961 beginnt die Bundesrepublik damit, Pharmakonzernen ein wenig auf die Finger zu schauen: Sie schafft das Bundesgesundheitsministerium und erlässt das erste Arzneimittelgesetz. Zunächst beschränkt sich der Gesetzgeber mit einer Registrierungs- und Kennzeichnungspflicht darauf, einen Überblick über alle Arzneimittel zu bekommen und ein Minimum an Verbraucherinformation zu gewährleisten. Jedes Unternehmen kann seine experimentell mehr oder weniger erprobten neuen Stoffe auf den Markt bringen: Gegenüber einer staatlichen Stelle müssen sie nicht nachweisen, dass die Chancen des Medikaments die Risiken überwiegen. Stattdessen vertraut die Gesellschaft auf die medizinischen und pharmazeutischen Berufe und deren Berufsethos.
Die große Wende hin zu den gesetzlichen Vorgaben, die bis heute gelten, löst erst der Contergan-Skandal ab 1961 aus. Bis der Gesetzgeber auf diesen Skandal reagierte, dauerte es aber: Erst 1976 verschärft er seine Gesetze – unter maßgeblichem Einfluss einer europäischen Richtlinie. Seitdem gilt der Grundsatz, dass ohne staatliche Zulassung kein neues Medikament auf den Markt kommen darf. Das Arzneimittelrecht entwickelt in der Folge ausdifferenzierte Rechtsbegriffe und Verfahrensschritte, um das Risiko neuer Medikamente passgenau zu regulieren. So ist es mittlerweile etwa klar geregelt, dass traditionelle pflanzliche Arzneimittel keiner vorherigen Zulassung bedürfen: Sie sind lediglich bei einer staatlichen Stelle zu registrieren, bevor sie auf den Markt kommen.
Entsteht durch die neue Regulierung für Hochrisiko-KI nun etwas Vergleichbares wie damals?
Begeisterung, Ernüchterung und tiefe Skepsis bei Soft- und Hardware
Zeitsprung in die digitalisierte Gesellschaft: Inmitten der Begeisterung über nützliche Apps auf Geräten in der Hosentasche, mit denen man ohne Mühe Bilder verschicken oder Musik hören kann, trüben zahlreiche Datenlecks und Überwachungsskandale die überschwängliche Stimmung. Die Bevölkerung reibt sich verwundert die Augen, als sie erfährt, dass die NSA das Handy der Bundeskanzlerin abhört. Als Edward Snowden offenlegt, wie tief die Überwachung im Verborgenen funktioniert, geht ein Aufschrei um die Welt. Viele können es kaum glauben, dass sich Webcams, Smartphones und vernetzte Geräte in wenigen Klicks anzapfen lassen.
Spätestens als herauskommt, dass große Datenreservoirs von Facebook und Co. an Unternehmen wie Cambridge Analytica abfließen und sich dadurch ganze Wahlen beeinflussen lassen, lässt sich nicht mehr abstreiten, dass der Überwachungskapitalismus ein Ausmaß angenommen hat, das einzelne Staaten nur noch schwerlich beherrschen können.
Als Beobachter fragt man sich: Was muss noch passieren, damit die Gesellschaft einen der wiederkehrenden Skandale zum Anlass nimmt, um schärfere Regeln zu fordern? Wann ist der Punkt erreicht, an dem ein „Contergan-Skandal der IT-Regulierung“ für ein rechtspolitisches Umdenken sorgt?
Skepsis vor IT-bezogenen Zulassungsverfahren
Der Ausflug in die Rechtsgeschichte zeigt: Während es im Arzneimittelrecht seit 1976 eng gestrickte Marktzulassungsschranken für Produkte und eine strenge Marktaufsicht gibt, blieb der Bereich der IT-Geräte – außerhalb der Medizinprodukte – weitgehend frei von staatlichen Vorabkontrollen, die auch einen Blick auf Risiken für die Privatsphäre in den Blick nehmen. Warum aber ist das so?
Im Wesentlichen lässt sich die stark ausdifferenzierte rechtliche Diskussion um Zulassungsverfahren auf drei Argumente herunterbrechen: Staatliche Zulassungsverfahren sind in der Regel nur bei Gesundheitsgefahren angemessen. Bürokratische Prozesse wie eine Vorabkontrolle bremsen Innovation aus und kanalisieren den Wettbewerb zu stark. Bei dynamischen Produkten wie Software erscheint es zudem kaum sinnvoll, sie vor der Marktzulassung einem Verfahren auszusetzen, das traditionell auf statische Objekte wie Rezepturen oder Baupläne zugeschnitten ist.
Zulassungsverfahren nur bei unmittelbaren Gefahren für die Gesundheit?
Der Hauptgrund dafür, dass die Rechtsordnung Amazon Echo bislang anders behandelt als ein Arzneimittel, einen chemischen Stoff oder ein neuartiges Lebensmittel lässt sich drastisch wie folgt ausdrücken: Contergan, verdorbene Nahrung und giftige Chemikalien führen im schlimmsten Fall zum Tod – ein Spion im Haushalt oder auf dem Smartphone führt hingegen „nur“ zur Preisgabe privater Informationen an wirtschaftliche oder staatliche Akteure. Auch der zu erwartende Schaden ist geringer als bei körperlichen Beeinträchtigungen. Die mittelbaren Folgen eines Hacks, etwa finanzielle Schäden durch gestohlene Kreditkarten, sind in einem Rechtsstaat ebenfalls überschaubar.
Der Grundsatz lautet also: Wenn ein Produkt nicht unmittelbar die menschliche Gesundheit gefährdet, genügt es, rechtliche Vorgaben für ein Produkt zu machen und deren Nichteinhaltung zu sanktionieren. Ein umfangreiches Zulassungsverfahren ginge zu weit, griffe insbesondere zu weit in die unternehmerische Freiheit der Hersteller ein.
Im Bereich des Persönlichkeitsschutzes setzt die Rechtsordnung deshalb in erster Linie auf das Datenschutzrecht. Es schreibt vor, wie verantwortliche Stellen mit personenbezogenen Daten umzugehen haben. Als Teil ihrer 99 Artikel kennt die DSGVO auch die Möglichkeit für Zertifizierungen (Art. 42) und ermöglicht Behörden eine nachträgliche Kontrolle und Marktaufsicht (Art. 57, 58).
Demgegenüber ist bis heute nicht einmal das Recht der Medizinprodukte mit seinen weitreichenden Zulassungsverfahren systematisch darauf angelegt, die Produkte auf Mängel in puncto Datenschutz und IT-Sicherheit zu überprüfen. Der Fokus liegt auf möglichen Gefahren für die Sicherheit und Gesundheit der Nutzer (Produktsicherheit). Der Gesetzgeber operiert stattdessen immer noch mit typischen Gefahren für die Gesundheit durch analoge Medizinprodukte wie Knieprothesen, Röntgengeräte oder ein Dauer-EKG und weniger mit strukturellen datenschutzrechtlichen Risiken etwa durch vernetzte Pflegeroboter oder Hirn-Computer-Schnittstellen. Während sich immer mehr Medizinprodukte mit nennenswerter Softwarekomponente auf dem Markt etablieren, sucht man auch dort nach neuen Wegen.
Doch die Grundfrage bleibt: Können es ein strukturelles Risiko für die Privatsphäre weiter Teile der Bevölkerung und die inhärenten Gefahren für die informationelle Selbstbestimmung rechtfertigen, beispielsweise Betriebssysteme, smarte Haushaltsgeräte oder IoT-Geräte vor ihrem Marktzutritt näher unter die Lupe zu nehmen? Privatsphäre ist schließlich keine Lappalie, sondern die Grundlage einer freiheitlich-partizipativen Gesellschaft. Wer das wirtschaftliche und private Leben weiter Teile der Bevölkerung ausleuchten, algorithmisch analysieren und für intransparente Zwecke nutzen kann, rührt an den Grundlagen einer Demokratie. Dennoch glauben wir oftmals den Statements der Unternehmen, dass sie die Privatsphäre der Nutzer schon ernst nehmen – etwa bei SmartTVs oder SmartToys.
Sowohl zu der Vision „digitaler Souveränität“ der EU als auch zu dem Ziel eines hohen Vertrauens der Verbraucher in IT-Geräte würde es aber auch passen, wenn eine unabhängige Stelle die Produkte aus Sicht des Datenschutzes und der Datensicherheit auf Herz und Nieren prüft.
Klar, eine umfassende Aufzeichnung personenbezogener Daten verstößt in vielen Fällen gegen geltendes Datenschutzrecht und kann durch die Datenschutzbeauftragten sanktioniert werden. Gleichzeitig endet die Kontrolle der Aufsichtsbehörden faktisch dort, wo sie keinen Einblick in die Soft- und Hardware proprietärer Systeme hat. Datenschutzverstöße können sie dann nicht gleichsam an der Quelle aufdecken. Sie können allenfalls technische Tests der Geräte im Betriebsmodus durchführen, um die Funktionalität besser zu verstehen – gegen kaschierende Gegenstrategien sind sie aber nicht gewappnet. Dass an gezielter Vertuschung aber ein Geschäftsinteresse bestehen kann, wissen wir nicht erst seit der Softwaremanipulation bei Dieselfahrzeugen von Volkswagen.
Gut kaschierte und strukturelle Grundrechtsgefährdungen bleiben so unentdeckt – es sei denn, Whistleblower bringen sie ans Tageslicht.
Die EU geht mit ihrer Regulierung von Hochrisiko-KI jedenfalls einen Schritt nach vorne und konkretisiert die Rahmenbedingungen für eine gesellschaftliche Kontrolle von Software.
Gesellschaftliche Kontrollen als Innovationskiller?
Als zweites Argument gegen eine Marktzulassung für Smartphones, Betriebssysteme oder auch KI-Anwendungen lässt sich folgendes Mantra in Stellung bringen: Erstens, eine (zu frühe) Regulierung könne technische Innovationen im Keim ersticken und lähme den Wettbewerb; Zulassungsverfahren mit Konformitätsprüfung seien, zweitens, eine unzumutbare bürokratische Bürde für IT-Hersteller; drittens griffe eine Vorabkontrolle zu tief in Geschäftsgeheimnisse der Hersteller ein.
Der generellen Warnung vor präventiven Verfahren der Marktzulassung lässt sich aber die Frage entgegenhalten: Wo sind denn etwa im Bereich der Arzneimittel die Anzeichen dafür, dass die Zulassungsverfahren der Pharmaindustrie seit 1976 die Luft zum Atmen nach Innovation genommen hat? Auch im Straßenverkehr käme man kaum auf die Idee zu behaupten, dass die Arbeit des TÜV marktwirtschaftliche Experimente im Keim erstickt.
Auch die Bedenken, dass das Know-how eines IT-Unternehmens bei den Zulassungsbehörden nicht sicher sei, bestehen den Praxistest kaum: Bislang waren es eher Datenskandale und illegitime Praktiken der Digitalunternehmen, die in der Kritik stehen, und weniger ein Mangel an Vertraulichkeit in Behörden im Umgang mit Prüfunterlagen. So lästig es aus Sicht einer Produktentwicklerin auch sein mag, sich mit juristischen Vorgaben herumzuärgern: Mit unsicherer oder auf Überwachung getrimmter Hard- und Software ist in der Vergangenheit bereits so viel schiefgelaufen und verbinden sich so strukturelle Risiken, dass die Gesellschaft auf eine effektive Kontrolle nicht (mehr) verzichten sollte.
Keine bürokratischen Ketten
Ist eine passgenaue Regulierung nicht vielmehr sogar eine Chance für die EU, den Rest der Welt mit IT-Systemen zu versorgen, die den Anforderungen an „Privacy by Design“ genügen und die Privatsphäre bestmöglich abschirmen? Dem Brussels Effect wird ja bereits bei der DSGVO nachgesagt, als anthropogene Regulierung neuer Technologien eine weltweite Ausstrahlungswirkung zu entfalten.
Uferlos dürfen Zulassungsverfahren zugleich nicht geraten. So wenig wie ein Kettcar eine Zulassung für den Straßenverkehr und ein Salbei-Bonbon als Medikament benötigt, sollte nicht jede App und jeder Telemediendienst künftig ein Zulassungsverfahren durchlaufen müssen. Der Gesetzgeber sollte sie allenfalls sorgfältig und inhaltlich begrenzt einführen. Denn eine allgemeine Marktzulassung kann auch zu einem eklatanten Vollzugsdefizit aufgrund wenig kompetenter Regulierungsbehörden führen. Der Weg der EU-Kommission, sich schrittweise auf das Terrain – angefangen bei Hochrisiko-KI – zu begeben und die institutionelle Einbettung solcher Verfahren mitzudenken, ist insofern nachvollziehbar.
Statt auf einzelne Technologien wie die KI zu schauen, ergibt es aber Sinn, dass der Gesetzgeber IT-Geräte abhängig von ihrem Risiko für die Privatsphäre allgemein reguliert. Der Weg einer experimentellen Innovationsentwicklung am Markt gehört nicht in bürokratische Ketten, bedarf aber der gesellschaftlichen Kontrolle. Nur besonders riskante und strukturell gefährdende IT-Bestandteile wie Smart-Home-Geräte, Smartphones oder Betriebssysteme brauchen dann eine Genehmigung vor Marktzutritt. Für andere reicht eine Registrierung oder eine zu veröffentlichende Datenschutz-Folgenabschätzung. Wenig riskanten Anwendungen kann man es auch getrost selbst überlassen, ob sie ihre Qualität durch ein freiwilliges Datenschutz-Siegel nachweisen möchten.
Statische oder dynamische Zulassungsverfahren
Der dritte Punkt, der gegen eine Zulassung bestimmter Soft- und Hardwareprodukten in der EU angeführt wird: Innovative IT-Produkte ließen sich kaum so statisch zulassen wie ein Medikament. Denn gerade lernfähige Software entwickele sich beständig weiter, etwa durch Updates. Demgegenüber sind die tradierten Zulassungsverfahren vor allem auf Dinge wie eine Rezeptur eines Arzneimittels oder eine bestimmte Bauart eines Produkts zugeschnitten. Legte man bei Software ähnliche Maßstäbe an, würde sie schon nach dem ersten Sicherheitsupdate eine vollständige Neuzulassung brauchen. Daraus ließe sich der Schluss ziehen, dass staatliche Zulassungsverfahren nur dann Sinn machen, wenn die Produkte statischen Vorgaben folgen.
Man kann den Befund aber genauso gut umdrehen: Wie würde denn ein dynamisches Zulassungsregime aussehen, das auf IT-Produkte zugeschnitten ist und für den Hersteller dennoch einen verhältnismäßigen Aufwand verursacht? Zuzulassen wären dann in erster Linie die Grundkomponenten des Systems. Kleinere Anpassungen wären zulässig, etwa reine Sicherheitsupdates. Wesentliche Änderungen müssten die Hersteller der Aufsichtsbehörde anzeigen und begründen. Nur ein völliger Relaunch der Software müsste das vollständige Zulassungsverfahren erneut durchlaufen. Sollte sich herausstellen, dass ein Gerät eine Sicherheitslücke enthält, die eine nicht nachvollziehbare Verarbeitung personenbezogener Daten ermöglicht, verliert das Produkt seine Zulassung. Hinzu kommen gegebenenfalls Bußgelder und Schadenersatzansprüche.
Dass dynamische Zulassungsregime auch in den klassischen Bereichen hilfreich sein können, zeigt sich derzeit in der Pandemie: Ergibt es wirklich Sinn, dass BioNTech oder Moderna den gesamten Zulassungsprozess vollständig neu durchlaufen müssen, wenn ihre Impfstoffe im Hinblick auf neu auftretende Mutanten nur einer geringfügigen Modifikation bedürfen?
Der schwere Spagat zwischen Vertrauen und Sicherheit
Nach all den Datenskandalen und Sicherheitslücken der letzten Jahre sprechen gesellschaftspolitisch viele Argumente dafür, Zulassungsverfahren für Betriebssysteme, Smartphones und Smart-Home-Geräte einzuführen. Zugleich sind die rechtlichen Details und Rahmenbedingungen alles andere als geklärt. Doch nicht anders war es bis zuletzt im Bereich der Künstlichen Intelligenz: Auf der Grundlage erster Vorschläge aus der Wissenschaft und einzelner Regierungen hat die EU-Kommission einen konkreten Vorschlag vorgelegt. Dessen Details, Regulierungsansätze und Grundentscheidungen werden jetzt den Prozess einer intensiven digitalpolitischen Debatte durchlaufen. Mit offenem Ausgang.
In der Corona-Pandemie erlebt die Gesellschaft, dass etablierte Zulassungsverfahren sehr viel Zeit und Geld kosten. Impfstoffe und Schnelltests stehen erst im Anschluss an das staatliche Plazet zur Verfügung. Dass staatliche Kontrolle den technischen Fortschritt und die Verfügbarkeit innovativer Produkte einschränkt, ist bei medizinischen Produkten weitgehend Konsens.
Dass das nicht immer so war, zeigt der Blick in die Geschichte des Arzneimittelrechts. Wird es eines Tages so sein, dass Smartphone-Fans nach der Präsentation durch Tim Cook ungeduldig auf die Marktzulassung des neuen iPhones durch eine Behörde warten müssen, bevor sie sich in die Schlangen vor den Läden einreihen?
Tritt man nochmal einen Schritt zurück, öffnet der Vergleich zwischen IT-Regulierung und Arzneimittelrecht Raum für eine grundsätzliche Frage: Wollen wir in Europa neue Technologien stärker oder schwächer regulieren?
Den skizzierten Befund, dass Smartphones derzeit kein Zulassungsverfahren durchlaufen, medizinische Schnelltests ohne direkte Gesundheitsgefahr aber schon, ließe sich immerhin auch in die andere Richtung interpretieren. Die Zurückhaltung der EU bei der Zulassung von IT-Produkten könnte man ebenso gut begrüßen und sie zum Anlass nehmen, in anderen Bereichen nach einer Reduktion engmaschiger staatlicher Kontrolle über potentiell riskante Produkte zu rufen.
Der Vorschlag der EU zur KI-Regulierung eröffnet nun Raum für eine kontroverse Auseinandersetzung über das richtige Maß zwischen ungebändigter Innovation, Vertrauen in Technik und gesellschaftlicher Kontrolle. Wie sollte der Gesetzgeber künftig mit digitalen Technologien umgehen, die für eine individuelle und kollektive Überwachung und intensive Eingriffe in die Privatsphäre geeignet sind? Der demokratische Prozess wird zeigen, ob es gelingt, klare Kriterien zu definieren, nach denen wir das Risiko neuer Technologien bemessen. Als Gesellschaft stehen wir dabei weiterhin vor der großen Frage der Technikphilosophie, ob „der Unheilsprophezeihung mehr Gehör zu geben ist als der Heilsprophezeihung“ (Hans Jonas). Vorsorge oder Nachsorge, das ist hier die Frage.
Es gibt einen gewaltigen Unterschied zwischen einem Impfstoff und einer „App“. Während der Impfstoff auf Nebenwirkungen und Wirksamkeit gut untersucht werden kann ist das bei einer Software und besonders bei KI nur zu einem gewissen Teil möglich. Tatsächlich, man könnte für Schnüffel-Libs von Facebook auf Smartphones Facebook zur Verantwortung ziehen. Tut man aber nicht sondern redet über KI.
Bedenkt man aber, dass ein falscher oder unerwünschter Lerndatensatz nicht aus einer KI entfernt werden kann (ohne die Lernprozedur ohne diesen Datensatz zu wiederholen – gehe zurück auf Los, ziehe keine …), so wird klar, dass ein sich laufend veränderndes lernendes System nicht wie ein normales Produkt geprüft werden kann.
Was möglich ist, ist nur die Geschäftsvorgänge des Betreibers zu beurteilen. Welche Daten werden erhoben, wie miteinander verwoben und an wen werden sie weitergegeben? Da sich dies zu jeder Zeit ändern kann braucht es eine Verpflichtung und klare Haftung des Herstellers. Zieht den „Verbrecher“ zur Verantwortung und nicht den Boten und schon gar nicht das Tatwerkzeug.
KI, Internet oder Software allgemein regulieren zu wollen ist eine dumme (weil vollkommen unrealistische) Idee. Wer so etwas tun will, der kennt sich vielleicht nicht so gut mit der Materie aus oder er hat einfach ganz andere Interessen. Interessen wie nicht haften zu wollen, weil das war „ein Softwarefehler, da kann man nix machen“ (frei nach Fefe). Es kommen noch dutzende andere Interessen hinzu, von der die KI-Diskussion einfach ablenken soll. Es ist all zu oft nichts als ein mieses Spiel von Wirtschaft und Kommission/Politik (ja, Vorsicht! Nicht zu sehr verallgemeinern! Informiere dich bitte selbst!)
So, und von der Idee freier Software fange ich nun erst gar nicht an. Das könnte Einige doch sehr verunsichern.
Äh, und eine Datenschutzprüfung für IOT-Sachen oder was nicht alles, ist total nicht regulierbar?
Da gibt es schon Unterschiede, aber die Gemeinsamkeit ist schon da, dass das Zeug Schaden anrichten kann, und man da mal was machen könnte.
Mein erster Gedanke war auch „Totzertifizieren“, so dass kleine Entwickler nichts mehr machen können. Mein zweiter Gedanke war allerdings, warum man nicht eigentlich jegliche Großproduktion, OEM eingeschlossen, stärker reguliert. Mehr Verantwortung, Nachhaltigkeit, Benutzbarkeit, Datenschutz und Sicherheit, etc. Nicht irgendwie wahlkampfmehr, aber da ginge schon etwas.
Ansonsten, KI: hammwanich. Die Systeme benutzen i.d.R. Machinelearning, und ein neu trainiertes Netz kann durchaus per Update kommen – was allerdings bei wenigen Änderungen teuer werden könnte, andererseits wäre ein „akzeptables Wartungsinterval“ für ein Aufwändiges System vielleicht auch im Bereich des Andenkbaren. Lernfähige Systeme müssten zum Teil zurückgesetzt werden, und das ist auch der Sinn solcher Regulation – Beispiel: ihr kippt Müll in den Fluss, ihr werdet zurückgesetzt, d.h. ihr werdet euch anpassen, hoffentlich sinnvoll. Lernfähige System sind oft Teile von größeren Systemen, und müssen ohnehin so gebaut sein, dass eine Konfugurationsänderung nicht zu teuer wird, sonst vergiss einfach den Hersteller. Regulieren kann man bei kritischen Systemen, aber bzgl Schadpotential sicherlich irgendwie, z.B. bzgl. Nachvollziehbarkeit. Ein Mensch der wegen eines bestimmten „Zuckens“ der KI immer schlecht einsortiert wird, hat ein reales Problem, und das gehört natürlich dann auch sanktioniert und abgestellt.
Lustiges Beispiel auch die Dame die einen Haftbefehl wegen (vermeintlicher) Nichtrückgabe einer VHS-Kassette o.ä. seit Jahrzehnten anhängen hatte. Da war wohl wenig viel KI dabei, aber soetwas wird nicht besser werden. Will man Prüfung schwer machen, kann man Systeme beliebig kompliziert bauen, noch eine KI hier und eine da, und keiner kann sagen, was oder ob (von außen). Reguliert man Nachvollziehbarkeit sinnvoll, und hat sogar Fachpersonal zur Beurteilung (hihi), dann kann man da etwas machen.
Facebook … ja, auch Cookies. Statt Tracking und Schadwirkung allgemein anzugehen, bekommen wir mehr Dark Patterns vorgesetzt (Cookiedialoge), und nerviges Clickwegzeugs, sowie Sand in die Augen. Die Großen können längst anders, und wir werden vor den kleineren Kackbuden geschützt, was bzgl. der Trackinggemeinheiten für sich nett ist, aber das Problem verzehnfacht, weil die Kackbuden jetzt alle bei Google und Facebook kaufen (~+-).
Nichtmal Steuerfragen einfacher Natur (wollen wir definitiv Böse fangen?) werden angegangen, wo der Maßstab groß und der Zugriff eigentlich elegant und unschwer machbar wäre. Insofern bin ich nicht sicher, wo dieser Zug überhaupt entlangfahren soll, würde er denn anfahren…
– Gesetzgebung und Gesetzgebungsprozesse
– Firmenkonstrukte (speziell bei Steuer- und Finanzumschichtungen)
– Datenverarbeitung
Zwang zur Einfachheit anyone? Verbot der Verschleierung? Wer will das nachher warten?
Ein sehr interessanter Beitrag – insbesondere die Analogie zu Arzneimitteln ist gelungen.
Weitestgehend kann ich mich der Meinung und den Argumenten anschließen, jedoch mit 3 Ausnahmen:
Wir Innovation durch Regulierung gehemmt?
Gerade für die genannten Bereiche (Automobil- und Pharmaindustrie) lassen sich durchaus Beispiele finden:
Die Forschung und Einsatz von autonomen Fahren zum Beispiel findet aus regulatorischen Gründen verstärkt in den USA statt.
Und eine Startup-Kultur wie in der IT ist im Pharmaumfeld wohl wegen dem mit Regulatorien verbundenen erheblichen finanziellen Aufwand nicht denkbar.
Regulatorien sind notwendig, weil Unternehmen aus finanziellen Gründen im Zweifelsfall auf ausgiebige Tests und die damit verbundene Sicherheit verzichten – aber sie haben durchaus eine Auswirkung auf die Innovationskraft der Branche.
Meiner Meinung nach wird die Kritik an einer Zulassungspflicht für Software aus einem anderen Grund entkräftet:
Niedrige Abgaswerte, sichere Medikamente und eben auch DSGVO-konforme Software sind wichtige, aber für den Anwender nicht überprüfbare Features des Produkts.
Gibt es dort keine Zulassung bzw. wird nicht genau genug hingeschaut, dann lässt sich dort sehr einfach sparen (siehe VW Dieselaffäre).
Dynamische Zulassungsverfahren
Ein schwieriges Thema, denn hier bleiben viele Fragen offen. Zunächst muss festgehalten werden dass die überwiegende Mehrheit von Änderungen an einer Software überhaupt keine Auswirkung auf die Verarbeitung personenbezogener Daten haben wird.
Wenn nun wie beschrieben eine Zulassungsstelle in jedem Fall informiert werden muss, zieht sich der normalerweise sehr rasche Auslierungsprozess von z.B. neuen Funktionen in Software deutlich in die Länge.
Dann gibt es da die Anzahl von Änderungen. Insbesondere im Cloud-Umfeld kann sich der dort betriebene Code unzählige Male am Tag ändern. Man denke hier z.B. an das Backend für Netflix oder Amazon Apps – diese verarbeiten große Mengen personenbezogener Daten. Ich halte es für unmöglich, in diesen Prozess eine Zulassungsbehörde zu integrieren.
Zudem gibt es extrem zeitkritische Änderungen, zum Beispiel wenn der Betrieb des Services durch einen Fehler gestört ist.
Eine denkbare Lösung wird zumindest im Bezug auf Sicherheitsupdates angesprochen: Eventuell könnte eine (Teil-) Zulassung nur ausgelöst werden, wenn tatsächlich DSGVO-relevante Bestandteile geändert werden. Selbst hier wird es schwierig sein, solche Änderungen zuverlässig und transparent zu identifizieren.
Was ist zulassungspflichtig?
Im Beitrag ist primär von Appliances die Rede (Hard- und Software im Paket).
Beispiel Smartphone: Dort befindet sich schon zum Auslieferungszeitpunkt Software des Hardwareherstellers, des Betriebssystemherstellers (z.B. Android), des Telekommunikationsanbieters (vorinstallierte Apps) und aus der Open Source Community.
Zudem kommt hinzu, dass die Datenverarbeitung vieler Apps nicht auf dem Gerät sondern in der Cloud stattfindet. Es ist also eigentlich die Software – ALLE Software die zertifiziert werden müsste.
Dort sollte also eine sinnvolle Abgrenzung geschaffen werden.
Man sollte nicht unterschätzen, dass Innovation oftmals von einzelnen, nicht im Konzernsystem integrierten Entwicklern kommt, und dann durch Aufkauf einverleibt wird. Ob nur liquidiert oder benutzt oder verbessert…
Konzerne sind gut darin, Innovation zu ersticken, weil sie ihren Kram ja möglichst weitflächig verklappen wollen, für den allgemeinen Fall. Vielleicht sollte man also als Kriterium eher die Verhinderung von Innovation als Ansatz nehmen, also Vermeidung von Verhinderung. Das Problem-chen ist doch, dass die Politik die Großstrukturen gerne als Horte der Stabilität fördern und nochmal fördern würde – Aktien für Altersvorsorge, eine sichere Einnahmenbasis. Das transformiert sich allerdings schnell zum Bock-Gärtner-Syndrom.
Die Gesetzgeberinnen tun sich sehr schwer darin, allgemeine Prinzipien zu formulieren.
Sonst könnte gedacht werden, dass sehr wohl eine Einordnung der Anwendung in erlaubte Bereiche seitens des Herstellers möglich wäre, wenn man die Bereiche auch stark restrigiert definiert. Der positive Ansatz wäre Zertifizierung bzw. freiwilliges Einhalten ohne Pflicht zur Einordnung. Wohl aber wären die negativen Beispiele Formuliert und legetim durch z.B. Presse einordnebar, wenn der Hersteller es nicht selbst macht (Maulkorbvermeidung). Falsche Einordnung durch Hersteller muss natürlich mehr kosten, bzw. strafbar sein, dazu kommt ein Wiederholungstätermodell mit Konzernstrukturberücksichtigung. Aber wie läuft das in dieser Zeit mit Zertifizierungen noch…
Ich halte immer noch nichts von einer Regulierung in Form eines „TÜV“ einzelner Techniken wie etwa KI oder Smartphones. Jedenfalls nicht als erste Maßnahme.
Wir sind uns hoffentlich einig darin, dass die Datenschnüffelei der Konzerne nicht akzeptabel ist. Dabei ist vollkommen egal, ob die Ausspähung mit einem Smartphone oder einem Kinderspielzeug oder erst noch zu entwickelnden Technologien erfolgt. Es ist alles einfach nicht akzeptabel.
Prüfen wir nur Smartphones so bleiben zunächst alle anderen Techniken unberücksichtigt. Das ist nicht, was wir wollen.
In Folge dessen müssen die Regeln tiefer greifen und aufeinander aufbauen. Grundlage könnte die Datenschutzverordnung sein. Für jeden Hersteller, egal was er produziert, gilt, dass er sich daran halten muss. Er haftet für Verstöße.
Problemfälle wie etwa vernetztes Kinderspielzeug oder Smartphones kann man dann tatsächlich wie oben im Artikel beschrieben darauf hin prüfen, ob die Regeln zum Datenschutz eingehalten werden.
Generell aber ist der Gedanke Software ansich kontrollieren zu wollen falsch. Denn es ist einfach nicht möglich. Zudem steht immer ein Hersteller dahinter, der den Mist baut. Software kann mit jedem Update komplett und undurchschaubar geändert werden. Es lässt sich weder automatisch noch manuell prüfen, was der Hersteller denn nun schon wieder eingebaut hat.
Die einzige Konstante hier sind die Regeln zum Datenschutz. Die müssen eingehalten werden. Verstöße müssen massiv sanktioniert werden. Natürlich müssen Sicherheitsexperten prüfen, ob der Hersteller sich an Datenschutz hält. Natürlich wird es Sicherheitsexperten für Smartphones geben. Nur haben diese abgeleiteten Regeln der Experten wenig mit dem Gesetzgeber zu tun – außer natürlich dass die Experten sich auch daran halten müssen. Der Gesetzgeber und die Meisten verfügen gar nicht über das Expertenwissen.
Es gibt hier eine klare Vorgabe in dieser sich technisch schnell wandelnden Zeit: Systeme (hier die Regeln zum Datenschutz) müssen „skalieren“. Sie müssen sich automatisch den Gegebenheiten anpassen.
Es ist zwingend notwendig hier in Stufen zu denken, die Basisregeln durchzusetzen, Metaregeln und die Praxis denen (Experten, Gerichte) überlassen, die davon etwas verstehen. Wenn wir das Pferd von hinten aufzäumen, so wird das nichts.
Im Grunde müsste man Schadklassen für Sorten von Funktionen, Datenerhebung, Datenverarbeitung, Datenübermittelung, aber für Interaktion mit Nutzern definieren. Dabei gehört auch die Blackbox auf Boden des Landes X dazu. Von da aus könnte man Anforderungen stellen, was zu gewährleisten ist, so wie Irreführung.
Ein Großversagen bzgl. „Anforderungen stellen“ war die Cookierichtlinie, bei der dann plötzlich „überall“ im Netz komische Schriftsätze, Größen, Vorder- und Hintergrundfarben, sowie besonders kreative Umrahmungen und Dialogabfolgen auftauchten, wo dann das UI-Design nichts mit der Webseite an sich zu tun hat, sondern eigentlich nur der Irreführung dient. Das allgemeine Problem des Trackings, wurde aber nicht angegangen. Das sind diese „etwas für Y tun“-Gesetze, die eigentlich immer Fassade und Beweihräucherung bedeuten, nicht aber Probleme lösen oder wenigstens mindern. stattdessen Aktivität vortäuschen, da z.B. jeder Nutzer sieht, dass sich etwas ändert. Leider geht das so gegen den Datenschutz, weil die Maliziöse Umsetzung durch Unternehmen und Unternehmenszuspielern sinnlose Clickorgien mit Verweis auf Gesetze zum Datenschutz vorsetzt. Hier sollte Absicht unterstellt werden, da wir sonst gesellschaftlich nicht mehr vorankommen. Cookies haben keine Bedeutung, wenn ich eine Seite besuche, und danach den Browser schließe, der dann hübsch alles vergisst. Zudem gibt es theoretisch andere Speichermechanismen, und das Seitenübergreifende Tracking verhindert es weder, noch kriminalisiert es das, während die Menge der Menschen vermutlich das erste rote Kästchen clickt, und damit Null Vorteil bei gegebenem Benutzbarkeitsnachteil hat.
Einen Vorteil könnten Cookies haben, und zwar eigenlich erst seit jene Cookierichtlinie in Kraft getreten ist: Drittparteicookies zuzustimmen bedeutet jetzt das Einholen einer expliziten Erlaubnis auch für das serverseitige Schnüffeln und Datenteilen.
Vielleicht?
„Wir müssen technologisch höchsten Ansprüchen gerecht werden“, betonte Baden-Württembergs Wissenschaftsministerin Theresia Bauer (Grüne). Verhindert werden müsse, dass technisch nicht umsetzbare Regulierungen die Entwicklung von KI-Anwendungen verhindern oder mögliche Anwender entmutigt werden, das Potenzial zu nutzen.
Solche Töne hört man von Grünen erst, nachdem sie ministerielle Macht erlangt haben. Verstanden wird gesellschaftlicher Schaden leider sehr viel später.
Zweifellos kann man eine Regulierungsbedürftigkeit für IT-Produkte im Sinne einer Marktzugangsprüfung diskutieren.
Wenn man eine solche aber aus den bestehenden Regulierungen für Arzneimittel und andere Chemikalien herleiten will, muss man sich genauer anschauen, welche vielschichtigen Umstände dazu geführt haben, dass für diese Produktgruppen Vormarktkontrollen eingeführt wurden (die im Übrigen alles andere als problemlos sind, sich ständig verändern und im Welthandel enorme Probleme erzeugen). Contergan war hier allenfalls die Spitze eines tiefen Eisbergs.
Die Entwicklung reicht viel weiter zurück, schon 1872 gab es eine Kaiserliche Verordnung, die diejenigen Arzneimittel auflistete, die nicht für den allgemeinen Handel freigegeben waren. Man wird dann feststellen, dass dieser Vergleich nicht wirklich schlüssig ist.
An der möglichen Regulierungsbedürftigkeit von IT-Produkten ändert das freilich nichts. Und einige Parallelen zeigen die beiden Situationen dann durchaus: Der Gesetzgeber muss sich in beiden Fällen auf grundlegend eigenständige Wissenschafts-/Technikgebiete einlassen und wird dadurch mit besonderen rechtstheoretischen und rechtsmethodologischen Herausforderungen konfrontiert. Insoweit könnte eine Parallelbetrachtung durchaus hilfreich sein.