Eine Ankündigung von Google versetzt gerade Sicherheitsforscher:innen weltweit in Aufregung. Am Montag hatte der Konzern auf seiner jährlichen Entwicklerkonferenz eine Vorschau auf ein neues Feature gegeben, das bald ins Betriebssystem Android integriert werden soll: Mit Hilfe seines Sprachmodells Gemini will Google Anrufe auf verdächtige Muster scannen, um Nutzer:innen vor möglichem Telefonbetrug zu warnen.
Solche Scam-Anrufe, bei denen sich Kriminelle etwa als Bank-Mitarbeitende ausgeben, um an Zugangsdaten zu kommen, verursachen weltweit großen Schaden. Viele Menschen fallen darauf rein. Google will sie nun mit Pop-up-Hinweisen auf dem Bildschirm davor bewahren: „Wahrscheinlicher Betrug“ soll dort stehen und eine Aufforderung, den Anruf zu beenden.
Das klingt nach einer nützlichen Funktion, die laut Google zudem optional werden soll. Zugleich ist das genau die Art von Ankündigung, bei der Fachleute für Datenschutz aufmerksam werden. Es geht um die Technologie hinter den Warnungen, denn auch wenn Google es nicht so nennt: Es geht um Client-Side-Scanning – das automatisierte Scannen und Rastern von Inhalten in der eigenen privaten Kommunikation auf dem eigenen Gerät.
Türöffner für das Scannen privater Kommunikation
Um die neue Technologie wird derzeit auf politischer Ebene so erbittert gerungen wie um wenig anderes in der EU. Laut Wunsch der EU-Kommission könnte sie zum Einsatz kommen, um auf Geräten nach Darstellungen von sexualisierter Gewalt an Kindern (CSAM) zu suchen, sogar die versuchte Anbahnung von Kontakt zu Minderjährigen soll erkannt werden, um Missbrauch zuvorzukommen.
Apple hat 2021 bereits einen Versuch gemacht, solches Client-Side-Scanning einzuführen und die Konsequenzen zu spüren bekommen. Die Ankündigung, private Fotos in der iCloud auf CSAM zu scannen, hat für so große Empörung gesorgt, dass Apple die Pläne wieder aufgegeben hat. Der Druck aus der Politik auf die Tech-Unternehmen ist jedoch weiterhin immens.
Eine geplante Verordnung der EU, von Kritiker:innen nur Chatkontrolle genannt, hängt derzeit fest, weil sich die Staaten im Rat nicht einigen können. Doch die belgische Ratspräsidentschaft macht weiter Druck.
Bei der Chatkontrolle sollen Anbieter von Kommunikations- und Hostingdiensten auf Anordnung die privaten Bilder, Videos und Nachrichten ihrer Nutzer:innen scannen. Dabei sollen sie Hinweise auf sexualisierte Gewalt gegen Kinder oder Anbahnungsversuche von Erwachsenen an Minderjährige suchen. Client-Side-Scanning ist eine mögliche Technologie, um das umzusetzen.
Fachleute für Kryptografie und Datenschutz warnen seit Beginn der Initiative vor der Konsequenzen: Ist die Technologie einmal auf den Geräten, kann die private Kommunikation von Millionen von Menschen massenhaft nach beliebigen Inhalten durchsucht werden. Selbst die EU-Datenschutzbehörden bezeichnen das als unverhältnismäßig und warnen vor den Gefahren für die Demokratie, wenn Menschen sich permanent beobachtet fühlten.
Gefährliche Mustererkennung: Erst Telefonbetrug, dann Schwangerschaftsabbruch
Nach der Ankündigung von Google werden erneut die bereits bekannten Stimmen in der Debatte laut. Meredith Whittaker, Chefin des verschlüsselten Messengers Signal, bezeichnet die Pläne als „unglaublich gefährlich“ und verweist darauf, wie schnell weitere kriminalisierte Handlungen mit der gleichen Technologie ins Visier geraten könnten. „Von der Erkennung von ‚Betrug‘ ist es nur ein kurzer Schritt zur ‚Erkennung von Mustern, die üblicherweise mit der Suche nach reproduktiver Versorgung verbunden sind‘ oder ‚die üblicherweise mit der Bereitstellung von LGBTQ-Ressourcen verbunden sind‘ oder ‚die üblicherweise mit dem Whistleblowing von Tech-Mitarbeitern verbunden sind‘.“
Die Sicherheitsforscherin Carmela Troncoso, die Krytografie an der EPFL in Lausanne lehrt, äußert sich ebenfalls entsetzt: „Wir haben wiederholt auf die Gefahren des Client-seitigen Scannens hingewiesen. Dabei geht es nicht um die Erkennung von CSAM. Die Erkennung von Betrug bringt das gleiche Problem mit sich: Es gibt keine Garantie, dass die Technologie nicht missbraucht wird. Dass Google die möglichen negativen Folgen dieser Idee vernachlässigt, ist erschreckend.“
Troncoso ist eine von Hunderten Sicherheits- und Datenschutzfachleuten, die vergangene Woche in einem offenen Brief an die Kommission vor den Konsequenzen der Pläne warnten: Die Anordnungen zum Scannen könnten Millionen von Fehlalarmen pro Tag auslösen. Der Vorschlag schaffe zudem „nie dagewesene Möglichkeiten zur Überwachung und Kontrolle von Internetnutzern. Dies untergräbt eine sichere digitale Zukunft für unsere Gesellschaft und kann enorme Folgen für demokratische Prozesse in Europa und darüber hinaus haben.“
Es wurde versäumt Google auf ein akzeptables Maß einzuhegen. Der Konzern hat mehr Macht erlangt, als so mancher Staat. Google hat überall seine Finger drin. Sie wollen alles kontrollieren und steuern.
Google zerschlagen, Wettbewerb ermöglichen!
Ich finde es immer wieder erschreckend, wenn man liest, dass selbst erfahrene Tech-Firmen wie Google & Co immer und immer wieder den selben Fehler machen.
Hat es wegen Client-Side-Scanning & Co nicht schon:
– genügend unschuldige Anzeigen mit potenziell existenzzerstörenden Folgen (Vorwurf der KiPo-Verbreitung usw)
– genügend falsche Kontosperrungen
– genügend Bemühungen, nicht nur die Sicherheit runterzufahren, sondern sogar aktiv dagegen vorzugehen, wenn Nutzer sie sich rechtmäßig zurückholen wollen (Stichwort Microsoft: Brute-Force-Angriffe auf verschlüsselte passwortgeschützte zip-Archive durchführen
https://t3n.de/news/microsoft-scannt-zip-dateien-cloud-1553352/ ) u.a.
gegeben?
Wenn das jetzt auf normale Telefongespräche ausgeweitet wird, ist klar dass:
1. Es auch hier millionenweise falsche Flags geben wird.
2. Überwachungsfanatikern das Wasser im Mund zusammenläuft, und es Rufe nach Ausweitung auf andere Bereiche gibt, inklusive direkter Ausleitung der Telefonate an die Strafverfolgung.
Abgesehen davon: Gibt es bis heute irgendwelche Statistiken, die besagen, dass eine KI-Technologie zur Spracherkennung ausgereift genug ist, um das zuverlässig zu erkennen? Wage ich sehr stark zu bezweifeln.
Und was die Machbarkeit angeht:
Wie soll denn das gehen? Betrugsmaschen ändern sich. Wenn ich das dann richtig verstehe (wohl gemerkt: WENN), müsste Google also, um diese Funktion Up-to-date zu halten, die Telefongespräche aller Nutzer erstmal quasi abschnorcheln, um die KI damit zu trainieren. Sprich alle unsere Telefonate würden irgendwo als Trainingsdaten bei Google liegen.
Damit machen sie aus Datenschutz-Sicht und vor allem wegen sensiblen Telefonaten Android-Smartphones quasi völlig unbenutzbar.
Wann ist man endlich bereit es zu lernen? Werden wir das noch erleben?
Können dann die „Berufsgeheimnissträger“ überhaupt noch ein Standard-Smartphone nutzen?
Neusprech und Doppeldenk zur Verhinderung von Deldenk und Facecrime….
https://de.wikipedia.org/wiki/Neusprech
„Es gibt keine Garantie, dass die Technologie nicht missbraucht wird.“
Für den Fall dass man die projizierte Anwendung, aus welchem Anlass auch immer, als angemessen ansähe, muss man nach allen Beispielen der jüngeren Geschichte den Satz nicht so formulieren „Leider muss man deutlich zwingend davon ausgehen, dass der Nutzungsrahmen bis über das Unerträgliche ausgedehnt und die Anfangsargumentation für den Einsatz als tiefster Missbrauch des Vertrauens gewertet werden muss?“ Dass also jeder Versuch des Einsatz dieser Technologie/n als zutiefst widerwärtig, antidemokratisch und missbräuchlich betrachtet werden muss?
Und in der Islamisten Diktatur Iran wird dann Client Side Scanning verwendet um Homosexuelle zu Jagen. In China um Kritik an der Kommunistischen Partei zu finden und in Deutschland wenn die AfD an die Macht kommen sollte und die Technik bereits überall etabliert ist wer wird dann wohl darunter leiden ?
Gibt gute gründe warum man sowas nicht umsetzen sollte. Leider leiert die Ampel Regierung da auch nur herum statt wirklich für Freiheitsrechte einzustehen.
FYI
Behind the scenes with Gemini Nano and AICore – YouTube
Marketing Bling Bling >> https://www.youtube.com/watch?v=hHIMUgTuoXE
Developer >> https://developer.android.com/ai/aicore
Keeping user data private and secure
AICore adheres to the Private Compute Core principles, with the following key characteristics:
Restricted Package Binding: AICore is isolated from most other packages, with limited exceptions for specific system packages. Any modifications to this allowed list can only occur during a full Android OTA update.
Indirect Internet Access: AICore does not have direct internet access. All internet requests, including model downloads, are routed through the open-source Private Compute Services companion APK. APIs within Private Compute Services must explicitly demonstrate their privacy-centric nature.
https://www.trendmicro.com/vinfo/us/security/news/cybercrime-and-digital-threats/back-to-the-hype-an-update-on-how-cybercriminals-are-using-genai
Mit anderen Worten: Google braucht Material um seine KI weiter zu trainieren. Und da die Rechte anderer für diese Firma noch nie so wirklich interessant wären (z.B.Bücher scannen) will man großflächig und weltweit die Vertraulichkeit des gesprochenen Wortes verletzen.
Wir sollten unseren Politikern klarmachen, dass so auch sämtliche ihrer Telefonate betroffen sein werden. Also auch welche zu Maskendeals, Parteinterna, Peinlichkeiten und Puffbesuchen.
Und für Apple-Nutzer: Es reicht ja, wenn die angerufene Person Android hat.
Es wird höchste Zeit für unsere Demokratie, den Techkonzeren Einhalt zu gebieten.