Dänemark/EU: KI-gestütztes Sozialsystem fördert Massenüberwachung und riskiert Diskriminierung von Randgruppen – Bericht von Amnesty International

Die dänische Sozialbehörde Udbetaling Danmark (UDK) läuft Gefahr, Menschen zu diskriminieren, indem sie künstliche Intelligenz (KI) zur Bekämpfung von Sozialleistungsbetrug einsetzt. Betroffen sind Menschen mit Behinderungen, Menschen mit geringem Einkommen und Menschen mit Migrations- und Fluchthintergrund. Das zeigt heute ein neuer Bericht von Amnesty International.

Der Bericht Coded Injustice: Surveillance and Discrimination in Denmark's Automated Welfare State (Überwachung und Diskriminierung in Dänemarks automatisiertem Wohlfahrtsstaat) beschreibt detailliert, wie der weitreichende Einsatz von Algorithmen zur Bekämpfung von Sozialleistungsbetrug, gepaart mit Massenüberwachung, dazu geführt hat, dass Menschen unfreiwillig – oder sogar unwissentlich – ihr Recht auf Privatsphäre verwirkt haben, und eine Atmosphäre der Angst entstanden ist.

„Diese Massenüberwachung hat ein Sozialleistungssystem geschaffen, das die Gefahr birgt, dass es genau die Menschen ins Visier nimmt, die es eigentlich schützen sollte.“

Bis zu 60 Algorithmen: Überwachungsmaschine dokumentiert das Leben von Betroffenen

Die UDK hat das Unternehmen Arbejdsmarkedets Tillægspension (ATP) mit der Verwaltung von Sozialleistungen und Betrugsbekämpfung beauftragt. ATP wiederum hat sich mit privaten multinationalen Unternehmen, darunter NNIT, zusammengetan, um Algorithmen zur Betrugsbekämpfung zu entwickeln, die auf die Spezifikationen von ATP zugeschnitten sind.

UDK und ATP verwenden ein System von bis zu 60 algorithmischen Modellen, die angeblich dazu dienen, Sozialleistungsbetrug zu erkennen und Personen für weitere Ermittlungen durch die dänischen Behörden zu kennzeichnen. Während der Untersuchungen erhielt Amnesty teilweise Zugang zu vier dieser Algorithmen.

Um die Algorithmen einsetzen zu können, haben die dänischen Behörden Gesetze erlassen, die eine umfassende Sammlung und Zusammenführung von personenbezogenen Daten aus öffentlichen Datenbanken von Millionen dänischer Einwohner*innen ermöglichen. Die Daten enthalten Informationen über Aufenthaltsstatus und -bewegungen, Staatsangehörigkeit, Geburtsort und familiäre Beziehungen – sensible Daten, die auch etwas über die Ethnie oder sexuelle Orientierung einer Person aussagen könnten.

„Diese weitreichende Überwachungsmaschine wird eingesetzt, um das Leben einer Person zu dokumentieren und ein Bild zu erstellen, das oft nichts mit der Realität zu tun hat. Sie verfolgt und überwacht, wo ein*e Sozialhilfeempfänger*in wohnt, arbeitet, die Reisetätigkeit, Gesundheitsdaten und sogar Verbindungen zum Ausland“, so Hellen Mukiri-Smith.

Die UDK argumentiert, dass die umfangreiche Sammlung und Zusammenführung von personenbezogenen Daten zur Aufdeckung von Sozialleistungsbetrug „rechtlich begründet“ sei. Die Untersuchungen von Amnesty International zeigen jedoch, dass die enormen Datenmengen, die gesammelt und verarbeitet werden, weder notwendig noch verhältnismäßig sind.

Diskriminierende Algorithmen befeuern System der Ungleichheit

So setzen die dänischen Behörden zur Aufdeckung von Sozialleistungsbetrug bei Renten- und Kinderbetreuungsprogrammen den Algorithmus Really Single ein, um den Familien- oder Beziehungsstatus einer Person vorherzusagen. Zu den Parametern, die der Algorithmus verwendet, gehören „ungewöhnliche“ oder „atypische“ Lebensmuster oder Familienverhältnisse – unklar ist jedoch, wie diese aussehen können, womit willkürlichen Entscheidungen Tür und Tor geöffnet sind.

UDK und ATP verwenden in ihren algorithmischen Modellen auch Angaben zur „ausländischen Zugehörigkeit“. Der Algorithmus „Model Abroad“ identifiziert Gruppen von Leistungsempfänger*innen, die „mittlere und starke Bindungen“ zu Nicht-EWR-Ländern haben, und priorisiert diese Gruppen für weitere Betrugsuntersuchungen.

UDK hat in ihrer Antwort an Amnesty International erklärt, dass die Verwendung der „Staatsangehörigkeit“ als Parameter keine Verarbeitung sensibler personenbezogener Daten darstellt. Laut Amnesty kann die Information über die Staatsbürgerschaft allerdings die Ethnie und den Migrationsstatus einer Person offenbaren und so zu einer Diskriminierung aufgrund der nationalen Herkunft führen.

System fällt möglicherweise unter der Social-Scoring-Verbot des KI-Gesetzes der EU

Amnesty geht davon aus, dass das von UDK und ATP verwendete System unter das Social Scoring-Verbot des KI-Gesetzes fällt – und daher verboten werden sollte. Diese Einschätzung hat die UDK zurückgewiesen, ohne jedoch eine ausreichende Erklärung zu liefern.

Amnesty fordert daher die dänischen Behörden auf, sicherzustellen, dass es sich tatsächlich um kein Social-Scoring-System handelt – bis dahin müsse das System eingestellt werden. Außerdem appelliert die Organisation auch an die Europäische Kommission, in ihren Leitlinien zum AI-Gesetz klarzustellen, welche AI-Praktiken als Social Scoring gelten, und damit auf die von der Zivilgesellschaft geäußerten Bedenken einzugehen.

Die dänischen Behörden müssen dringend ein klares und rechtsverbindliches Verbot der Verwendung von Daten über „ausländische Zugehörigkeit“ oder Proxy-Daten bei der Risikobewertung für Betrugsbekämpfungszwecke umsetzen. Außerdem müssen sie für solide Transparenz und eine angemessene Kontrolle bei der Entwicklung und beim Einsatz von Algorithmen zur Betrugsbekämpfung sorgen, so Hellen Mukiri-Smith.

Hintergrund

Die Untersuchung zu Dänemark baut auf früheren Untersuchungen von Amnesty International zur Automatisierung und Digitalisierung des öffentlichen Sektors in den Niederlanden, Indien und Serbien und den sich daraus ergebenden menschenrechtlichen Risiken und Auswirkungen der algorithmischen Entscheidungsfindung in diesen Ländern auf.

UDK und ATP stellten Amnesty International geschwärzte Unterlagen über die Entwicklung bestimmter algorithmischer Systeme zur Verfügung und lehnten die Anfragen von Amnesty nach einer gemeinsamen Prüfung konsequent ab, indem sie sich weigerten, vollständigen Zugang zu dem Code und den Daten zu gewähren, die in ihren Algorithmen zur Betrugserkennung verwendet werden.

Im Vorfeld der Veröffentlichung des Berichts nahm Amnesty International Kontakt mit NNIT auf, doch das Unternehmen gab unter Hinweis auf Vertraulichkeitsverpflichtungen keine weiteren Auskünfte über seine vertraglichen Vereinbarungen mit UDK und ATP. NNIT hat auch keine Informationen über eine menschenrechtliche Due-Diligence-Prüfung offengelegt, die es vor Abschluss der Vereinbarung mit UDK und ATP durchgeführt hat.

Mehr dazu