Gefahren der KI
Wenn der Algorithmus Menschen diskriminiert
 

Nicht nur der Mensch grenzt andere aus. Auch algorithmenbasierte Systeme können vielfältige Gefahren der Benachteiligung einzelner Personen und ganzer Bevölkerungsgruppen bergen – zum Beispiel bei der Kreditvergabe, so das Ergebnis einer aktuellen Studie.

Experten, die kritisch über Künstlicher Intelligenz diskutieren, warnen oftmals vor dramatischen Arbeitsplatzverlusten. Die Technologie sei ab einem bestimmten Punkt vielleicht auch nicht mehr beherrschbar, so die stereotype Kritik. Doch sind das wirklich die einzigen Gefahren? Eine aktuelle Studie des Karlsruher Instituts für Technologie (KIT) im Auftrag der Antidiskriminierungsstelle des Bundes sieht noch ein weiteres beträchtliches Risiko: Algorithmenbasierte Systeme könnten sogar vielfältige Gefahren der Benachteiligung einzelner Menschen und ganzer Bevölkerungsgruppen bergen, teilte das KIT mit.  

Ob bei der Kreditvergabe oder der Auswahl neuer Mitarbeiter – immer häufiger würden Algorithmen dazu eingesetzt, menschliche Entscheidungen vorzubereiten oder sie ihnen gleich ganz abzunehmen „Dass dies zwangsläufig zu objektiveren und damit faireren Entscheidungen führt, erweist sich heute leider oft als Trugschluss“, erklärte demnach Carsten Orwat vom Institut für Technikfolgenabschätzung und Systemanalyse (ITAS) des KIT. „Kritisch wird es insbesondere dann, wenn die Algorithmen mit tendenziösen Daten arbeiten und auf eigentlich geschützte Merkmale zurückgreifen“, so der Autor. Hierzu gehörten vor allem Alter, Geschlecht, ethnische Herkunft, Religion, sexuelle Orientierung oder Behinderungen.

Verbotene Ungleichbehandlung

Die Studie beschreibt dem KIT zufolge etwa Vorgänge auf dem Immobilien- und Kreditmarkt oder im Strafvollzug. In den USA gebe es mehrere dokumentierte Fälle, in denen die Algorithmen sozialer Medien Wohnungsanzeigen zugelassen hätten, die durch den „Fair Housing Act“ geschützte Personengruppen nicht zu sehen bekommen hätten – etwa Migranten oder Menschen mit Behinderung. In Finnland sei ein Kreditinstitut zu Strafzahlungen verurteilt worden, weil sein Algorithmus bei der automatisierten Online-Kreditvergabe Männer gegenüber Frauen und finnische gegenüber schwedischen Muttersprachlern bei der Kreditvergabe benachteiligt habe – eine Ungleichbehandlung, die nach finnischen Recht verboten sei.

Die Studie berief sich zudem auf eine Untersuchung aus dem Jahr 2018, wonach Diskriminierungen auf dem US-Kreditmarkt für Hypotheken aufgrund ethnischer Herkunft (US-Amerikaner mit afroamerikanischer und lateinamerikanischer Herkunft) weiterhin stattgefunden hätten, das heißt auch mit algorithmenbasierten Kreditentscheidungen. Durch Algorithmen und das Auftreten der FinTechs habe sich zugleich die Art der Diskriminierung verändert, nämlich von Diskriminierung durch menschliche Vorurteile oder Abneigungen hin zu illegitimen Anwendungen der statistischen Diskriminierung mit der Verwendung von Big-Data-Variablen.

Umstrittenes System

Bei der Entscheidung über vorzeitige Haftentlassungen arbeiteten US-Richter mit einem umstrittenen System, das Risikoscores berechnet, hieß es weiter. Menschrechtsverbände kritisierten, dass das System das Rückfallrisiko von Menschen mit schwarzer Hautfarbe systematisch zu hoch bewerte. „Bei Systemen des maschinellen Lernens wird es häufig problematisch, wenn KI-Systeme mit Daten trainiert werden, die Ungleichbehandlungen oder Stereotypen abbilden“, erklärte Orwat den Angaben zufolge. „Dann spiegeln auch die so erzeugten Algorithmen die Ungleichbehandlungen oder Stereotypen wider. Werden Daten verarbeitet, die Bewertungen von Menschen über anderer Menschen beinhalten, so können sich Ungleichheiten und Diskriminierungen sogar verbreiten oder verstärken.“

Die Studie nennt laut KIT mehrere Möglichkeiten, um Diskriminierungen bei algorithmenbasierten Differenzierungen zu begegnen. „Am sinnvollsten erscheinen präventive Maßnahmen“, betonte Orwat demnach. So könnten Firmen ihre Personal bzw. IT-Mitarbeiter von Antidiskriminierungsstellen beraten lassen. Diese Angebote könnten auch dazu sensibilisieren, nur solche Datensätze zu verwenden, die keine diskriminierenden Praktiken oder Ungleichheiten widerspiegelten. (ud)

Lesen Sie hier die vollständige Studie „Diskriminierungsrisiken durch Verwendung von Algorithmen“ der Antidiskriminierungsstelle des Bundes.

Kontakt  
Diesen Artikel ...  
Artikelinformationen 
Artikel veröffentlicht am:
16.10.2019
Quelle(n):
Bildquelle: iStock.com/okan akdeniz
Autor/in 
Redaktion
Weitere Artikel 
Über KINOTE 
Um einen Wandel der Finanzbranche erfolgreich zu meistern, müssen Kreditinstitute sowohl Chancen als auch Herausforderungen der Künstlichen Intelligenz (KI) erkennen.

Unter der neuen Marke KINOTE der Bank-Verlag GmbH finden Sie Meldungen, Studien und Fachartikel zum Themenkomplex KI.

Wir beantworten Ihre Fragen rund um KI. Wir berichten über Trends, neue Technologien, Forschungsergebnisse und daraus entstehende Möglichkeiten, die KI Ihrem Unternehmen bietet.
Webkiosk 

Das Magazin

Ausgabe 01 | 2019

Jetzt kostenlos lesen

 

 

 

Newsletter

die bank | Newsletter

Abonnieren Sie den kostenlosen redaktionellen Newsletter der Fachzeitschrift „die bank“.
Der Newsletter erscheint mindestens einmal im Monat und informiert Sie über aktuelle Beiträge und News.

 Anmeldung

 Newsletter-Archiv