Künstliche Intelligenz und Bias

In unserem Beitrag über KI im Recruiting haben wir bereits die Vorteile von künstlicher Intelligenz im Recruiting unter die Lupe genommen. So können beispielsweise Vakanzzeiten durch maschinelle Auswertung von Lebensläufen und automatisierte Videointerviews enorm verkürzt werden. Thematisiert wurden aber auch datenschutzrechtliche Risiken, ethische Bedenken und das Problem der Diskriminierung, zum Beispiel von Frauen und ethnischen Minderheiten. In diesem Beitrag widmen wir uns der Frage, wie Diskriminierung von KI entsteht und auch, wie sie verhindert werden kann.

Darius Görgen • 10.06.2020

Laut einer Studie der Bertelsmann Stiftung sind 46 % der Deutschen unentschieden, ob Algorithmen eher Chancen oder Risiken bedeuten. 45 % der Befragten fällt zum Begriff Algorithmus spontan sogar gar nichts ein. Es besteht also zunächst einmal Klärungsbedarf dazu, was ein Algorithmus überhaupt ist.

Grundsätzlich beschreibt ein Algorithmus eine bestimmte Vorgehensweise zur Lösung eines Problems. So können Algorithmen bestehende Daten analysieren und das daraus abgeleitete Wissen in ein Modell überführen, das dann auf neue Daten angewendet wird. Diese so genannten lernenden Algorithmen sind die Grundlage des Machine Learnings, einem Teilgebiet von KI.

Bei der Entstehung von Bias spielt die Programmierung der Algorithmen eine wichtige Rolle, aber vor allem die Daten anhand derer sie trainiert werden sind entscheidend.

Beides stammt prinzipiell aus Menschenhand und hat oft subjektive Einflüsse, die fehlerhaft oder unpräzise sein können. Auch individuelle Wertvorstellungen oder Denkweisen spiegeln sich in den Datensätzen wider. Das geschieht meist unbewusst aber auch eine gezielte Manipulation ist natürlich vorstellbar.

Das Problem der verzerrten Daten spiegelt auch die Diskussion um die sogenannten „WEIRD Samples“ (western, educated, industrialized, rich, democratic societies) wider, Daten die zum Großteil anhand von westlichen, gebildeten und reichen Menschen erfasst wurden und nur einen geringen Teil der Weltbevölkerung abbilden. Der Psychologe Joseph Henrich von der kanadischen University of British Columbia in Vancouver hatte in den Jahren 2003 bis 2007 psychologische Verhaltensstudien analysiert und aufgezeigt, dass 96 % der Studien aus Ländern stammen, die nur 12 % der Weltbevölkerung repräsentieren.

Auch veraltete Trainingsdaten können längst überholte Moralvorstellungen transportieren, Stichproben können ungenau sein. Der hohe Aufwand, sowohl zeitlich als auch monetär, der mit der Erstellung geeigneter Datensätze einher geht, verleitet allerdings viele Unternehmen dazu auf eben solche Trainingsdaten zurück zu greifen.

Aber nicht nur die Daten, sondern auch die Algorithmen können rassistisch, sexistisch und diskriminierend sein wie jede andere Form von Struktur (Gesellschaften, Organisationen, Systeme) auch. Von einer vagen Idee bis zum fertigen Code gibt es unendlich viele Zwischenschritte, auf die die kulturellen Prägungen des Entwicklers Einfluss nehmen. Also unendlich viele Einfallstore für Diskriminierung, wenn man nicht offenen Auges an die Aufgabe herangeht.

Die Diversität unter IT-Entwicklern und damit verbunden die Frauenquote spielt somit eine wichtige Rolle. Bei Facebook sind nur 15 % der Angestellten im im KI-Bereich Frauen. Bei Google, einem der größten IT-Konzerne der Welt, sind es sogar nur 10 %. Für Afroamerikaner sieht es sogar noch schlechter aus. Sie machen nur 2,5 % der Angestellten bei Google und 4 % bei Facebook und Microsoft aus. (Quelle: AI Now Institute)

Organisationen wie Equal AI haben es sich zur Aufgabe gemacht dagegen zu steuern.

KI diskriminiert dann, wenn sie es so gelernt hat.

Ein gutes Beispiel für unbewusste Bias, die durch ungenaue Daten und ihre falsche Interpretation hervorgerufen wurden, ist eine KI von Google, die Afroamerikaner als Gorillas identifizierte.

Auch das bereits beschriebene Problem von Amazon, deren KI-Recruiting-Bot vor allem Männer als potentiell geeignete Bewerber identifizierte, da zeitgleich im Unternehmen wenig Frauen in Tech-Berufen arbeiteten, ist ein gutes Beispiel. Die unkritische Betrachtung der eingegebenen Daten und ihre Fehlinterpretation birgt die Gefahr, dass KIs gesellschaftliche Muster übernehmen und dadurch Benachteiligungen sogar noch verstärken können.

Fehlende Transparenz erschwert aktuell die Identifikation von diskriminierender KI auf dem Markt. Die meisten Unternehmen schützen ihre Algorithmen patentrechtlich und legen sie nicht offen. Nur einige Wenige stellen ihren Quelltext als Open-Source-Projekt zur Verfügung, so dass Software Entwickler auf der ganzen Welt ihn nutzen können, Fehler erkennen und den Algorithmus weiterentwickeln. Klingt erstmal nicht schlecht, aber natürlich verlieren die Unternehmen auf diesem Weg auch den wirtschaftlichen Wert ihrer Algorithmen.

Auf lange Sicht ist dies aber der beste Weg um das allgemeine Vertrauen in KI zu stärken. Es ist wichtig, einen transparenten Umgang mit Algorithmen und Trainingsdaten zu gewährleisten und die Möglichkeit für eine externe Kontrolle zu schaffen, beispielsweise durch staatliche Organe oder private Institutionen. Gemeinnützige Organisationen wie Algorithm Watch haben das Ziel „Prozesse algorithmischer Entscheidungsfindung zu betrachten und einzuordnen, die eine gesellschaftliche Relevanz haben – die also entweder menschliche Entscheidungen vorhersagen oder vorbestimmen, oder Entscheidungen automatisiert treffen.“

Letztlich bleibt also festzuhalten, dass künstliche Intelligenz als solche nicht diskriminierend ist. Da sie allerdings von Menschen entwickelt wird, können Fehler und Bias nicht ausgeschlossen werden. Eine ständige Kontrolle der sich immer weiter entwickelnden Algorithmen sollte also vorausgesetzt sein, um mögliche Diskriminierung zu verhindern. So kann ihr Einsatz in Zukunft sogar zu mehr Chancengerechtigkeit beitragen.

Photo Credit: Hitesh Choudhary on Unsplash