Nun ist also der AMS Algorithmus beschlossene Sache, und er soll ab 2020 Arbeitssuchende in drei Kategorien aufteilen. Natürlich pocht das AMS darauf, der Algorithmus sei lediglich eine Hilfestellung, im Endeffekt entscheide ein AMS-Mitarbeiter, mithin ein Mensch und keine Maschine, unter welche Kategorie man fällt. Aber geht das überhaupt?
Wie funktioniert der Algorithmus?
Mittlerweile sind automatisierte Entscheidungsfindungen durch künstliche Intelligenz, also Algorithmic Decision Making (ADM)-Systeme, besonders wichtig geworden. Diese Systeme werden von Unternehmen entwickelt und verkauft. Doch die genaue Funktionsweise und der dahinterstehende Code werden meist als Geschäftsgeheimnis gehütet wie die Rezeptur eines führenden Colagetränks.
Somit ist es für Außenstehende schwierig nachzuvollziehen, oder gar zu überprüfen, wie genau die künstliche Intelligenz oder der Algorithmus zu ihren Entscheidungen kommen. Dieser Umstand kann zu Diskriminierung, Ausgrenzung und Benachteiligungen führen.
Im Fall des AMS-Algorithmus wissen wir, dass der Algorithmus mit persönlichen Merkmalen wie Alter, Geschlecht, Ausbildung, gefüttert werden muss. Manche führen zu Pluspunkten, andere zu Minuspunkten (das erinnert entfernt an chinesische "Sozialpunkte"). Anhand dieser Kategorisierung möchte das AMS zukünftig Prognosen über die Arbeitsmarktchancen von vorgemerkten Arbeitslosen erstellen.
Besonders erstaunlich ist allerdings, dass beim AMS-Algorithmus Frauen gleich in doppelter Hinsicht benachteiligt werden: Denn schon die Merkmale „Frau“ und „Betreuungspflichten“ (aufgrund beispielsweise eines Kindes) führen sogleich zu Minuspunkten, während das selbe Merkmal „Betreuungspflichten“ bei Männern zu keinem Punkteabzug führt.
Algorithmen und die DSGVO
Die Verknüpfung dieser persönlichen Merkmale stellt – rechtlich – eine Verarbeitung personenbezogener Datendar. Daher kommt die DSGVO zur Anwendung.
Weil, zudem, mit der vollständig automatisierten Entscheidungsfindung Grundrechte und Freiheiten von betroffenen Personen besonders gefährdet wären, räumt die DSGVO in Art 22 Abs 1 betroffenen Personen das Recht ein, „nicht einer ausschließlich auf einer automatisierten Verarbeitung — einschließlich Profiling — beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.“ Das bedeutet, dass der Algorithmus nicht allein entscheiden darf, ob man einen Job, einen Kredit oder – wie in diesem Fall – eine Ausbildung bzw. Förderung erhält. Der springende Punkt ist also nicht die Unterstützung durch den Algorithmus, sondern dass die Entscheidungsfindung nicht „ausschließlich“ durch einen Algorithmus stattfinden darf. Solange die letzte Entscheidung ein Mensch trifft, wird demnach nicht gegen das Gesetz verstoßen. Das AMS weist demnach auch mehrfach darauf hin, dass die Entscheidung des Algorithmus von Mitarbeiterinnen des AMS überprüft und gegebenenfalls korrigiert werden wird (während aber, genau gelesen, die Entscheidung nicht auf einer ausschließlich automatisierten Verarbeitung beruhen darf; von nachträglichen Korrekturen spricht Art 22 DSGVO ja nicht).
Doch grau ist alle Theorie.
- Ob die Mitarbeiterinnen des AMS die Entscheidung dann tatsächlich korrigieren werden, ist einmal eine Sache, die niemand überprüfen kann.
- Studien wie die der Harvard Business School[1] zeigen überdies, dass Menschen automatisierten Entscheidungen überwiegend vertrauen bzw. davon beeinflusst werden. Das aus dem Grund, dass maschinell getroffenen Entscheidungen eine höhere Objektivität zugeschrieben wird. Fällt noch unter Überprüfung, wenn die Mitarbeiterin des AMS den Entscheidungsvorschlag der Maschine dereinst mit einem murmelnden „passt“ einfach absegnet?
Zu dem Faktum, dass das Merkmal „Frau“ zu Minuspunkten führt, was dem Algorithmus von einem Menschen „antrainiert“ (programmiert) wurde, sagt der Vorstand des AMS in einem Interview, dass nicht der Algorithmus Frauen systematisch diskriminiert, sondern die Realität abbilde. Hart, aber deswegen allein nicht falsch. Bloß, soll das so sein?
Es ist kein Geheimnis, dass weibliche Arbeitssuchende bei gleicher Qualifikation oft schwerer vermittelbar sind. Diese Tatsache sollte die Arbeitsagentur des Bundes mit der Einführung eines Algorithmus nicht noch verstärken, sondern versuchen dagegen zu wirken. Somit kann eine systematische Diskriminierung nicht damit gerechtfertigt werden, dass sie die Realität abbilde.
Klagsansprüche nach der DSGVO
Gemäß ihrem Erwägungsgrund 71
„sollte der für die Verarbeitung Verantwortliche geeignete mathematische oder statistische Verfahren für das Profiling verwenden, technische und organisatorische Maßnahmen treffen, mit denen in geeigneter Weise insbesondere sichergestellt wird, dass Faktoren, die zu unrichtigen personenbezogenen Daten führen, korrigiert werden und das Risiko von Fehlern minimiert wird, und personenbezogene Daten in einer Weise sichern, dass den potenziellen Bedrohungen für die Interessen und Rechte der betroffenen Person Rechnung getragen wird und mit denen verhindert wird, dass es gegenüber natürlichen Personen aufgrund von Rasse, ethnischer Herkunft, politischer Meinung, Religion oder Weltanschauung, Gewerkschaftszugehörigkeit, genetischer Anlagen oder Gesundheitszustand sowie sexueller Orientierung zu diskriminierenden Wirkungen oder zu Maßnahmen kommt, die eine solche Wirkung haben.“
Zwar wird hier Geschlecht nicht mehr ausdrücklich angeführt, ist jedoch argumento a maiori ad minus mitumfasst, denn wenn der europäische Gesetzgeber sogar die entfernteren Diskriminierungsfälle <oben> verbietet, so umso mehr die naheliegenden, leider alltäglichen; ihm kann nicht unterstellt werden zuzulassen, dass jemand nur aufgrund des Geschlechtsdiskriminiert wird.
In diesem, aber auch in allen anderen denkbaren Fällen von Diskriminierung wird der Tatbestand des Art 82 DSGVO erfüllt. Demnach hat jede Person, der wegen eines Verstoßes gegen die DSGVO ein materieller oder immaterieller Schaden entstanden ist, Anspruch auf Schadenersatz gegen den Verantwortlichen.
Jede Arbeitssuchende, die aufgrund dieses Algorithmus keine Förderung bekommt und somit noch schwieriger zu vermitteln ist, erleidet jeden Tag ihres Arbeitslosendaseins einen materiellen Schaden, der zu einem Schadenersatzanspruch gem. Art 82 DSGVO führt.
[1]vgl. Harvard Business School | Algorithm Appreciation: People Prefer Algorithmic To Human Judgment https://www.hbs.edu/faculty/Publication%20Files/17-086_610956b6-7d91-4337-90cc-5bb5245316a8.pdf