Code Dating, Terrorlisten, Versicherungstarife: Fast alles regeln heute Algorithmen. Aber sie entscheiden nicht immer fair. Zu Besuch bei Menschen, die das ändern wollen: Kann ein Computer Ethik lernen?

Von Meike LaaFf (Text) und Juliane Pieper (Illustration)

Es war ein Programm, das das Gerücht in die Welt setzte, die Harvard-Professorin Latanya Sweeney habe mal im Gefängnis gesessen.

Als Erstes fällt es einem Journalisten auf. Er sitzt mit der Computerwissenschaftlerin Latanya Sweeney in ihrem Büro in Boston und googelt ihren Namen, um einen alten Aufsatz zu finden. Auf der Seite mit den Suchtreffern poppt eine Werbespalte auf. „Latanya Sweeney – verhaftet?“ steht dort, dazu der Link zu einer Homepage, auf der man recherchieren kann, ob jemand vorbestraft ist, inklusive Gerichtsakten, Adressen und Alter. Der Reporter vergisst die Studie – er will nur noch wissen, was es mit ihrer Verhaftung auf sich hat. Sie war noch nie im Gefängnis, beteuert Sweeney. Die beiden tippen weitere Namen in das Suchfenster. Versuchen zu verstehen, nach welchen Mustern und Regeln Google die Werbung einspielt. „Das kommt bestimmt, weil sie einen dieser schwarzen Namen haben“, sagt der Journalist irgendwann. Lächerlich, meint Sweeney.

„Das ist ein Computer! Computer können nicht parteiisch sein“, habe sie damals, 2012, gesagt – so erzählt sie es in einer Videoaufzeichnung. Sweeney wollte beweisen, dass der Reporter falsch liegt. Nur um am Ende zu merken: Er hat recht.

Für eine Studie hat Latanya Sweeney 120.000 Werbeeinblendungen analysiert, systematisch nach Namen gesucht, die in den USA mit Schwarzen und Weißen assoziiert werden. Und konnte zeigen: Bei Namen, die mit Afroamerikanern verbunden werden, zeigen Internetseiten eine Werbung, die ihre Verhaftung nahe legt, bis zu 25 Prozent häufiger als bei Namen, hinter denen man Weiße vermutet.

Automatisiert eingespielte Werbung mit rassistischen Vorurteilen? Sweeneys Studie machte in den USA Schlagzeilen. Sowohl Google als auch der Websiteanbieter, der die Anzeigen schaltete, versuchten sich zu distanzieren. Es ist ein Fall, der eine weit verbreitete Lüge entlarvt. Die, dass Algorithmen neutral sind. Dass sie die besseren, unbestechlicheren Entscheidungen treffen. Dass sie uns fair behandeln.

In Tausenden Schritten machen Algorithmen unser Leben einfacher, bequemer, oft auch besser – ob sie uns Musik empfehlen, genau das richtige Paar Turnschuhe oder jemanden, in den wir uns verlieben könnten. Auf obskuren Wegen rechnen sie aber auch aus, wer eine Kreditkarte bekommt. Beziehungsweise: wer nicht. Mit hohen Trefferquoten erraten sie längst, wer schwanger ist und wer homosexuell. In Polen entscheidet ein Algorithmus, welche Leistungen Arbeitslosen vom Jobcenter bezahlt werden. Prognostizieren die Algorithmen des US-Geheimdienstes NSA, wer ein Terrorist sein könnte, schickt ein Pilot möglicherweise in Pakistan die Killerdrohnen los. Ihre Fehlerquote sei nicht hoch, heißt es in einem jüngst geleakten Papier aus den Dateien von Edward Snowden. Im Zweifelsfall sterben trotzdem Unschuldige.

Lange ist nicht gerüttelt worden an dem Paradigma, dass Mathematik keine Vorurteile hat. Dass ein Algorithmus, also ein Rezept, nach dem ein Computer Daten verarbeitet, exakter ist als ein Mensch, objektiver. Nun zeigt sich immer deutlicher, dass es mitunter keine gute Idee ist, Algorithmen und ihren Auswürfen blind zu vertrauen. Vor allem weil sie inzwischen anhand von Daten selbst lernen – darüber hinausgehen, was der Mensch ihnen beigebracht hat. So drohen sie unserer Kontrolle zu entwachsen. Und doch leben wir immer fester eingesponnen in ihre Projektionen über uns und über das, was wir als nächstes tun wollen.

Experten für maschinelles Lernen vergleichen ihre Algorithmen gern mit Kindern – geprägt von ihren Eltern. Denn natürlich sind es nicht unsichtbare Kräfte, die die Algorithmen entwerfen, sie auf Datenbanken ansetzen, sie trainieren, ihnen Grenzen setzen, sondern Menschen. Dann allerdings stellt sich die Frage: Müssen wir nicht anfangen, Software auch eine Ethik einzuprogrammieren?

***

Jeremy Pitts Büro sieht nicht gerade so aus, als würde hier die Zukunft entworfen. Eine Straßenecke entfernt vom Londoner Naturkundemuseum, in dem sich Schulklassen an Dinosaurierskeletten vorbeidrücken, sitzt der Professor für intelligente und selbstlernende Systeme in seinem Büro im Imperial College, einer der englischen Eliteuniversitäten. Schräg über den Flur schrauben Pitts Kollegen an weißen Robotern herum, halb so groß wie Menschen. In Pitts Büro gibt es nur einen Tisch, einen Rechner und jede Menge Bücher. Er arbeitet an einer Idee: dem Versuch, Algorithmen Fairness beizubringen.

Ursprünglich wollte er nur ein System entwickeln, mit dem Computer knappe Ressourcen fair untereinander verteilen. Bandbreite, Rechenkapazitäten, so etwas. Pitt suchte nach Ansätzen, wie Menschen das untereinander organisieren und stieß auf die Arbeit von Elinor Ostrom. Ostrom erhielt im Jahr 2009 den Nobelpreis für Wirtschaftswissenschaften – für ihren Nachweis, dass Gemeinschaften in der Lage sind, knappe Gemeingüter wie Wasser so nachhaltig zu verwalten, dass nicht alles zwangsläufig in Chaos, Raubbau oder Verschmutzung mündet. Damit das funktioniert, stellte Ostrom acht Prinzipien auf. Zum Beispiel die, dass es Regeln gibt, die alle Betroffenen gemeinsam modifizieren dürfen. Dass die Einhaltung von Mitgliedern des Systems überwacht und Verletzungen sanktioniert werden. Es sind Prinzipien, die für Menschen aufgestellt wurden. Und die der Informatiker Pitt nun in formale Sprache von Algorithmen übersetzt.

Zwischen Maschinen funktioniere das bereits ganz gut, sagt Pitt. Der nächste Schritt wäre, das auf Situationen zu übertragen, in denen Maschinen mit Menschen kooperieren. Ein System zu schaffen, in dem sich idealer Weise alle auf Regeln verständigen, die dann von Maschinen angewendet werden.

Pitt arbeite an der Entwicklung eines Planspiels mit, an dem man erklären kann, wie so etwas aussehen könnte. Mehrere Spieler wohnen in einem Dorf aus smarten Häusern mit Photovoltaikzellen auf dem Dach und müssen mit dem wenigen Strom, den sie zur Verfügung haben, gemeinsam auskommen. Wenn alle zur selben Zeit die Waschmaschine anmachen und staubsaugen, geht das Licht aus.

Die Herausforderung ist nun, einen Algorithmus zu programmieren, der den Strom gerecht verteilt. Doch wie erklärt man ihm, was gerecht ist? Genau dieselbe Menge Energie für Nutzer an jedem Tag?

Nach Pitts Modell entsteht Gerechtigkeit, indem sich alle absprechen. Wie genau das funktionieren kann, hängt davon ab, wie Apps für die Verteilung von Energie programmiert sind, sagt Pitt. Menschen könnten melden, welche Geräte sie wann nutzen wollen oder wie viel Energie sie an einem Tag brauchen. Smarte Geräte in Haushalten, Fabriken oder öffentlichen Gebäuden könnten Feedback geben, wie viel Energie sie wann brauchen. Oder Rechner der Stromversorger kommunizieren, wie viel Strom überhaupt zur Verfügung steht. Denkbar wäre sogar: für programmierbare Geräte wie Geschirrspüler bekommen Nutzer Zeitfenster zugeteilt – die sie auch untereinander tauschen können. Gemeinsam stimmt man Regeln ab. Collective Action, nennt Pitt das. Der Algorithmus prüft, ob diese eingehalten werden und bestraft den, der sich nicht daran hält – etwa, indem ihrem Energiebedarf beim nächsten Mal weniger Priorität eingeräumt wird.

Ist es Pitt damit gelungen, seinen Algorithmen ethisches Handeln einzuimpfen?

„Es geht um Fairness“, korrigiert Pitt jedes Mal, wenn der Begriff Ethik fällt. Mit einem Lächeln, das sich um Höflichkeit bemüht, obwohl das Gegenüber zu langsam mitdenkt. Er sagt Sätze wie: „Wenn dein einziges Werkzeug ein Ostrom-förmiger Hammer ist – dann siehst du plötzlich jedes Problem als einen Collective-Action-förmigen Nagel.“ Damit meint er: Fängt man an, in dieser Logik zu denken, fallen einem viele Probleme ein, die sich mit diesen Prinzipien angehen ließen, überprüft durch einen Algorithmus. In einer WG Ordnung halten. Smartphonenutzung im Großraumbüro. Die Verteilung von Parkraum in Städten.

Es ist schwer, jemanden zu finden, der einordnen kann, was diese Pläne von Pitt in der Praxis taugen könnten. Viele finden die Idee faszinierend. Für andere klingt das nach Solutionismus – einem dieser fehlgeleiteten Versuche, alle Probleme der Welt durch Informationstechnologie lösen zu wollen. Pitt versucht mit seiner Idee aber ja, Menschen in die Entscheidungen einzubeziehen. Und: transparenter werden zu lassen, was Algorithmen überhaupt tun.

Viele Programmierer sagen, dass es nicht so einfach funktionieren könne: Benimmregeln in den Code einschreiben – und fertig ist der ethische Algorithmus. Weil selbstlernende Algorithmen eben nicht nur das umsetzen, was Menschen ihnen beigebracht haben, sondern darüber hinaus kombinieren. Auf welchen verschlungenen Wegen sie dann zu ihren Prognosen kommen, gefüttert mit Tausenden Datenhäppchen, ist zunehmend schwer nachzuvollziehen. Selbst für ihre Programmierer.

Manche programmieren Algorithmen zu Arschlöchern

Dazu kommt: Auch Menschen haben keine einheitliche Vorstellung davon, welche Urteile sie für moralisch halten. Umso schwieriger, die Prinzipien dahinter in Code zu verwandeln. Es gehört zum Wesen von Algorithmen zu filtern und zu sortieren. Nur: Ist es schon eine stereotype Vorverurteilung anzunehmen, eine Frau interessiere sich für Diätwerbung? Oder ist es noch Statistik? Welche Kriterien dürfen in die Reihenfolge der Treffer einfließen, wenn sich jemand über Wahlen informiert? Ist es fair, Kunden unter Umständen für dasselbe Produkt im selben Shop unterschiedliche Preise anzuzeigen?

Manche Firmen programmieren ihre Algorithmen zu richtigen Arschlöchern. Bereits in den achtziger Jahren kam heraus, dass ein populäres elektronisches Flugbuchungssystem namens Sabre, das von American Airlines betrieben wurde, die Angebote von Konkurrenzunternehmen systematisch benachteiligte. Und zwar auch dann, wenn sie eigentlich die direkteren und günstigeren Verbindungen anboten als American Airlines. Mitte der 1980er entschied eine Kartellbehörde, solche Flugbuchungssysteme müssten auf Nachfrage offenlegen, welche Kriterien in ihre Berechnungen einfließen und wie sie gewichtet werden.

Transparenz ist seitdem eine Hauptforderung, wenn es darum geht, mit welche Mitteln man Algorithmen bändigen kann. Zu Recht: Solange der Algorithmus eine Blackbox bleibt, von der man nicht weiß, was genau sie tut, ist es schwer zu belegen, dass Diskriminierungen im Rechenkonzept begründet sind. Fälle, in denen das klar nachgewiesen werden kann, sind deswegen heute meist Zufallsfunde oder frickelige Detektivarbeit. Oder eine Kombination aus beidem: Wie im Fall von Latanya Sweeney – der Harvard-Professorin, die von Google-Werbung als mögliche Ex-Strafgefangene einsortiert wurde.

Aber ein Algorithmus bleibt dennoch nur ein Rezept zur Verarbeitung von Daten. Wer nicht weiß, auf welche Daten die Software zugreift, der kann mitunter auch mit dem Rezept nur wenig anfangen.

Ein Bereich, in dem Deutschland wirklich versucht hat, das Verhalten von Algorithmen per Gesetz zu kontrollieren ist die Börse. Beim Hochfrequenzhandel wickeln Computerprogramme in Millisekunden Geschäfte ab, ohne dass ein Mensch an ihren Entscheidungen beteiligt ist. Nach der Finanzkrise verabschiedete das Parlament im Jahr 2013 ein Gesetz, um diese Form von Handel zu begrenzen, 2014 zog die EU nach.

Forscher sagen aber auch: Es fehle in den Behörden, Ministerien und Ämtern an Algorithmikern – Leuten, die in der Lage sind einzuschätzen, was die Programme da überhaupt vor sich hin rechnen. Regeln brächten wenig ohne Strukturen, sie durchzusetzen. Gerade in einer Welt globaler Konzerne, deren Algorithmen sich teilweise von Tag zu Tag verändern.

Lassen sich solche Mechanismen überhaupt anders kontrollieren als wiederum von Algorithmen? Wie kann der Mensch mit dem Computer mithalten?

***

„Wir können nie moralisches Verhalten in eine Maschine kriegen“, sagt Stefan Ullrich. „Nie.“ Ullrich ist Informatiker und Philosoph. In der Gesellschaft für Informatik, dem größten Zusammenschluss der Berufsgruppe in Deutschland, ist er Sprecher des Arbeitskreises „Informatik und Ethik“.

Menschen könnten Regeln brechen, wenn sie ihnen unsinnig erscheinen. Ein Computer könne das nicht. „Am Ende sind es keine Entscheidungen, die er produziert, sondern Berechnungen.“ Der Sinn, warum man etwas tue, lasse sich einer Maschine nicht beibringen.

Stefan Ullrich sitzt in einem Großraumbüro mit verschiebbaren Wänden, das zur Humboldt-Universität in Berlin gehört. Er lehrt an Hochschulen und Instituten in der ganzen Republik. Ullrich glaubt: Ein Weg zu faireren Algorithmen setzt bei den Leuten an, die sie ­schreiben – in der Ausbildung.

Ein Ansatz, der es schwer hat: Den Lehrstuhl für Informatik in Bildung und Gesellschaft, an dem Ullrich früher arbeitete, gibt es gar nicht mehr. Hier und da gibt es an deutschen Universitäten einzelne Vorlesungen, die sich mit ethischen Fragen in der Informatik beschäftigen. Verpflichtend sind die aber fast nirgendwo.

Die Sensibilisierung ist besonders wichtig, da diskriminierendes Verhalten oft mehr oder weniger unabsichtlich in die Datenverarbeitung einprogrammiert wird.

Von der Grundidee einer Software bis zu der Frage, welche Kategorien in eine Datenbank aufgenommen werden, fließen in jeden Schritt ethische Entscheidungen ein. Die Entwickler der Digitalwährung Bitcoin zum Beispiel lehnten ein zentralisiertes Bankwesen ab. Also programmierten sie ein Zahlungssystem, das Überweisungen ohne zentrale Abwicklungsstelle möglich macht.

Beispiel Bewerbungsverfahren: Viele Firmen setzen Algorithmen ein, um Kandidaten auszusieben. Die selbstlernenden Programme werden mit Trainingsdaten gefüttert, etwa mit erfolgreichen und nicht erfolgreichen Bewerbungen, in denen sie Muster dafür erkennen, welche Art von Personen zum Unternehmen passt. Nur: Wenn in der Vergangenheit vor allem weiße Mittelschichtsmänner eingestellt wurden und der Algorithmus nur aus diesen Daten lernt, reproduziert das Programm einfach die Vorurteile der Chefs und macht sie zu scheinbar neutralen Entscheidungen.

Ein Grundproblem beim Programmieren von Algorithmen, sagt Stefan Ullrich, sei die Verwechslung von Kausalität mit Korrelation. Wer Dosenbier kaufte, kaufte auch Windeln? Zwischen den Entscheidungen müsse gar kein Zusammenhang bestehen – vielleicht sei es einfach nur statistisch häufiger. „Informatiker müssten eigentlich sagen: Bitte erklärt mit so etwas nicht die Welt.“ Doch in der Praxis bauen Firmen darauf ganze Geschäftsmodelle auf.

Hinter jeder Codezeile steckt ein Menschenbild

Entscheidungen, die beim Programmieren getroffen werden, lägen Menschenbilder zugrunde, die sich dann in der Technik manifestierten, sagt Ullrich. Etwa das, man könne Leute als Nummern behandeln. Ullrich ist gegen Pflichten wie die Steuer-ID. „Wir fangen an, uns so anzupassen, dass wir immer die perfekten Eingaben für Geräte liefern“, sagt er. Bis wir irgendwann nur noch Peripheriegeräte von Systemen seien, die den Prozess möglichst wenig stören. Das sei kein Problem für alle, die mitspielen, die Felder ausfüllen und die Möglichkeiten der Auswahlboxen akzeptieren. „Aber alle, die da rausfallen, die nicht ins Schema passen, erleben Diskriminierung“, sagt Ullrich. Er geht ohne die vorgeschriebene Krankenkassenkarte zum Arzt, gibt im Brief ans Finanzamt die Nummer nicht an.

Wenn Stefan Ullrich vor seinen Studierenden steht und versucht, sie für ethische Fragen zu sensibilisieren, muss er gegen ein Ohnmachtsgefühl andiskutieren. Was kann man als einzelner Programmierer in großen Firmen bewirken?

Im Hörsaal sagt er seinen Studierenden zum Beispiel, dass sie die Möglichkeit haben, in ihren Quelltext eine Zivilklausel einzufügen. Sätze wie: Ich möchte nicht, dass die Ergebnisse meiner Arbeit für militärische Zwecke verwendet werden. Eine Zeile. Wer sich daran denn bitte halten würde, fragen die Studierenden dann oft. Ullrich antwortet: „Alle regulären Armeen der Welt halten sich daran.“

So werden Konsequenzen erkennbar, die eine Codezeile unter Umständen an einem anderen Ort der Welt hat. „Wir Informatiker begehen keine Drohnenmorde. Aber wir ­schreiben die Software, die dazu eingesetzt werden kann“, sagt er. Ullrich schätzt: Etwa ein Drittel seiner Studierenden interessiert sich nach solchen Vorlesungen für ethische Fragen.

Auf diesem Wege sickern Informatiker, die für Ethik sensibilisiert sind, also allenfalls in homöopathischen Dosen in die IT-Branche ein.

***

Silicon Kotti nennen manche die Gegend um das Kottbusser Tor in Berlin-Kreuzberg, in der in fast jedem Hinterhof an irgendeinem Start-up gearbeitet wird. Hier, in einem der Co-Working-Spaces, sitzt das Projekt Hoodie. Jan Lehnardt klappt den Laptop zu und setzt sich auf eine rote Ledercouch in die Besprechungsecke. Ein junger Typ mit langem braunem Bart, eckiger Entwicklerbrille und natürlich: mit Kapuzenpullover.

Lehnardt ist einer der Gründer von Hoodie, einem Projekt, bei dem Menschen gemeinsam Software entwickeln, die es einfach machen soll, Web-Applikationen zu bauen. Damit auch Menschen mit geringeren Programmierkenntnissen in der Lage sind, Ideen für Apps umzusetzen. Aber während an den Codezeilen gearbeitet wird, soll noch etwas anderes entstehen: eine neue Kultur der Offenheit bei solchen Projekten.

Hoodie benutzt zum Beispiel in der internen Kommunikation einen Chatbot, ein Programm, das versucht, für genderneutrale Sprache zu sensibilisieren. Begrüßen sich die Leute dort mit „Hi guys“, korrigiert der Bot: Meinst du nicht eher „Hey team“? Nachfragende versorgt der Bot mit weiteren Links, warum das wichtig ist – und wie Sprache Realität formt.

„Software-Entwicklung ist ein Akt der Repräsentation“, sagt Lehnardt. „Ich bin ein weißer Mann. Ich kann keine Software für eine indische Frau programmieren – egal wie viel Empathie ich aufbringe.“ Wie solle er wissen, welche Probleme für sie aus dem Code entstehen können, den er in die Tastatur tippt?

Das Team hat sich einen Verhaltenskodex gegeben, an den sich alle, die am Projekt mitarbeiten, halten sollen. Es geht viel um Diversität und darum, dass Diskriminierung nicht toleriert wird. Lena Reinhard sitzt neben Jan Lehnardt auf dem roten Sofa. Sie schreibt unter anderem für einen feministischen Blog – und von ihr stammt die erste Version der Hoodie-Hausordnung.

Prognostizieren die NSA-Algorithmen, dass ­jemand ein Terrorist sein könnte, schickt ein Pilot ­möglicherweise in Pakistan die Killerdrohnen los

Das Google-Projekt AMP, das besonders schnelle Ladezeiten für mobile Anwendungen auf Smartphones organisieren will, hat den Text von Hoodie wörtlich übernommen.

Es gibt bereits Beispiele dafür, was schief laufen kann, wenn nur eine bestimmte Klasse und Ethnie die Algorithmen prägen, die später alle benutzen sollen. Wie eine Foto-App von Google, die Bilder von Schwarzen automatisiert in einen Ordner einsortierte, der mit dem Wort „Gorillas“ getaggt war. Von dem Algorithmus falsch erkannt. Was viel mit nicht ausgereifter Technik zu tun hat. Und wohl noch mehr damit, dass die Programmierer, die die Software getestet haben, vermutlich weiß waren – und an diese Art der Probleme gar nicht gedacht haben.

Ein schwarzer Twitter-­Manager kündigt

Im Silicon Valley machen Schwarze und Hispanics von Facebook über Microsoft bis zu Google gerade einmal drei bis sechs Prozent der Mitarbeiter aus. Der ehemalige Twitter-Manager Leslie Miley schreibt in einem Blogeintrag davon, wie er immer wieder versuchte, Fragen von Diversität bei Twitter zu thematisieren. Miley hatte zuvor bei Apple und Google gearbeitet und war bei Twitter der einzige Schwarze in der Managementetage. Von seinen Vorgesetzten habe er die Antwort bekommen, Diversität sei wichtig, aber Twitter könne nicht das Niveau senken. Womit sie quasi implizierten, das sei nötig, um mehr Nichtweiße einzustellen.

Was sind Algorithmen?

Definition: Algorithmen sind Rechenvorgänge, die nach einem bestimmten Schema ablaufen, das sich immer wiederholt. Durch Anweisungen, wie mit Datensätzen umgegangen werden soll, können Algorithmen dazulernen und eigene Schlüsse ziehen, die sich manchmal schwer nachvollziehen lassen.

Diskriminierung: Wegen der Art und Weise, wie ein Algorithmus Daten verarbeitet, kann es dazu kommen, dass Menschen aufgrund von Hautfarbe, Geschlecht oder Klasse benachteiligt werden.

Antidiskriminierung: Ein US-Forschungsteam will verhindern, dass Algorithmen Vorurteile bestärken. Sie versuchen, persönliche Informationen wie Hautfarbe oder Religion aus den Berechnungen des Algorithmus abzuleiten, ohne dass diese Daten vorher eingespeist wurden. Dies kann auf Diskriminierung hinweisen.

Dann kam bei Twitter die Idee auf, ein Analysewerkzeug zu programmieren, das herausfinden sollte, warum eigentlich nicht mehr Menschen verschiedener Ethnien bei Twitter eingestellt werden. Miley sollte daran mitarbeiten. Und wurde von einem Vorgesetzten mit der Idee konfrontiert, dass anhand des Namens von Bewerbern ihre ethnische Zugehörigkeit erraten werden sollte. Was Miley wütend machte.

So wütend, dass er Twitter verließ und nun bei einem Start-up arbeitet, das unter anderem ein Diversity-Tool entwickelte, um IT-Firmen zu helfen, mehr Frauen, ethnische Minderheiten und ältere Mitarbeiter einzustellen.

Auch Hoodie versucht, gezielt Menschen zu fördern, die durch das Raster fallen. Wie etwa die Mutter, die sich trotz begrenzter Zeit bei dem Projekt einen Namen machen will.

Hoodie ist ein Open-Source-Projekt – eines von vielen in der Programmiererszene. Von außen besehen eine nette Utopie: Menschen arbeiten gemeinsam an Software, oft ohne damit Geld zu verdienen, alles, was sie programmieren, ist offen zugänglich. Heraus kommt irgendwann ein Produkt, das Menschen in den meisten Fällen kostenlos nutzen können. Das halbe Internet basiert auf derartiger Software, einflussreiche Programme wie der Browser Firefox sind so entstanden. Faktisch ist die Szene aber gar nicht zwangsläufig so nett und offen, wie das alles erst einmal klingt.

Der Mensch als letzter störender Faktor im System „Wir fangen an, uns so anzupassen, dass wir ­immer die perfekten Eingaben für Geräte liefern“Stefan Ullrich, Informatiker und Philosoph

Jan Lehnardt spricht von einer „Tyrannei der Strukturlosigkeit“. Er hat schon an mehreren solcher internationalen Projekte mitgearbeitet. In einem hat er erlebt, wie die offene Gemeinschaft von Programmierern damit haderte, sich von jemandem zu distanzieren, der zwar einen guten Code für ihr Vorhaben produzierte, sich aber ansonsten ziemlich daneben benahm. Weil: Wie wirft man jemanden aus einem Projekt, an dem alle frei und ungebunden mitarbeiten? „Oft gibt’s da gar keine offene Feindlichkeit, sondern implizites Macht- und Testosterongehabe“, sagt Jan Lehnardt. „Bei so einem Freiwilligenprojekt mitzuarbeiten, das muss man sich erst mal leisten können“, sagt Lena Reinhardt – in der Regel seien das extrem privilegierte Leute. Man könnte auch sagen: Gut ausgebildete weiße Männer ohne familiäre Bindung, die über andere Jobs genug Geld verdienen, bestimmen hier. Reinhardt rattert Studien herunter: Eine zeigt, dass in den formell so basisdemokratischen Open-Source-Projekten faktisch meist nur wenige Leute Entscheidungen treffen. Eine andere, dass ein Code, den Frauen für eine kollaborative Software entwickeln, häufiger weiterverwendet wird, wenn nicht transparent war, dass eine Frau ihn schrieb.

Jan Lehnardt sagt, er habe erst durch Lena Reinhard gemerkt, was für ein Jungsclub die Szene ist, in der er selbst immer Förderer fand. Leute, zu denen er schnell einen Draht aufbaute, reagierten auf Reinhard plötzlich ganz anders.

Arbeiteten unterschiedlichere Menschen in der IT-Branche, würde sich das auch in den Algorithmen niederschlagen, glauben Forscher. Es ist eine Entwicklung, die noch verflucht lange dauern wird. Aber es kann ein kleiner Baustein sein. So wie alle anderen Versuche, Algorithmen Ethik beizubringen: technische Lösungen, Transparenz, Gesetze, Informatikerausbildung.

Auch das Kernteam von Hoodie ist kein Abbild der Gesellschaft. Viele weiße Männer aus Europa und den USA arbeiten an der Software. Ein paar Frauen. Eine von ihnen aus Kamerun. Eine Person, die sich weder als Frau noch als Mann begreift. In vielen Punkten sei man noch nicht so weit, sagt Lena Reinhard.

Wenn er durch Berlin-Neukölln laufe, dann denke er manchmal darüber nach, warum er die Leute, die er da auf der Straße sehe, nie auf Software-Entwicklertreffen sehe, sagt Jan Lehnardt. Arabische oder türkische Coder sind in Deutschland selten. Es gebe keinen einzigen Muslim bei Hoodie. „Da müssen wir uns auch fragen: Wie passt das damit zusammen, dass wir Geburtstage in einer Bar feiern?“

Alkohol bei Betriebsfeiern und geringer Anteil muslimischer Mitarbeiter – vielleicht kann ein Algorithmus eine Korrelation erkennen.

Meike Laaff, 35, ist Redakteurin im Ressort tazzwei/Medien

Juliane Pieper, 40, arbeitet als freie Illustratorin in Berlin