Navigation

BiblioTalk «Diskriminierende Algorithmen: Wie künstliche Intelligenz Geschlechterstereotypen und Ungleichheiten produzieren kann»

Transkript

Fachstelle für Gleichstellung Stadt Zürich, 10.12.2024

Einführung von Mirjam Gasser, Fachstelle für Gleichstellung

Guten Abend. Ich begrüsse Sie sehr herzlich zum heutigen BiblioTalk «Diskriminierende Algorithmen: Wie künstliche Intelligenz Geschlechterstereotypen und Ungleichheiten produzieren kann». Mein Name ist Mirjam Gasser, ich leite die Fachstelle für Gleichstellung und freue mich, Sie durch den heutigen Abend zu führen. Besonders begrüssen möchte ich unsere heutige Referentin, Angela Müller; herzlich willkommen und schön, dass Sie da sind.

Sabine Rock wird den BiblioTalk aufzeichnen – ich bitte Sie darum im Frageteil immer in ein Mikrofon zu sprechen. Wir werden im Nachgang den BiblioTalk zum Nachhören und auch transkribiert zum Nachlesen zur Verfügung stellen.

Ein paar Worte zu unserer Fachstelle, für all diejenigen, die sie nicht kennen: Die Fachstelle für Gleichstellung der Stadt Zürich setzt sich ein für die rechtliche und tatsächliche Gleichstellung von Frauen und Männern, von Lesben, Schwulen, Bisexuellen, intergeschlechtlichen und trans Menschen und das in allen Lebensbereichen. Wir befinden uns hier in der Bibliothek zur Gleichstellung. Wir führen ungefähr 6000 Bücher und Publikationen zum Thema. Sie können die Bücher gratis ausleihen, und zwar immer am Dienstag den ganzen Tag und am Donnerstagnachmittag. Wir beraten Sie gerne. Bitte melden Sie sich doch vorgängig an, entweder per Telefon oder per E-Mail. Verantwortlich für die Bibliothek ist Barbara Lienhard.

Und normalerweise stellen wir hier in diesem Regal auch Bücher und Publikationen zum Thema des BiblioTalks aus. Das konnten wir heute leider nicht, weil es eigentlich noch sehr wenig gedruckte und deutschsprachige Literatur zum Thema KI und Gleichstellung gibt. Und das zeigt eben auch, wie rasch diese Entwicklung vor sich geht. Jetzt ist aber von der Eidgenössischen Kommission für Frauenfragen – die aktuelle Zeitschrift widmet sich dem Thema KI, Algorithmen und Geschlecht. Und darin finden Sie auch ein Interview mit Angela Müller. Die Zeitschrift kann gratis beim Bund bestellt werden.

Das Thema

Damit zum heutigen Thema: Die digitale Transformation stellt auch die Gleichstellungsarbeit vor neue Herausforderungen. Sie bietet Chancen aber natürlich auch Herausforderungen. Einerseits ermöglichen neue Technologien flexiblere Arbeitsmodelle, auch verkürzte Erwerbsarbeitszeiten, was natürlich Chancen bietet für die Vereinbarkeit von Familie und Beruf. Andererseits sind diese Möglichkeiten in vielen Bereichen, in denen überwiegend Frauen arbeiten, etwa in der Pflege oder der Bildung, eingeschränkt. Denn diese Berufe sind nicht, oder nicht vollumfänglich, oder eben weniger digitalisierbar. Eine weitere Herausforderung besteht darin, dass künstliche Intelligenz und Algorithmen oft auf voreingenommene und unvollständige Daten zugreifen. Und eben in Bezug auf Geschlecht, Geschlechtsidentität oder auch sexuelle Orientierung eine diskriminierende Wirkung entfalten können. Aber natürlich bietet künstliche Intelligenz auch Chancen. Und diese Frage der Chancen wollen wir heute Abend stellen und gleichzeitig wollen wir auch Fragen aufwerfen, wie und in welchen Bereichen können Algorithmen diskriminierend wirken? Was ist der aktuelle rechtliche Rahmen? Und wie kann der Schutz vor Diskriminierung gestärkt werden?

Die Referentin

Und nun freue ich mich, Ihnen unsere Referentin Dr. Angela Müller vorzustellen, sie ist Juristin und Politikphilosophin. Sie beschäftigt sich mit den Auswirkungen von Algorithmen auf Menschenrechte und Gesellschaft – und mit deren Regulierung auf internationaler, europäischer, aber auch Schweizer Ebene. Sie ist Geschäftsleiterin von AlgorithmWatch CH und die Leiterin des Policy & Advocacy-Teams in Berlin und Zürich. Und sie war Sachverständige in Anhörungen des Europarats, des Deutschen Bundestags wie auch des Schweizer Parlaments und wurde 2024 als eine von «100 Women in AI Ethics» weltweit ausgezeichnet. Sie ist Mitglied einer Expert*innengruppe der schweizerischen Bundesverwaltung wie auch der Eidgenössischen Medienkommission. Und ich freue mich sehr, dass sie heute hier ist.

Angela Müller wird ungefähr 40min referieren, danach haben Sie Zeit, Fragen zu stellen wir können diese zusammen diskutieren und schliesslich laden wir Sie gerne auf einen Apéro hier auf der Galerie ein. Danke.

Referat «Diskriminierende Algorithmen: Wie künstliche Intelligenz Geschlechterstereotypen und Ungleichheiten produzieren kann»

Angela Müller: Ja, ganz herzlichen Dank für die Einladung, für die Begrüssung. Stimmt also alles, was gesagt wurde. Es war ein bisschen lang. Aber vielen Dank. Ich freue mich sehr, heute hier zu sein. Gerade eben, weil ihr auch sagt, dass es noch nicht so viele Bücher gibt, die ihr in die Bibliothek nehmen könnt. Und ich glaube, das Thema ist überall, aber irgendwie so richtig fassbar, was das dann auch vielleicht für Fragen von Gleichbehandlung und Gerechtigkeit bedeutet, glaube ich, das verdient durchaus auch mehr Aufmerksamkeit.

AlgorithmWatch

[Folie 2] Vielleicht ganz, ganz kurz zu Beginn zu uns, weil leider wahrscheinlich nicht alle von Ihnen AlgorithmWatch kennen. AlgorithmWatch ist eine NGO. Uns gibt es in Zürich und in Berlin und unser Fokus ist wirklich – wir sind jetzt nicht einfach eine Techie-Organisation, die irgendwie den ganzen Tag alle vor fünf Bildschirmen sitzen, sondern wir fokussieren wirklich auf die Auswirkung, die Algorithmen und KI auf Mensch und Gesellschaft haben können. Und unsere Mission – ich würde sagen eigentlich ziemlich einfach: Wir wollen, dass diese Systeme nützen und nicht schaden. Das heisst, dass sie Grundrechte, Demokratie, Gerechtigkeit und Nachhaltigkeit stärken, statt sie eben zu schwächen. Und wir sind ziemlich überzeugt: Da gibt es noch etwas zu tun auf dem Weg dahin. Genau. Und wie machen wir das? Unser Ansatz, das ist immer sehr schwierig auf Deutsch zu übersetzen, deswegen hier der Anglizismus «Evidence Based Advocacy». Das heisst, wir machen auch Forschungsprojekte, wir machen investigativen Journalismus, und auf Basis dessen machen wir eben Advocacy-Arbeit, was wir auch breit verstehen. Einerseits Empfehlungen zuhanden der Politik und dann sozusagen Lobbying in der Politik, aber eben auch sehr viel Öffentlichkeitsarbeit, Kampagnen, Awareness-Raising, Sensibilisierung für die Thematik.

Wovon sprechen wir?

[Folien 3-5] Genau. So viel zu uns. Und jetzt stellt sich natürlich die Frage: Wovon sprechen wir, wenn wir von Diskriminierung durch Algorithmen und KI sprechen? Weil sehr viele Leute, wenn sie das Stichwort KI hören, natürlich erstmal daran denken oder besonders jetzt seit zwei Jahren daran denken. Das heisst generative KI Systeme, die eben zum Beispiel Texte oder Bilder oder Videos oder Audios generieren können. Das ist eine Art von KI. Ja, und davon sprechen wir auch. Aber es ist eben nur eine Kategorie von KI oder von Algorithmen. Und es gibt auch ganz, ganz viele andere. Und die gab es auch schon vor November 22. Sie ist nicht einfach dann vom Himmel gefallen. Und was es auch gibt – und das ist uns ein besonderes Anliegen eben auch zu beleuchten – ist, dass es eine ganze Bandbreite auch von algorithmischen Systemen gibt – ob das dann KI ist oder nicht, darüber könnten wir jetzt einen eigenen Abend machen – die auch Entscheidungen über Menschen beeinflussen, in ganz, ganz verschiedenen Bereichen. Oder eingesetzt werden, um Entscheidungen über Menschen zu treffen oder eben Prognosen, Empfehlungen über Menschen zu treffen, oft unter dem Stichwort «automatisierte Entscheidungsfindung». Und auch hier, glaube ich, ist es sehr, sehr wichtig, eben das Ganze zu beleuchten, was wir in unserem Atlas der Automatisierung – das ist eine Datenbank von Systemen (Ich komme darauf zurück.) – eben auch tun.

Zum Einsatz von Algorithmen & KI

[Folien 6-9] Jetzt, die Frage ist, was wissen wir denn zum Einsatz von Algorithmen und KI? Und ich glaube, es ist schon wichtig und relevant, dass wo diese Systeme eingesetzt werden, von wem zu welchem Zweck: Das ist heute noch weitgehend, würde ich sagen, eine Blackbox im Sinne von, wir haben nicht wirklich eine evidenzbasierte Debatte dazu in der Öffentlichkeit, wo genau diese Systeme eingesetzt werden und was das denn eben für Auswirkungen haben kann. Gleichzeitig, was wir sehen und wozu wir eben auch Evidenz haben, ist, dass diese Systeme Auswirkungen haben können auf Menschen und ihre Grundrechte und eben auch damit Auswirkungen auf die Gesellschaft als solche und eben auch zu Ungerechtigkeiten und Diskriminierungen führen können. Und ich führe sie jetzt durch ein paar Beispiele, um das eben auch zu illustrieren und greifbar zu machen, wovon wir hier sprechen.

[Folie 10] Einerseits werden Systeme, wie gesagt, eingesetzt, um Entscheidungen zu treffen, über Menschen – oder Entscheidungen zu beeinflussen – in ganz, ganz verschiedenen Bereichen sei das jetzt im Bereich der Bildung, am Arbeitsplatz, um die Kreditwürdigkeit von Menschen zu berechnen, aber auch in der öffentlichen Verwaltung, im Sozialleistungsbereich, Migrationsbereich usw. Und dabei können sie eben auch zu Ungerechtigkeiten führen. Oft ist es aber auch sehr intransparent – für Betroffene schwer nachvollziehbar, wo sie eingesetzt werden, und es kann eben zu Auswirkungen auf Grundrechte, besonders Diskriminierung kommen.

[Folie 11] Vielleicht ein Beispiel, um das herauszugreifen, vielleicht kennen das die einen oder anderen von Ihnen. Das ist der sogenannte Kindergeldskandal in den Niederlanden. Sie können sich vielleicht erinnern: Vor etwa drei Jahren ist in den Niederlanden die Regierung zu Fall gekommen aufgrund dieses Skandals. Es wurden Zehntausende von Familien hier aufgefordert, fälschlicherweise aufgefordert, Kindergelder zurückzubezahlen. Das ist so eine staatliche Leistung, die man für die Kinderbetreuung erhält, und 10.000 davon wurden fälschlicherweise aufgefordert, das zurückzubezahlen. Und was eben medial weniger präsent war, ist, dass dahinter ein automatisiertes System gesteckt hat. Das heisst auch ein diskriminierender Algorithmus, bei dem solche Merkmale wie zum Beispiel doppelte Staatsbürgerschaft als Risikoindikator gewertet wurden. Und dann wurden eben automatisiert diese Rückforderungszahlungen ausgelöst. Ziemlich dramatisch für die Familien. Sie können sich das vorstellen, die haben diese Kindergelder über Jahre erhalten, mussten das alles zurückzahlen. Es wurden auf Grund des Skandals über 1000 Kinder fremdplatziert, weil die Familien wurden zum Teil in den Ruin getrieben. Das waren natürlich enorme Summen, die sie auf einmal zurückbezahlen mussten. Also sehr dramatische Konsequenzen, die das hatte. Natürlich ist das nie monokausal. Es sind immer ganz viele Stellen und Menschen involviert, wenn so etwas passiert. Aber ich denke doch, ein sehr eindrückliches Beispiel.

[Folie 12] Dann eben auch im Bereich Polizei, Migration, Justiz, wo sich das oft anbietet, weil es halt da oft auch um Massendaten geht und sich deswegen diese Systeme anbieten und es eben auch da zum Teil sehr undurchsichtig ist und eben auch zu Ungerechtigkeiten kommen kann, die sehr relevante Auswirkungen haben auf Menschen.

[Folie 13] Das ist das Beispiel von Gesichtserkennungsalgorithmen, die eben zum Teil auch die Tendenz haben, People of Color weniger gut zu erkennen – wobei man sagen muss, das lässt sich jetzt auch nicht nur auf technischer Ebene lösen – und dann eben auch schon zu falschen Verhaftungen geführt haben.

[Folie 14] Dann der Bereich öffentliche Debatte. Ich glaube, das ist präsenter, auch in unserer Wahrnehmung oder in unserer Debatte. Wo es eben auch dazu kommen kann, dass Menschen, die vielleicht sowieso schon in prekären Situationen sind oder die sowieso online schon eher Hass ausgeliefert sind, da noch doppelt benachteiligt werden können oder ungerecht behandelt werden können. Sei es jetzt aufgrund der Geschlechtsidentität oder anderen Dimensionen.

[Folie 15] Vielleicht ein Beispiel aus Social Media. Wichtig ist ja zu sagen: Social Media, das Geschäftsmodell funktioniert so, wir sollten möglichst lange online bleiben. Je länger das wir online bleiben, desto mehr Geld verdient das Unternehmen dahinter. Das heisst, was versuchen diese Algorithmen, die uns eben personalisiert Inhalte anzeigen? Die versuchen, uns damit möglichst lang online zu behalten. Und wie machen Sie das? Es zeigt sich eben, dass natürlich polarisierende Inhalte, emotionalisierende Inhalte, aufstachelnde Inhalte eher die Menschen zu Interaktion anregen – das kann ja auch einfach aus Ablehnung sein, aber einfach diese Interaktion auch befeuern und deswegen uns schlussendlich in der Summe länger online behalten. Und das kann eben auch dazu führen, dass zum Beispiel frauenfeindliche Inhalte usw., diskriminierende Inhalte, eher heraufgespült werden, sozusagen, vom Algorithmus.

[Folie 16] Genau, dann aber auch – und das ist ja das, was auch in den letzten Monaten oder zwei Jahren sehr fest auch in der Debatte war: Wie ist es denn mit KI generierten Inhalten? Also wenn man wirklich Texte, Bilder, Videos, Audios erstellt mit KI Und was bedeutet das eben für die Betroffenen? Ich glaube, hier ist wichtig zu sagen, oft wir gesprochen sozusagen entscheidet jetzt der Deepfake die US Wahl? Ich glaube es muss auch nicht so extrem sein, als dass man trotzdem sagen kann, es ist relevant. Vielleicht auch das Beispiel links oben aus Spanien, wo man sieht: Ja, es ist auch relevant, wer ist am ehesten davon betroffen? Zum Beispiel von solchen in solchen Deepfakes irgendwie dargestellt zu werden. Und das sind vielleicht dann auch wieder eher nicht-privilegierte Gruppen usw.

[Folie 17] Ein Beispiel aber auch, um das zu veranschaulichen, was auch Sie in der Einführung gesagt haben, wie denn diese KI, also diese generativen KI Systeme, eben auch Inhalte darstellen und Inhalte produzieren. Hier das Beispiel: Wenn man – das war ein Experiment, das wir gemacht haben – wenn man hier den Englischsprachigen Prompt [«A presidential candidate is giving a speech in the street.»] eingibt, der ja genderneutral ist auf Englisch, dann wird der Presidential Candidate aber eigentlich immer als mittelalterlicher weisser Mann dargestellt. Dasselbe zum Beispiel auch, wenn man so doctor and nurse – die Geschlechterverteilung ist ziemlich klar.

Also woher kommt das? Diese Systeme beruhten auf Unmengen von Daten und diese Daten kommen eigentlich vereinfacht gesagt einfach aus dem Internet. Und das Internet ist keine Blumenwiese, sondern bildet natürlich auch unsere gesellschaftlichen Stereotypen, diese gesellschaftlichen Diskriminierungsmuster, die gesellschaftlichen Ungerechtigkeiten und Denkmuster ab, übernimmt diese und baut sie dann natürlich ein. Ich glaube, was wichtig ist daran zu sagen, diese Systeme kommen ja immer sehr innovativ daher, haben aber natürlich, weil sie auf diesen Daten beruhen, die ja per se immer aus der Vergangenheit kommen müssen, auch einen sehr konservativen Kern. Oder sie können nicht anders als die Vergangenheit eben auch reproduzieren und so auch natürlich die Vergangenheit in die Zukunft tragen, weil sie es ja dann auch in ihre Outputs über die Zukunft oder für die Zukunft einbauen.

[Folie 18] Und dann möchte ich aber noch zu einem dritten Bereich kommen, wo sich vielleicht die Diskriminierungen weniger klar oder vielleicht auch weniger justiziabel zeigen, aber wo es trotzdem eben auch zu zum Teil subtileren, aber doch relevanten Ungerechtigkeiten kommen kann. Und zwar glaube ich, dass es sehr wichtig, wenn wir über KI sprechen, dass wir nicht nur über ein einzelnes System sprechen, sondern dass wir auch darüber sprechen – was steckt denn eigentlich hinter dieser KI? Was ist, was hat diese ganze Wertschöpfungskette für uns zu bedeuten? Was hat sie für Auswirkungen auf Menschen entlang der ganzen Wertschöpfungskette? Was für eine Industrie, was für eine politische Ökonomie steckt denn da auch dahinter? Und befördert das wirklich Gerechtigkeit? Und ist das wirklich sozusagen, wie sie entwickelt wird, im Nutzen der ganzen Welt oder eben im Nutzen von einigen wenigen?

[Folie 19] Das eine ist auch etwas unterbeleuchtet: Die Umweltauswirkungen, die das auch haben kann, beziehungsweise der enorme Ressourcenverbrauch, die die Entwicklung dieser Systeme eben auch hat. Da müssen enorme Datenzentren zum Beispiel gebaut werden. Ein Datenzentrum verbraucht ungefähr so viel Wasser wie drei Spitäler. Die werden sehr oft in Wüstengebieten usw. gebaut, wo die Menschen das Wasser eigentlich auch gut gebrauchen könnten. Dann aber auch in der Nutzung – jede Konversation, die sie so mit GPT schnell führen, ein paar Fragen hin und her, verbraucht ungefähr einen halben Liter Wasser. Also das ist schon sehr relevant.

[Folie 20] Dann aber auch die Arbeitsbedingungen entlang der Wertschöpfungskette. Diese Daten, das sind Unmengen von Daten, die müssen aufbereitet werden. Das wird zum Teil outgesourced auch in den globalen Süden. Da entstehen sogenannte Digital Sweatshops, nicht viel anders, wie wir das von der Textilindustrie kennen, wo Leute dann natürlich zum Teil auch traumatisierende Arbeit machen, weil sie da irgendwelche toxischen Inhalte aussortieren müssen. Am anderen Ende der Wertschöpfungskette dann sehr oft KI basierte Plattformen wie Uber und co., die natürlich dann auch nicht bekannt sind für ihre fairen Arbeitsbedingungen.

[Folie 21] Und dann aber ein letzter Punkt. Und ich glaube, auch das ist wichtig und dürfen wir nicht vergessen, wenn wir über Ungerechtigkeiten im Zusammenhang mit KI sprechen. Die KI, die wir im Moment haben, die ist in den Händen von einigen wenigen Unternehmen, die von einigen wenigen Menschen geführt wird. Und auch da, glaube ich, muss man sich fragen, wie können wir dazu beitragen, dass diese Technologie am Schluss allen zugute kommt und nicht nur den einen wenigen?

Was beobachten wir?

[Folie 22 -25] Genau. Also zusammenfassend, was beobachten wir? Die Systeme werden zunehmend eingesetzt und das eben auch in sensitiven Bereichen. Wichtig ist auch hier zu sagen Sie werden natürlich auch in weniger sensitiven Bereichen eingesetzt. Die KI, die das Fliessband steuert oder die Wetterprognose vielleicht besser macht, glaube ich, ist auch sehr relevant. Aber nochmals auf eine andere Weise, wie in Bereichen, wie wir sie gesehen haben, wo Menschen sehr direkt betroffen sind.

Und – das als kurzer Einschub in Klammer – das ist natürlich auch in der Schweiz der Fall. Ich glaube, oft ist das noch ein bisschen undurchsichtiger. Wie gesagt, hier nochmals der Hinweis auf unseren Atlas der Automatisierung, wo wir ohne Anspruch auf Vollständigkeit, aber in einer Datenbank exemplarisch auflisten: Wo werden denn zum Beispiel in der Schweiz solche algorithmischen Systeme eingesetzt?

Genau, was beobachten wir? Sie werden zunehmend eingesetzt. Wie gesagt, Algorithmen sind nicht neutral und objektiv. Ich glaube, davon müssen wir uns verabschieden. Das heisst nicht, dass sie deswegen böse sind. Aber sie sind, wenn man einen Algorithmus entwickelt, wenn man ihn einsetzt, trifft man Unmengen von Entscheidungen, die man anders treffen könnte: Welche Daten verwende ich? Welches Modell entwickeln wir? Welche Parameter sind relevant, welche Kriterien usw., und das sind ganz viele Entscheidungen, die natürlich einfliessen in wie dieses System dann auch performt. Und ich glaube, dessen muss man sich bewusst sein. Wie gesagt, das heisst nicht, dass sie deswegen immer schlecht und böse sind, aber sie sind nicht einfach neutral und objektiv.

Sie können eben – das haben wir gesehen – zum Beispiel aufgrund der Daten auch gesellschaftliche Denkmuster reproduzieren und so auch diskriminieren. Wichtig auch zu sagen, sie könnten natürlich auch verwendet werden, um Diskriminierung aufzudecken. Weil was Algorithmen ja ganz gut können, ist eben Muster erkennen, zum Beispiel eben auch Diskriminierungsmuster. Dann müssten sie aber auch spezifisch zu diesem Zweck eingesetzt werden, und das – ist unsere Beobachtung – werden sie aber eigentlich noch sehr selten. Das grosse Versprechen ist immer noch die Effizienzsteigerung und weniger jetzt sozusagen die Erhöhung von Chancengleichheit.

Algorithmische Diskriminierung – Ursachen

[Folie 26] Dann ganz kurz noch zu den Ursachen algorithmischer Diskriminierung. Es ist wichtig zu sagen, dass es ganz, ganz viele Ursachen gibt. Das heisst auch, es gibt verschiedene Anknüpfungspunkte, was man dagegen tun kann. Und ich glaube, deswegen ist es wichtig, diese Ursachen zu sehen. Wir haben gesprochen von den Daten, der Datengrundlage. Wenn das natürlich Verzerrungen hat in den Daten, wenn man zum Beispiel ein KI-System trainiert aufgrund von Daten der bisherigen Belegschaft und das KI-System soll dann Leute rekrutieren oder CVs vorsortieren, und die bisherige Belegschaft aber zu 90 % männlich war, wird das System das natürlich lernen und dann auch entsprechend eher Männer vorschlagen. Das heisst, diese Daten, diese Verzerrungen in den Daten sind sehr, sehr relevant, aber auch die Repräsentativität der Daten.

Oder wenn wir sagen, die Systeme greifen einfach Daten aus dem Internet ab, ist auch wichtig zu sagen, gewisse Stimmen sind im Internet sehr viel prominenter vertreten als andere. Ich weiss nicht, der politische Diskurs in der Zentralafrikanischen Republik hat einfach tatsächlich – da gibt es weniger Datenpunkte darüber im Internet wahrscheinlich als über die US-Wahlen usw. Man nennt das ja auch das «GIGO-Prinzip», also «garbage in, garbage out» bei den KI-Systemen.

Dann aber auch, kann das Modell natürlich zu Diskriminierung führen. Also ein Modell ist immer eine Vereinfachung auch der Realität, wenn man versucht das sozusagen in ein Modell zu pressen. Man wählt gewisse Parameter als entscheidenden Kriterien usw. Es ist ein Team dahinter, das dieses System entwickelt, das diese Entscheidungen trifft. Das heisst auch Wertehaltungen so eines Teams können natürlich da reinspielen, genauso wie Wertehaltungen, Prozesse, Strukturen, wenn dann so ein System verwendet wird. Also dasselbe System kann auch auf sehr viele verschiedene unterschiedliche Arten eingesetzt werden. Einerseits kann nur schon der Einsatzzweck diskriminierend sein. Also wenn ich rausfinden will, wer besucht da sozusagen dieses LGBTIQ-Lokal, dann ist da vielleicht der Einsatzzweck selbst schon diskriminierend, aber eben auch die Einsatzweise. Zum Beispiel streiche ich alle fünf Stellen rundherum und das System soll mir jetzt alles ersetzen oder versuche ich verantwortungsvoll damit umzugehen, dass die Leute eben die Zeit haben, den Output des Systems zum Beispiel auch kritisch zu hinterfragen, zu prüfen usw. Das sind sehr, sehr wichtige Faktoren,

Zum Beispiel auch Automation Bias. Ein sehr relevanter Faktor. Das bedeutet, wenn ein System zum Beispiel eine Prognose ausspuckt – im Bereich häusliche Gewalt sehen wir das zum Beispiel wo ein System eine Prognose macht, wie gross ist das Risiko, dass es bei dieser Person noch mal zu einem Vorfall von häuslicher Gewalt kommt – und Sie müssen sich vorstellen, wenn zum Beispiel der Polizist, die Polizistin konfrontiert ist damit und das System sagt hier «Grün. Kein Risiko.» Dann müsste die Person sich ja rechtfertigen und sagen: Doch, ich will jetzt aber trotzdem diese zusätzlichen Schutzmassnahmen usw. Die kosten alle, die brauchen Zeit. Ich muss das beantragen usw., um sozusagen, dass das System zu hinterfragen. Aber auch umgekehrt, also wenn das System sagt «Rot.» und auch dann müsste die Person sich rechtfertigen und sagen: Nein, ich glaube das ist echt jetzt nicht so relevant, da können wir unbesorgt sein usw. Das führt dazu, dass Leute, die mit einem System interagieren, halt einfach die Tendenz haben, immer der Prognose des Systems zu folgen, weil sie auch schwierige Entscheidungen treffen müssen und ja froh sind, sie können sich auf etwas abstützen. Das nennt man eben diesen automatischen Bias. Dass dann eigentlich Systeme, die eigentlich nur eine Prognose geben sollten und nicht vollständig die Entscheidung treffen, de facto aber eigentlich sehr oft die Entscheidung treffen, weil einfach ihre Prognose übernommen wird. Das heisst, Diskriminierung kann eben auch einfliessen durch die Art und Weise, wie Menschen die Systeme einsetzen und sie verwenden. Und ich glaube, das ist wichtig zu sehen.

Algorithmische Diskriminierung – Spezifika

[Folie 27] Jetzt was ist denn spezifisch auch an diesem System von algorithmischer Diskriminierung oder an diesem Phänomen von algorithmischer Diskriminierung? Das erste ist natürlich schon mal, dass es schwer erkennbar ist. Oft werden Systeme natürlich auf ganz viele Menschen angewendet und es ist sehr oft intransparent, die Menschen wissen nicht, dass eine Entscheidung mithilfe eines Systems getroffen wurde. Ich will nicht zu technisch werden, aber Algorithmen haben schon nochmals eine spezifische Art, wie sie auch diskriminieren können. Vielleicht, um das an einem einfachen Beispiel zu veranschaulichen: Wenn wir zum Beispiel sagen okay, CVs, da zeigt sich: Weiblich gelesene Personen werden sehr oft diskriminiert, also keine Angaben mehr zur Geschlechtsidentität im CV ist doch dann die Lösung. Nur die Systeme können dann auch sozusagen Proxy-Variablen erkennen, zum Beispiel Hobbys, die oft ein Indikator sind für die Geschlechtsidentität oder eine Postleitzahl, die ein Indikator sein kann für eine sozioökonomische Herkunft und und und. Oder so etwas wie eine Mädchenschule als Ausbildungsstätte usw. Also das heisst, dass es dann auch aufgrund von solchen Proxy-Variablen, die das System dann halt trotzdem erkennt und da ein Muster erkennt, dann trotzdem zu Diskriminierungen kommen kann. Und eben auch die Herausforderung der intersektionellen Diskriminierung, dass es eben dann aufgrund natürlich mehrere Merkmale gleichzeitig zu Diskriminierung kommen kann.

Sehr oft ist die Herausforderung auch, dass es schwer erkennbar ist und eben auch schwer, ein individuelles Opfer zu identifizieren. Wenn es dann eben auch um die Frage geht, wie kann man dagegen vorgehen rechtlich? Weil es eben sich dann um eine systematische Diskriminierung handelt. Also einerseits, weil man zum Beispiel bei den Stereotypen, die reproduziert werden, in den Bildern natürlich sehr schwer festzumachen ist rechtlich, wo ist jetzt hier wirklich das individuelle Opfer, das sich zur Wehr setzen sollte? Aber natürlich auch, weil da Skaleneffekte mitspielen und eben das dann sehr oft systematisch passiert. Es kann zu Rückkopplungsschleifen kommen, das heisst, Prognosen des Systems können dazu führen, dass die Diskriminierung weitergeführt wird. Wenn das System sagt, in dieser Nachbarschaft werden ganz viele Verbrechen verübt, dann führt das dazu, dass die Polizei in dieser Nachbarschaft auch eher patrouilliert. Das wird dazu führen, dass sie in dieser Nachbarschaft auch wieder mehr Verbrechen entdeckt, weil sie da einfach präsenter ist. Und so kann es sozusagen zu Rückkopplungsschleifen kommen. Und eine große Herausforderung ist sicher auch: Wer trägt denn die Verantwortung und wie können wir Rechenschaft sicherstellen? Weil die Gefahr besteht, dass man sagt: Ja, die Maschine hat das jetzt halt entschieden. Und das natürlich sehr, sehr schwierig ist dann für Betroffene, sich zur Wehr zu setzen. Genau. Was ist also zu tun? Und ich möchte ganz kurz ein Video abspielen. Das ist ein Teil unserer Antwort darauf, was eben zu tun ist. Ohne weitere Worte.

Video

Link zum Video «Künstliche Intelligenz mit Verantwortung … ohne Diskriminierung»

Was ist zu tun?

[Folie 30] Genau. Das heisst ein Teil unserer Antwort auf diese Frage: Was ist zu tun, ist ganz klar: Es braucht einen rechtlichen Schutz, auch einen verstärkten Schutz vor Diskriminierung, unter anderem vor Diskriminierung durch Algorithmen und KI. Das Video ist Teil einer Kampagne, die wir über den Sommer geführt haben. Die hat eben geendet in einer Petition, die wir dann an den Bundesrat übergeben haben, weil der Bundesrat im Moment sich auch gerade sozusagen über Themen rund um KI beugt – ich komme gleich dazu. Was bedeutet denn das aber, den rechtlichen Schutz hier zu verstärken? Ich möchte nicht auf unser detailliertes Positionspapier eingehen. Das habe ich Ihnen hier auch noch mal verlinkt, sondern möchte drei Punkte herausgreifen.

Der erste Punkt ist, dass wir in der Schweiz bisher einen wahnsinnig schwachen Schutz haben vor Diskriminierung durch Private. Und Algorithmen werden sehr oft, nicht nur, aber sehr oft eben auch in diesen Bereichen eingesetzt, von Unternehmen am Arbeitsplatz usw. Ich glaube, hier ist wirklich angezeigt, dass man diesen Schutz vor Diskriminierung durch Private stärkt, nicht nur im Zusammenhang mit Algorithmen, aber eben auch in diesem Zusammenhang. Das heisst, hier geht es wirklich um eine Massnahme, die einen allgemeinen Schutz auch verstärken soll.

Dann, dass man schaut, wie kann man Diskriminierung eben verhindern, bevor es dazu kommt. Und hier gibt es eine Reihe von Massnahmen, die sich auf den ersten Blick vielleicht gar nicht so spektakulär anhören, aber die, glaube ich, sehr, sehr wichtig sind. Zum Beispiel, um ein Beispiel herauszugreifen: Man kann sozusagen, man könnte eine Verpflichtung einführen, dass so grundrechtliche Folgenabschätzung gemacht werden müssen. Hört sich total technisch an, kann aber gemacht werden, dass man schaut, okay, wir hatten jetzt diesen Algorithmus und wir schauen, wie setzen wir diesen ein? Was könnte das für Auswirkungen haben auf Betroffene, dass man auch Betroffene einbezieht, wenn man diese Einschätzungen macht und und und. Das vielleicht auch transparent machen muss, was man da für Risiken eingeschätzt hat, um dann auch eine Aufsicht herzustellen und und und. Also dass man wirklich einfach schon im Voraus Massnahmen ergreift, Risiken versucht zu identifizieren und dann eben auch auf sie reagieren kann.

Dann aber auch, und das ist der dritte Punkt, den ich herausgreifen würde: Sehr wichtig ist, dass man eben den Zugang zu Rechtsmitteln stärkt, also dass man wirklich auch schaut, wenn jemand diskriminiert wurde von Algorithmen und KI, dass man schaut, dass einerseits formal die Möglichkeit besteht, Rechtsmittel zu ergreifen, aber wirklich auch praktisch. Also erstens müssen die Betroffenen wissen, dass sie überhaupt von einer algorithmischen Entscheidung betroffen waren, wie es dazu kam, sie müssen die entsprechenden Informationen verlangen können. Es muss Regeln geben, wie es die Beweislast verteilt. Also es ist tatsächlich so, dass ich als Individuum immer beweisen muss, dass ich diskriminiert wurde. Oder wäre es nicht auch ein Hebel zu sagen: Ja, zum Beispiel das entsprechende Unternehmen müsste beweisen, was sie unternommen haben, um das zu verhindern und so auch eine Beweislastverteilung angepasst würde. Und und und. Das heisst, ich glaube, es ist sehr wichtig zu sagen, wir sind überzeugt, dass es hier auch wirklich einen verstärkten rechtlichen Schutz für vor Diskriminierung braucht.

[Folie 31] Und was, was tut sich denn hier auch? Ich habe das angesprochen. Der Bundesrat beugt sich über dieses Thema. Lange hat er einfach beobachtet, was die EU macht. Das macht er ja auch ziemlich gerne. Und die EU ist tatsächlich seit einigen Jahren dran und hat jetzt ihren AI-Act, wie sie das nennt, ihre Verordnung verabschiedet. Genauso wie der Europarat, wo die Schweiz ja auch Mitglied ist, also der Europarat in Strassburg, sozusagen die Hüterin der Europäischen Menschenrechtskonvention, die auch eine KI-Konvention erarbeitet hat, wo die Staaten jetzt diese unterzeichnen und ratifizieren können. Das hat der Bundesrat alles abgewartet und jetzt ist er aber daran eine Auslegeordnung, das heisst eine Analyse zu machen. Besteht denn eigentlich auch in der Schweiz Regulierungsbedarf rund um KI? Da geht es jetzt nicht spezifisch nur um Diskriminierung. Wir müssen hoffen, dass es auch um Diskriminierung geht. So selbstverständlich ist das ja nicht immer. Und diese Auslegeordnung wird er demnächst präsentieren und dann darauf basierend möglicherweise nächstes Jahr auch Schritte einleiten. Genau. Was aber sicher wichtig ist zu sagen, es muss ja auch um eine Governance dieser Systeme gehen. Das verstehe ich breit. Es muss darum gehen, dass wir Rahmenbedingungen für diese Systeme entwickeln. Das sind einerseits – und eben für uns wichtig – rechtliche Rahmenbedingungen, aber eben auch nicht nur.

[Folie 32] Natürlich muss es auch andere Dinge geben – und da ist zum Teil auch die Politik gefragt, nicht nur – dass wir sagen, wir brauchen interdisziplinäre Forschung zu diesem Thema, wir müssen das auch vorantreiben. Welche Auswirkungen haben denn die Systeme wirklich, da die Evidenzbasis erhöhen, Recherchen ermöglichen zum Beispiel auch investigative Recherchen – ein sehr wichtiges Mittel, um zu zeigen, wie sind denn konkrete einzelne Personen betroffen davon, was bedeutet das für Sie? Dass wir die Bildung in diesem Bereich stärken und jetzt nicht nur sozusagen Digitalkompetenzen, sondern durchaus auch so Sachen wie Medienkompetenz oder einfach Demokratiekompetenzen. Also dass wir uns auch informieren, dass wir sensibilisieren und dass wir uns auch engagieren in diesem Bereich.

[Folie 33] Kleiner Einschub habe ich Ihnen hier so ein (Die Folien werden ja dann auch im Anschluss versendet.) paar Beispiele von uns eingebracht, wo Sie sich auch gerne informieren können. Wir haben ein Themendossier. Was ist denn algorithmische Diskriminierung, wo Sie dann weiter verlinkt werden auf ganz viele Angebote. Wir haben einen Workshop auch für Antidiskriminierungsstellen, den man auch selbst anwenden kann. Wir machen Forschung dazu, werden da auch in diesem Projekt spezifisch, wo es um Recruiting Algorithmen geht, eine Toolbox entwickeln. Wir haben diverse Videos, Artikel, Podcasts zum Thema. Eine Blogserie hatten wir dieses Jahr zu den verschiedenen Diskriminierungsdimensionen und und und. Also lade ich Sie gerne auch dazu ein, sich da zu informieren. Weil ich glaube wirklich, dass auch diese Sensibilisierung für die Thematik, dass es eben nicht nur immer um Neutralität und Objektivität geht, ist sehr, sehr wichtig.

[Folien 34 - 36] Und jetzt möchte ich zum Schluss meiner Präsentation trotzdem nochmals dazu einladen, wir waren jetzt sehr konkret, auch in diesen Beispielen, was bedeutet bedeutet es, wenn ein Algorithmus einer KI diskriminiert und trotzdem nochmals dazu einladen, so einen Schritt zurück zu machen und darüber nachzudenken, womit haben wir es denn eigentlich hier zu tun? Und wenn man so auch die Schlagzeilen liest, dann könnte man ja ein ganz anderes Bild bekommen, wie ich es vielleicht jetzt hier dargestellt habe, nämlich... Oder wenn man sich auch die Websites der Big Tech Unternehmen anschaut, dann hat man ja eigentlich das Gefühl, Google und Co. Sind ja eigentlich nur dafür da, Gerechtigkeit herzustellen und sozusagen alle Krankheiten zu heilen, den Klimawandel zu lösen und einfach sozusagen «save the world». Und auf der anderen Seite, was man aber auch sehr oft in den Medien hört, ist sozusagen die totale Dystopie. Also KI wird uns jetzt alle auslöschen. Selbst die Leute, die es entwickelt haben, haben jetzt plötzlich Angst davor, bringt existenzielle Risiken mit sich usw. Also ich glaube diese totale Utopie und die totale Dystopie sind für mich auch eigentlich so zwei Seiten derselben Medaille. Sie überzeichnen nämlich auch ganz viel dieser Technologie, sind sehr, sehr auf die Zukunft gerichtet und sehr oft auch ideologisch aufgeladen. Es sind sehr oft Ideologien dahinter, die sehr fest auf die Zukunft konzentriert sind, was, glaube ich, gefährlich sein kann, wenn wir sagen, diese Technologie wird in der Zukunft entweder so viel Nutzen bringen oder ein so krasses Übel, dass wir in der Zukunft verhindern müssen für vielleicht Milliarden von Menschen, dass wir, was in der Gegenwart passiert, dass vielleicht nicht so wichtig ist, weil wir müssen uns nur auf die Zukunft konzentrieren usw. Und ich glaube, das sind diese diese ganze Ideologie, die eben auch dahinter steckt, ist glaube ich etwas, was im Diskurs durchaus nicht so zur Sprache kommt. Was ich glaube, ist aber sehr wichtig, wenn wir über KI sprechen.

[Folien 37 - 38] Deswegen würde ich dazu einladen, ein bisschen weniger Hype, ein bisschen mehr Evidenz in das Ganze reinzubringen und drei Punkte dazu. Ich glaube, wir sollten uns mehr auf die realen, positiven und negativen Auswirkungen in der Gegenwart oder vielleicht in der nahen Zukunft konzentrieren, als auf sogenannte, sozusagen spekulative Zukunftsszenarien über was dann vielleicht irgendwann in fünf Jahren passiert oder eigentlich immer in fünf Jahren passiert.

[Folien 40 - 41] Genau. Und eben auch darüber nachdenken: Wo führen vielleicht diese Technologien auch zu einer Reproduktion von bestehenden Ungerechtigkeiten? Und nicht unbedingt sozusagen zu einem Nutzen für alle. Das heisst mehr Fokus auf die Nutzen und die Schäden statt immer nur auf die Chancen und die Risiken. Weil die halt sehr, sehr oft auch ein wenig im Hypothetischen verbleiben. Wichtig dabei auch: Technologie alleine wird keine gesellschaftlichen Probleme lösen. Sie wird weder den Klimawandel bekämpfen noch soziale Gerechtigkeit herstellen. Wenn wir das tun wollen, müsste man ja eigentlich im Konjunktiv sprechen, dann müssen wir das schon selbst tun. Und ich glaube dann darüber nachdenken: Wo kann Technologie uns dabei unterstützen? Und das muss natürlich unbedingt sein, weil sie kann ja ein hilfreiches Werkzeug sein. Aber delegieren können wir diese grossen Aufgaben sicher nicht an die Technologie.

Was wir uns auch fragen müssen, ist: Wer profitiert tatsächlich? Also eben Chancen und Risiken. Aber Chancen für wen? Risiken Für wen? Stärkt es Gerechtigkeit Oder eben manchmal auch Ungerechtigkeit? Und wer gestaltet die KI? Das habe ich zu Beginn gesagt. Die KI, die wir heute haben, die uns heute auch präsentiert wird, die gibt es nicht ohne diese grossen Technologiekonzerne. Da steckt eine enorme Machtkonzentration dahinter, und die ist in dieser ganzen Diskussion sehr relevant. Das heisst, wir müssen uns fragen: Welche KI ist es denn, die wir wollen? Ist es diejenige oder wollen wir eben eine, wo wir sicherstellen, dass sie uns wirklich tatsächlich einen Nutzen bringt und nicht schadet Und dass sie eben allen einen Nutzen bringen kann und nicht nur ein paar wenigen?

Und ich glaube, dann haben wir wirklich die Verantwortung, diese Herausforderungen ernsthaft anzugehen. Wenn wir sagen, wir wollen von dieser Technologie profitieren, dann gehört dazu diese Verantwortung, diese Herausforderung anzugehen, weil sonst werden wir nicht alle davon profitieren. Dann sollten wir uns eben auch anschauen, was in und hinter dieser KI steckt. Dann müssen wir auch die Ambition haben, dass wir als Gesellschaft auch diese Technologie mitgestalten und nicht die Technologie uns gestaltet, dass sie uns einfach vorgesetzt wird, sondern dass wir da eben auch ambitionierter werden. Und ich glaube, dazu braucht es eben auch diese Governance von Algorithmen und KI Regulierung, aber eben auch nicht nur Regulierung, eine Governance dieser gesamten Wertschöpfungskette von KI und eben eine Governance, die am Schluss dafür sorgen soll, dass es uns allen zugutekommt. Herzlichen Dank!

Austausch mit Publikum

Frage zu Handlungsmöglichkeiten der Stadt

Mirjam Gasser: Herzlichen Dank, Angela Müller für dieses spannende Referat. Ich erlaube mir eine erste Frage und gebe dann gerne ins Publikum. Die Fachstelle für Gleichstellung ist auf der städtischen Ebene. Sie haben vorhin Handlungsmöglichkeiten aufgezeigt. Was sollte die Stadt tun? Wo sehen Sie Ansatzpunkte?

Angela Müller: Also ich glaube, es ist ein sehr wichtiger Punkt, weil oft ist es ja so, dass für Menschen relevante Systeme sehr oft auf der kommunalen oder kantonalen Ebene eingesetzt werden und gar nicht so sehr auf der nationalen Ebene. Weil unsere Berührungspunkte im Alltag sind ja mit der kommunalen Verwaltung sehr viel grösser als jetzt mit der Bundesverwaltung. Und ich glaube, hier ist es sehr wichtig, dass eben auch die Gemeinden und die Kantone mit gutem Beispiel vorangehen. Die Stadt Zürich hat das auch an verschiedenen Beispielen gemacht, und manchmal ist es dann auch nur symbolisch. Zum Beispiel hat sie ein Verbot von biometrischen Erkennungstechnologie im öffentlichen Raum beschlossen. Das ist ein bisschen symbolisch, weil die Kantonspolizei kann sie  nicht regulieren. Aber es ist trotzdem ein sehr wichtiges Signal. Das wollen wir nicht. Genau. Ich glaube, auch auf kantonaler Ebene ist da sehr, sehr vieles zu tun. Rechtlich und wie gesagt, aber auch wieder so diese Sensibilisierungsarbeit. Wie gehen wir damit um? Auch wenn wir in der Verwaltung Systeme einsetzen. Geht es immer nur darum, irgendwie vielleicht drei Mitarbeitende einzusparen? Oder ist es uns wichtig, eben die Prozesse rundherum so zu gestalten, dass es vielleicht auch sinnvoll sein kann, dass wir eben Systeme einsetzen, die bewusst zum Beispiel die Chancengerechtigkeit erhöhen sollen? Und dann muss aber das auch als Ziel festgelegt werden oder eben nicht. Ich glaube, da hat man auch als Gemeindeverwaltung viel, auch dass man tun kann. Ja.

Mirjam Gasser: Genau. Ich glaube noch viel Handlungsbedarf. Nun gebe ich gerne in die Runde, wir werden mit einem Mikrofon herumgehen.

Frage zur Bildung und Jugend im Umgang mit KI

Publikum 1: Ich hätte sonst eine Frage. Ich bin auch definitiv der Meinung, dass ein wichtiger Aspekt die Bildung ist. Also gerade die Bildung von Jugendlichen. In der Schule, KI wird angewendet. Es gibt ja auch gute Sachen. Also ich bin da nicht unbedingt dagegen, aber es ist eben wichtig, dass man Schülerinnen und Schüler oder Jugendliche auch bildet. Wo sehen Sie da oder wie sehen Sie da einen Ansatzpunkt, wo man auch jetzt schon, wo es eben noch nicht viel Literatur gibt? Sie haben selber gesagt, es gibt im Moment auch einfach noch nicht so viel Literatur und so viel Forschung darüber. Wie sehen Sie da jetzt, quasi in dem Moment, heute eine potenzielle Möglichkeit, wie man das schon machen kann?

Angela Müller: Ja, ich finde das eine sehr gute Frage und vielleicht nur zu Beginn: Also wir finden das auch gut. Es geht nicht darum, diese Technologie zu verteufeln. Sondern es geht darum, wie können wir sie so gestalten, dass sie allen etwas bringt. Und ich glaube tatsächlich, es ist ein Riesenproblem in der Bildung, ich meine das Fach «Medien und Informatik» ist schon zusammengenommen. Es wären ja eigentlich zwei Themen und es hat ja in vielen Kantonen eine Wochenstunden oder so. Also eine Riesenherausforderung, glaube ich. Und da muss man viel tun. Und jetzt kommt ein Aber, dass ich glaube, wir dürfen natürlich auch nicht einfach sagen, die Lösung ist die Schule. Die Schule muss einfach machen. Ich glaube, die Schule hat auch sehr viel andere Aufgaben, die genügend herausfordernd sind. Das heisst, Bildungsmassnahmen braucht es sicher auch in anderen Bereichen und für andere Zielgruppen, nicht nur für die Kinder, sondern für verschiedene Altersgruppen usw. Und was ich auch wichtig finde ist, dass das nicht ein Abschieben von Verantwortung bedeuten darf im Sinne von: Ihr müsst euch halt bilden. So, hier ist die Technologie, jetzt bildet euch mal und und nutzt das verantwortungsvoll. Ich sage es jetzt extra übertrieben, aber auch aufgrund dieser Machtasymmetrie.

Wir haben Unternehmen, die diese Plattformen zum Beispiel bereitstellen und diese Macht ausnutzen. Und jetzt kann man nicht sagen: Du musst halt wissen, dass man es nicht einsetzt, um sich Informationen über Wahlen zu beschaffen. Steht auf Seite 650 meiner AGB. Sondern dass man auch sagt: Nein, man muss natürlich auch ein Level Playing Field schaffen, indem man eben diese Macht der Unternehmen und was sie eben machen können und wie sie es machen können, eben da schon auch Rahmenbedingungen festlegt. Aber ich finde, es braucht unbedingt beides. Also was ich glaube, so als letzter Punkt ist auch wichtig, dass eben dann auch diese Kompetenz nicht einfach steht, als jetzt Digitalkompetenzen. Natürlich ist das wichtig, aber so komplex ist es jetzt auch wieder nicht, einigermassen zu verstehen, wie KI funktioniert. Man muss das ja auch nicht im Detail wissen und man muss auch nicht einen Doktorabschluss in Informatik haben, um daran mitzudiskutieren. Das finde ich schon auch eine wichtige Message. Ich glaube, was es auch braucht, ist so etwas wie also politische Bildung, Demokratiekompetenz oder wenn wir jetzt gerade von Social Media usw. Sprechen. Also ich glaube das, dass das all diese sozialen Kompetenzen mehr Aufmerksamkeit erhalten, unbedingt.

Frage zu Diskriminierung

Publikum 2: Mich würde interessieren, wie ich überhaupt herausfinde, ob ich diskriminiert werde aufgrund von Algorithmen. Also gibt es irgendwelche Anhaltspunkte, weil ich weiss ja gar nicht, wo die überall eingesetzt werden?

Angela Müller: Nein, also tatsächlich, das ist ein Riesenproblem. Also zum Beispiel den Atlas der Automatisierung, den ich dargestellt habe. Das ist eine Datenbank, wo wir, wie gesagt sind, da sind so gegen die 200 Einträge drin. Das ist eine enorme Recherchearbeit da drin, nur schon rauszufinden, wo werden Systeme eingesetzt. Das ist oft sehr intransparent, manchmal ja auch nicht bewusst intransparent, manchmal wahrscheinlich bewusst intransparent. Also nur schon das ist sehr, sehr schwierig herauszufinden. In diesen Fällen, wo es Berichterstattung gab dazu, war es meistens wirklich so ein Ökosystem aus investigativen Journalist*innen, Anwält*innen und zivilgesellschaftlichen Organisationen, die sich wirklich zusammengetan haben und das recherchiert haben. Und das sind dann oft auch sehr eindrückliche Fälle. Wir haben zum Beispiel viele Fälle aus den Niederlanden, Frankreich, Skandinavien zum Teil. Aber das ist nicht so, dass man einfach sozusagen wie Sand am Meer einfach diese Fälle aufdecken kann. Und tatsächlich ist es auch eine grosse Herausforderung jetzt gerade für uns, weil man dieses Ökosystem haben muss und dann eben auch die die entsprechenden Mittel dafür haben muss, um diese Recherchen zu betreiben. Ich glaube, wo es natürlich sehr nahe liegt, jetzt in der Schweiz, wo also wo man glaube ich, die die Aussage machen kann, dass die Schweiz gut mit dabei ist bei der Automatisierung ist die in der Polizeiarbeit. Und das ist natürlich wieder ein sehr intransparenter Bereich. Also selbst zum Beispiel Fachstellen für Leute im Strafvollzug usw., die ja sehr nahe dran sind und mit denen wir in gutem Austausch sind, sagen das ist wahnsinnig schwierig herauszubekommen, was da genau eingesetzt wird. Wichtig vielleicht auch zu sagen, es geht nicht nur immer dann um total komplexe KI, das sind oft dann manchmal auch sehr simple algorithmische Systeme. Ja. Aber ich meine, in vielen Fällen, gerade jetzt bei Menschen in prekären Situationen würde es sich natürlich lohnen, da viel mehr Informationen eben einzufordern, wie es zu gewissen Entscheiden kam, eben sehr oft wo Massendaten vorhanden sind. Ja.

Frage nach Beispielen zum Einsatz von KI

Publikum 3: Können Sie vielleicht noch ein paar mehr Beispiele machen von dem Einsatz von KI? Ich habe gemerkt, dass mir das immer noch nicht ganz klar ist oder dass ich so diesen Horizont noch nicht ganz habe.

Angela Müller: Also ein Teil von Systemen wird zum Beispiel eingesetzt, wo es immer um diese Identifikation von sogenannten Gefährder*innen geht, zum Beispiel eben den Bereich häusliche Gewalt habe ich genannt. Es gibt aber auch Systeme zur Prävention von Gewaltakten an Schulen, eingesetzt werden Terrorismus, Hooliganismus usw. Sie können sich vielleicht erinnern an die Abstimmung über das Polizeimassnahmen gegen Terrorgesetz vor ein paar Jahren, wo es ja auch um diese Identifikation von Gefährderinnen ging. Da bietet sich natürlich an, wenn man so viele Daten hat, da so ein System zu verwenden, eben häusliche Gewalt. Das ist etwas, das wird auch in der Schweiz zum Teil eingesetzt. Es wurde im Video erwähnt die Prognose der Rückfallswahrscheinlichkeit von verurteilten Straftäter*innen. Also wie gross ist die Wahrscheinlichkeit, dass diese Person rückfällig wird? Manchmal sind das wirklich einfache Systeme sozusagen. Also wie man das ja auch versucht, nicht automatisiert, aber hier der Versuch, das in ein Modell zu pressen. Das ist so dieser Bereich, öffentliche Verwaltung, dann eben am Arbeitsplatz. Also Recruiting, vielleicht nicht mal jetzt die Leute gerade einstellen, aber Stellenbewerbungen vorsortieren. Dann aber auch am Arbeitsplatz im Sinne von People Analytics Systeme nennt man das. Das sind Systeme, die Leistung von Mitarbeitenden überwachen können oder analysieren können. Es gibt dann auch sehr viele Systeme, die einfach im Betriebssystem laufen. Es gibt bei Microsoft zum Beispiel eine Erweiterung, wo man dann einfach messen kann, wie viele Emails schreiben die Leute während Calls, was ist so ihre Multitaskingfähigkeit usw. Es gibt in diesem Bereich, muss man sagen, auch sehr viel Systeme, die einfach verkauft werden. Also wir nennen das gerne so Snake Oil – Schlangenöl – Systeme. Zum Beispiel gab es ein System – die sind inzwischen nicht mehr auf dem Markt – aber es gibt viele ähnliche Systeme, die versprechen, mittels einer einminütigen Sprachanalyse Führungsqualitäten erkennen zu können und dann die Leute optimal in Teams kombinieren zu können und und und. Das wird natürlich mit sehr viel Marketing dann auch verkauft und eingesetzt. Also das so dieser Bereich Arbeitsplatz, dann eben Kreditwürdigkeit, dass also wenn wir online einkaufen und auf Rechnung bestellen, dann ist es nicht einfach so, weil die Unternehmen uns vertrauen, sondern dann wird eine Bonitätsprüfung gemacht. Das ist zum Beispiel ein Beispiel, wo wir sicher alle damit in Kontakt kommen, Versicherungsprämien berechnen usw. Was ich jetzt weniger darauf eingegangen bin, auch weil wir dazu nicht spezifisch arbeiten. Der ganze Gesundheitsbereich. Und klar, dann begegnen wir natürlich den Systemen an sehr vielen verschiedenen Orten, wo ich auch immer sage, das ist das System, wo ich am wenigsten darauf verzichten könnte: Navigation, Mobilität, also wie wir uns fortbewegen. Das ist natürlich auch sehr komplexe KI, die in diesen Navigationssystemen steckt. Übersetzung, Spamfilter usw. Das heisst, wir begegnen Algorithmen und KI natürlich im Alltag dauernd. Also wenn wir das E-Mail-Programm öffnen, wenn wir uns irgendwie Information beschaffen auf Google, auch auf der guten alten Google Suchmaschine ist das natürlich auch von sehr komplexer KI gesteuert und personalisiert. Ja.

Publikum 3: Darf ich gleich nochmals nachfragen? Also weil ich habe das immer noch nicht ganz verstanden. Bei der könnten Sie das Beispiel der Kreditwürdigkeitsprüfung mal durchspielen. Also worauf wird da zurückgegriffen und was passiert da? Weil ich glaube, das war vorhin auch eine Headline, die Sie gezeigt haben, dass da, ich glaube, Frauen weniger kreditwürdig eingestuft wurden.

Angela Müller: Es ist sehr verschieden. In der Schweiz ist es ja nicht so präsent wie zum Beispiel in Deutschland diese Bonitätsprüfungsfirmen, das heisst, worauf die genau zurückgreifen, sehr spannende Frage. Sicher natürlich auf nicht bezahlte Rechnungen usw. Also dass das hat alles einfliesst in dieses System. Zum Beispiel in Deutschland gibt es die Schufa. Ich weiss nicht, die einen oder anderen von Ihnen kennt das, die sehr viel bedeutender ist, weil man den Schufa-Score auch vorlegen muss, wenn man eine Wohnung mietet, ein Auto kauft usw. Und da wird auf sehr, sehr viel mehr Daten zurückgegriffen, aber eben auch wahnsinnig intransparent. Also es ist für die Leute auch nicht erkennbar, wie sie dann ihren Schufa-Score eigentlich verbessern könnten, aber der wird berechnet aufgrund der Daten, die da sind. Das ist ja eine Statistik dahinter. Es hat ja nichts unbedingt mit der Einzelperson zu tun, sondern es sind ja oft auch Risikoindikatoren, die dann so berechnet werden. Das Beispiel jetzt aber auf der Headline – ich glaube, es war das. Ist zum Beispiel eine Kreditkartenfirma. Bei Kreditkartenfirmen gibt es natürlich auch sehr viele Algorithmen, die laufen. Weil eine Anwendungsweise – wir hatten es von den Sozialleistungen – ist Betrugserkennung mittels KI und Algorithmen. Auch das passiert beim Algorithmus. Ich weiss nicht, ob das den ein oder anderen von Ihnen auch schon passiert ist, dass plötzlich die Kreditkartenfirma angerufen hat und gesagt hat, wir haben hier eine verdächtige Transaktion oder die Karte wurde gesperrt, automatisiert usw. Mir zumindest ist das schon mal passiert. Ich war auch sehr dankbar, weil es tatsächlich ich das nicht selbst gebucht hatte. Also diese Algorithmen erkennen halt, das ist jetzt nicht so das typische Einkaufsmuster sozusagen. Also Betrugserkennung aber dann auch – und darum ging es jetzt, sozusagen die Kreditwürdigkeit. Also Banken zum Beispiel, die Kredite ausgeben oder die auch Hypotheken ausgeben wollen ja – und das ist ja auch bis zu einem gewissen Grad legitim – wissen wem, dass sie da Hunderttausende von Franken leihen. Und da werden aber Scores berechnet, sozusagen. Wie wahrscheinlich ist es, dass diese Person den Kredit zurückbezahlen kann. Aufgrund des Alters, aufgrund des Einkommens, aber möglicherweise auch aufgrund anderer Daten, von denen man halt nicht weiss, wo sie genau alle herkommen und wie sie sich die auch zusammenklauen. Und natürlich auch aufgrund von sozusagen statistischen Korrelationen, die sie eben als relevant empfinden, die vielleicht dann in der in der Summe für den Durchschnitt – das wurde ja im Video auch erwähnt – stimmen aber nicht unbedingt für die Einzelperson. Dass es da eine Korrelation gibt zwischen einem bestimmten Merkmal, einem Charakteristikum, einer Person und der Wahrscheinlichkeit, dass sie einen Kredit zurückzahlt. Es kann sein, dass es da statistisch statistische Korrelation gibt, die aber keine Kausalität natürlich sind, sondern eine Korrelation. Und wenn man dann natürlich als Einzelperson aufgrund einer statistischen Korrelation eingeschätzt wird oder dann eben auch über einen entschieden wird, kann das natürlich sehr relevant sein.

Mirjam Gasser: Danke. Dann geben wir gerne noch einmal ins Publikum für Fragen.

Frage zum Erkennen von Diskriminierung

Publikum 4: Also angenommen, ich arbeite jetzt in so einem Kreditinstitut und setze so eine Software ein für die Prüfung der Bonität eines Kunden oder Kundin. Wie erkenne ich dann, ob die Software jetzt richtig arbeitet oder ob sie diskriminierend vorgeht? Und die zweite Frage. Ich wollte fragen, ob sie uns noch durch den Automationsatlas führen können, damit wir mal sehen, was dahinter steckt.

Angela Müller: Also ich glaube sehr oft wird diese Diskriminierung nicht erkannt, weil es halt eben auch nicht entsprechend getestet oder eingeschätzt wird. Wichtig wäre hier eben auch, dass man sich mal überlegt, zuerst okay, was kaufen wir uns für ein System ein? Was haben wir auch für Anforderungen, die wir zum Beispiel der Entwicklerfirma gegenüber vorschreiben? Weil man kann natürlich auch auf technischer Ebene, auf der Entwicklungsebene, sehr viel unternehmen, um zu versuchen, diese Algorithmen weniger diskriminierungsanfällig zu machen, fairer zu machen. Es gibt ein ganzes Forschungsfeld «Algorithmic Fairness» und was kann man da auch auf der technischen Ebene machen?

In diesem einen Projekt, wo wir dabei sind, ist das zum Beispiel auch ein grosser Teil. Dann ist aber auch zu sagen, weil wir gesehen haben, diese Ursachen von Diskriminierung sind nicht nur auf der technischen Ebene, sind nicht nur in diesem System und dieser Black Box drin, sondern eben auch, wie werden sie eingesetzt? Dass man dann eben sagt, zum Beispiel, wir machen so eine Folgenabschätzung. Wir gucken uns an, wie setzen wir das ein? Schon auch auf der technischen Ebene, aber zum Beispiel auch solche Dinge, wie ist bei uns klar definiert, wer für was verantwortlich ist? Gibt es einen klaren Feedbackprozess, wenn eben so ein Output kommt und Sie als Mitarbeiter denken: Nein, das kann doch nicht stimmen. Gibt es die Möglichkeit für die Mitarbeitenden, dann da wirklich ein Feedback einzubringen und kann man das System dann anpassen usw. Also ganz viel auch, wie das eingebettet ist. Und dann gibt es Möglichkeiten auch für sogenannte Audits, also dass man dann auch auf der technischen Ebene oder auch die Prozesse rundherum, dass man das wirklich auch überprüfen lässt, optimalerweise von unabhängigen Stellen auch, die das dann für einen auch überprüfen, oder mit einem ich glaube für einen, das lässt sich dann auch nicht einfach so delegieren, um eben zu sehen, wo besteht das Risiko für unkorrekte Outputs. Das kann es ja auch geben, die nicht unbedingt jetzt diskriminierend sein müssen, für Diskriminierung usw. Also dass man da dann eben auch eine Reihe von Massnahmen trifft. Aber das ist ja auch das Problem bei diesen Massendaten. Also wenn die Idee ist, dass das System die Mitarbeitenden in der individuellen Zusammenarbeit – zum Beispiel in der Sozialen Arbeit oder was auch immer – ersetzt, ist es ja sehr schwierig, auch für die Mitarbeiter überhaupt eine potenzielle Diskriminierung zu erahnen, weil man diesen Kontakt ja dann auch zum Case, zum Fall verliert. Deswegen, ich glaube, das ist auch wirklich sehr, sehr entscheidend, ob das eben begleitend unterstützend eingesetzt wird und man diese Möglichkeiten noch hat oder nicht.

Ja, und der Atlas der Automatisierung, das könnte ich gerne. Könnte ich gerne online zeigen, wenn das hilft. Bzw. Ob ich jetzt gerade die besten Beispiele dann auf Anhieb finde, müsste ich jetzt auch schauen.

Mirjam Gasser: Genau. Wir nehmen mal eine Frage vielleicht noch auf.

Frage zu Unterschieden von KI

Publikum 5: Diese technische Ebene, die Sie erwähnt haben. Also versteh ich das richtig, dass es ganz grosse Unterschiede gibt in verschiedenen KIs? Eben wie sensibilisiert, dass sie darauf sind, dass sie fair genutzt werden? Also zum Beispiel Chat GTP, weil ich das auch benutze, also könnte man da sagen, wird das da beachtet oder weniger? Also das habe ich jetzt noch spannend gefunden, weil ich gar nicht wusste, dass es da Unterschiede gibt.

Angela Müller: Das gibt sicher und natürlich haben diese grossen Unternehmen viel mehr Möglichkeiten, da etwas zu machen. Aber man muss auch sagen, oft ist dann die Antwort bei diesen Systemen zu sagen, wir verwenden einfach immer mehr Daten, je mehr Daten, dann werden die Systeme immer besser. Damit schafft man ganz viele andere Herausforderungen, weil man zum Beispiel noch viel weniger versteht, wie diese Systeme eigentlich funktionieren, weil noch viel mehr Energie und Wasser usw. Verschwendet wird. Also ob das dann die Lösung ist, sozusagen «bigger is better» würde ich anzweifeln. Aber es gibt natürlich auch Unternehmen, die darauf vielleicht eher ein Augenmerk legen. Es gab ja auch, das haben Sie vielleicht mitgekriegt, es kann ja dann auch Auswüchse haben wie Google Gemini, war das, glaube ich, das dann das Bild generiert hat, von einer sehr diversen Gruppe von Nazis mit allen möglichen Hautfarben. Weil das eingebaut wird. Es gibt dann auch sozusagen Prompts, die automatisch umgeschrieben werden vom System selbst, zum einen diverseren Output zu generieren und und und. Ich glaube, da ist wichtig zu sagen, diese technischen Lösungen sind gut. Es ist wichtig, dass daran geforscht wird, aber sie sind natürlich selbst nicht die Lösung. Man kann nicht ein technisches Problem mit einer anderen Technologie wieder lösen oder man verstrickt sich dann auch. Aber es gibt natürlich auch Unternehmen, die da viel mehr investieren, auch in die Entwicklung möglichst fairer Algorithmen und die zum Teil auch bei solchen Forschungsprojekten mit dabei sind. Also absolut, ich glaube, manchmal ist es ein bisschen Ethics Washing oder White Washing und manchmal ist es aber sehr ernst gemeint. Ja.

Atlas of Automation Switzerland

Mirjam Gasser: Genau. Und jetzt glaube ich, sind wir so weit, dass wir diesen Atlas präsentieren können.

Angela Müller: Ja, genau. Danke. Genau, das ist unser Atlas. Das ist eine Unterseite unserer Website. Das kann man sich gerne anschauen. Und jetzt hier sieht man, das ist die Datenbank. Da kann man auch filtern nach Text, nach Hashtags usw., was einen da spezifisch interessiert. Chatbots gibt es natürlich sehr viele. Alle Kantone haben ja auch das Gefühl, sie müssen jetzt einen Chatbot auf der Webseite haben. Meistens steht dann darunter: «Es kann aber sein, dass die Antwort nicht stimmt», auch wenn es eine öffentliche Verwaltung ist. Genau. Oder [man filtert] nach sozusagen verschiedenen Bereichen. Employing entities – also wer setzt es ein – Polizei, Unternehmen usw. Affected Groups ist natürlich auch immer schwierig zu sagen, aber zum Beispiel, wenn man jetzt hier Students nimmt, dann sind so verschiedene Systeme, die eben im Bereich der Bildung eingesetzt werden. Vielleicht mal eins, Proctorio, das sind so die Systeme, die während online Prüfungen eingesetzt werden, um Betrug zu erkennen – können sehr oft eben auch diskriminierende Auswirkungen haben, weil Menschen vielleicht mit Behinderungen anderes Klickverhalten haben oder andere Augenbewegungen. Und das wird eben das ist das, was getrackt wird, Klickverhalten und Augenbewegungen. Genau, oder nach Kantonen kann man auch filtern. DyRiAS-Schule: DyRiAS, das ist so eine Gruppe von Systemen, die eben eingesetzt werden für diese Prävention, also hier die Vorhersage von möglichen Gewaltakten an Schulen. Das wird eingesetzt. DyRiAS gibt es eben auch DyRiAS-Intimpartner heisst das eben im Bereich häusliche Gewalt.

Was könnte man hier noch sagen? Job seekers: Da gibt es verschiedene Systeme, die eingesetzt werden, zum Teil eben auch wieder Chatbots, zum Teil Systeme, die eben viel versprechen, was sie denn alles so können. Was könnte vielleicht noch spannend sein? Genau, auch hier wieder so die Gefährder*innen-Meldung. Gesichtserkennung, sicher relevant. Das wird in verschiedenen Schweizer Kantonen auch eingesetzt. Ich glaube, wir haben ungefähr sechs Kantone jetzt, wo das drauf ist. Plus die Fedpol, also die Bundespolizei, wo das auch geplant ist. Usw. Genau. ODARA: Auch ein System im Bereich häusliche Gewalt. Was vielleicht auch noch relevant ist das Bundesverwaltungsgericht. Das war auch mal in den Medien ein Algorithmus, der eben Fälle zuweist zu verschiedenen Richtern. Und da eben auch die Vermutung war, dass das nicht ganz so ausgewogen passiert usw. Also die Idee des Atlas ist wirklich jetzt mehr zu sagen: Wir wollen illustrieren, wo diese verschiedenen Einsatzbereiche sind. Also das hat wirklich keinen Anspruch auf Vollständigkeit. Und wir wollen damit und das ist die zweite Message vielleicht auch, die wir damit verbinden, sagen: Eigentlich kann es ja nicht sein, dass eine kleine NGO hier in aufwendiger Recherche versuchen muss, Licht in diese Blackbox zu bringen und Transparenz herzustellen. Eigentlich ist es doch eine Transparenz, die wir sowieso haben sollten, sicher im Bereich der öffentlichen Verwaltung, aber möglicherweise eben auch im Privatsektor.

Frage zur Politik

Mirjam Gasser: Herzlichen Dank. Das gibt uns noch einen guten Einblick. Sie haben ja auch die die Petition angesprochen, die Sie eingereicht haben. Sind denn die Forderungen angekommen bei der Politik?

Angela Müller: Spezifisch müssten sie im Moment bei Herrn Bundesrat Rösti ankommen. Das Departement ist nämlich dasjenige, das dafür zuständig ist. Wir waren eingeladen, im September auch nochmals zu einem Round Table rund um KI-Regulierung von Bundesrat Rösti. Und ich glaube, was uns wichtig war bei dieser Kampagne, wir haben diese nicht verbunden mit unserem detaillierten Positionspapier. Sondern wir haben gesagt, wir wollen hier eine High Level Forderung einbringen. Der Schutz vor Diskriminierung muss eine der Prioritäten sein. Diese Regulierungen rund um KI und für uns war es ganz wichtig, dahinter eine sehr breite Allianz zu versammeln, eine breite Allianz einerseits aus der Zivilgesellschaft. Wir hatten ungefähr 45 Organisationen mit dabei, und das war uns eben wichtig, dass es auch Organisationen sind, die gar nichts mit digital oder so zu tun haben, sondern die sich eben für spezifische Gruppen zum Beispiel einsetzen und wir das eben gemeinsam tragen. Und wir hatten zur Lancierung der Kampagne über 70 prominente Erstunterzeichner mit dabei. Wir hatten Politiker*innen aus Bundesbern aus sechs Parteien mit dabei. Also von Grün bis FDP waren Politiker*innen mit dabei. Aus der Wissenschaft sehr viele aus Wirtschaft, Gesellschaft usw. Und das war uns ein sehr grosses Anliegen zu sagen, diese Forderung nach mehr Diskriminierungsschutz ist nicht eine Nischenforderung. Das ist wirklich eine breite Forderung, hinter der sich auch eine breite Koalition versammeln kann, um eben auch diesen Druck wirklich auszuüben. Im Sinne von, da kann man jetzt nicht einfach nichts tun. Aber wenn natürlich der zuständige Departementschef entscheidet, da ist jetzt nichts zu tun, dann wird es schon herausfordernd. Weil wie das halt im Bundesrat läuft, dann müssen die anderen schon sozusagen auf den Barrikaden stehen. We will see.

Mirjam Gasser: Danke. Wir haben vielleicht noch Zeit für eine oder zwei Fragen.

Frage zum Deklarieren des Einsatzes von Algorithmen

Publikum 6: Was mich ein bisschen erstaunt, doch dann ist zum Beispiel bei den Versicherungen. Also ich meine, Algorithmen bei den Versicherungen werden schon seit Jahrzehnten eingesetzt. Das ist ein Riesenbusiness. Und ich meine, ich bin selber Statistikerin. Das ist ein guter Job. Das ist ein, ich würde mal sagen, bisschen zu gut bezahlter Job vielleicht. Aber ich weiss nicht, gibt es dort klare Regulierungen vom Bund? Ich glaube, bei uns ist es allen bekannt, dass dort Algorithmen eingesetzt werden, um unsere Prämien zu berechnen. Und ich glaube, wir empfinden das nicht als so super schlecht oder schlimm. Vielleicht, weil es uns eben auch bekannt ist. Aber dann denke ich mir auch so, es sollte doch eigentlich auf Bundesebene gar nicht so schwierig sein, es einfach obligatorisch zu machen: Wenn wir einen Algorithmus einsetzen, dann muss es einfach deklariert werden. Oder ist das das Problem? Oder wo ist das Problem? Auf Bundesebene oder auf rechtlicher Ebene?

Angela Müller: Also ich glaube, es gibt sehr viele Aspekte, was auch wichtig ist, dass ich überhaupt nicht sagen möchte, wir bewegen uns in einem rechtlichen Vakuum und es gibt keine Regeln und jetzt brauchen wir erstmals Regeln für Algorithmen und KI. Es gibt ganz, ganz viele Gesetze, die gar nichts mit Algorithmen und KI zu tun haben, aber natürlich auch anwendbar sind, wenn automatisiert Entscheidungen getroffen werden, oder? Also auch bezüglich Verantwortung, wie man zum Beispiel informieren muss. Also wenn die öffentliche Verwaltung eine Verfügung ausstellt, ist es eigentlich egal, ob sie automatisiert getroffen wurde oder nicht. Sie hat gewisse Pflichten, die damit einhergehen. Also ich finde das ganz, ganz wichtig zu sagen, Diskriminierungsschutz und Grundrechte sind ja auch Gesetze, die natürlich auch gelten, egal ob jetzt etwas digital basiert ist oder nicht. Also, und es geht dann auch darum, diese bestehenden Gesetze wirklich auch so auszulegen und so anzuwenden, dass sie eben auch da Schutz finden können. Und dann, glaube ich, gibt es aber schon auch spezifische rechtliche Lücken bei diesen bestehenden Gesetzen muss ich aber ergänzen: Es gibt ganz viele Bereiche, wo das natürlich reguliert ist. Also Versicherung ist ein Bereich, Finanzbranche, da gibt es ganz, ganz spezifische Arten. Aber auch automatisiertes Fahren zum Beispiel. Ist ja nicht einfach so, dass es da keine Gesetze gibt. Natürlich ist da auch ganz, ganz vieles sehr spezifisch reguliert. Deswegen glaube ich, die Antwort sollte auch nicht sein zu sagen wir brauchen jetzt ein KI-Gesetz, das irgendwie den Facebook Algorithmus gleich reguliert wie das selbstfahrende Auto, weil das einfach zwei sehr viele verschiedene Dinge sind und deswegen sich eher überlegen, wie können wir diese verschiedenen Rechtsbereiche nutzen und in verschiedenen Rechtsbereichen anpassen machen. Zum Beispiel, dass man sagt, eben Transparenz usw.

Ich glaube, das, was Sie angesprochen haben mit Wissen, dass man von einem System betroffen ist, ist sehr wichtig, diese Transparenz. Sie muss aber auch eingebettet sein. So für sich alleine ist es dann auch ein bisschen schwierig, ja was bringt mir diese Information? Man muss dann zum Beispiel auch sagen, sie müsste vielleicht gekoppelt sein mit einer allgemeinen Transparenz – wo werden diese Systeme eingesetzt? Das zum Beispiel Leute aus der Forschung oder Journalistinnen auch mal Recherchen machen können und solche Sachen aufdecken können. Also auch auf der gesellschaftlichen Ebene. Dass das sehr, sehr wichtig ist. Ich glaube, was auch noch wichtig ist, ist die Unterscheidung natürlich, wie es zu Berechnungen kommt, die eine Einzelperson betreffen. Weil wenn das natürlich einfach eine statistische Gruppe ist, ist das nochmal was anderes, wie wenn ein personalisiertes Profiling gemacht wird aufgrund des Verhaltens oder aufgrund gewisser Merkmale einer Person. Oder sehr oft, das wissen ja bei den Autoversicherungen, dass Leute mit einer gewissen Staatsbürgerschaft bezahlen, in der Schweiz höhere Autoversicherungsprämien, weil es einen statistischen Zusammenhang gibt. Genau, also. Und dass das passiert. Und das ist aber schon noch mal etwas anderes, glaube ich. Ich sage nicht, dass es nicht im Einzelfall auch relevante Auswirkungen auf Menschen haben kann, als wenn ein Profiling eines Individuums gemacht wird. Genau. Also das ist auch wahnsinnig wichtig zu sagen, diese Algorithmen prägen unseren Alltag schon wahnsinnig lange und die begegnen uns. Ich hatte letztes Mal so in einer Runde dann gefragt Ja, wann, denken Sie, haben Sie das letzte Mal mit einem Algorithmus interagiert? Und kamen zu antworten: Ja, vielleicht vor einem Monat oder so. Aber wahrscheinlich eher vor fünf Minuten, weil wir das alle ständig tun. Und ich glaube, das ist uns auch ein Anliegen zu zeigen, auch nicht alle davon haben relevante Auswirkungen auf Menschen. Wie gesagt, die Wetterprognose ist natürlich auch KI basiert. Es hat vielleicht schon auch eine Auswirkung auf eine Entscheidung, die ich treffe, ob ich jetzt den Schirm mitnehme oder nicht, aber es ist trotzdem eine andere Relevanz und ich glaube, das ist auch wichtig, das einfach auch zu sehen und das deutlicher zu machen. Ja.

Mirjam Gasser: Ja, vielen herzlichen Dank. Wenn wir keine letzte Frage haben...

Frage nach dem Einsatz von KI gegen Diskriminierung

Publikum 7: Danke. Also ein Punkt war ja, dass die Systeme auch gegen Diskriminierung eingesetzt werden könnten. Gibt es da Beispiele? Praktisch oder theoretisch?

Angela Müller: Ja, ich habe da ein Lieblingsbeispiel und das ich auch ein sehr gutes finde und es kommt auch hier aus der Nähe. In Uster wird ein Algorithmus eingesetzt, um Schulklassen zuzuteilen und das Ziel ist die Chancengerechtigkeit zu erhöhen; sozusagen die sozioökonomische Durchmischung auszugleichen, auszunivellieren oder über die Stadt hinweg. Weil es in der Forschung anscheinend – ich bin da auch nicht eine Expertin – aber es gibt so diesen Kipppunkt, ab einem gewissen Prozentsatz von Kindern mit herausfordernden sozioökonomischen Hintergrund gibt es für alle Schüler*innen anscheinend mehr Nachteile. Und die Idee ist dann, das auch zu nivellieren, dass es nicht diese Unterschiede gibt. Und da wurde von einem Forscher ein Algorithmus entwickelt und wirklich spezifisch mit dem Zweck, die Chancengerechtigkeit zu erhöhen. Also der Zweck ist nicht, die Schulverwaltung effizienter zu machen, weil wir können uns alle vorstellen, diese Schulklassenzuteilung ist sicher wahnsinnig kompliziert, auf was man da alles Rücksicht nehmen muss. Aber das Ziel ist wirklich, dass man halt da mehr relevante Daten heranziehen kann, die eben dafür eine Aussage treffen. Und bisher konnte man halt nur irgendwie Schulwege und Geschwister berücksichtigen und nicht eben auch den Hintergrund. Und ich glaube, das ist ein sehr spannender Ansatz, weil es am Schluss allen eine Erleichterung bringt, also den Schüler*innen, den Eltern, der Schulverwaltung, auch den Lehrpersonen optimalerweise, aber eben auch spezifisch zu diesem Zweck entwickelt und eingesetzt wurde. Und ich hatte auch schon Austausch mit dem Forscher, der dahinter steckt. Und er sagt auch, er hätte zum Teil Anfragen, zum Beispiel aus Frankreich. Und das könne man aber auch nicht einfach dann nehmen und an einem anderen Ort einsetzen. Weil der ganze Kontext muss einfach berücksichtigt werden: Wie funktioniert das? Wie ist die Verteilung? Wie wurde es bisher gemacht? Und und und. Das es halt auch zeigt: Es geht nicht unbedingt um Effizienzsteigerung. Also vielleicht in the long run ist schon auch ein bisschen effizienter, aber man kann das eben auch spezifisch mit diesem Ziel einsetzen. Finde ich ein sehr spannendes Beispiel.

Mirjam Gasser: Vielen herzlichen Dank Angela Müller für Ihren Input und die angeregte Diskussion. Danke, dass Sie hier waren. Ich lade Sie nun gerne ein zum Apéro auf der Galerie für Wein, Käse und Hummus. Danke.

Angela Müller: Vielen Dank.