Kva gjer vi når teknologien diskriminerer?

Då årets europeiske konferanse om kjønnsbalanse i forsking, Gender Summit EU, nyleg gjekk av stabelen i Amsterdam, var eitt av panela sett av til å diskutere kunstig intelligens (AI, for Artifical Intelligence) og maskinlæring.

Vi er allereie omgitt av slike system: Virtuelle assistentar som Siri og Alexa, dingsen som hjelper oss å navigere på køyretur, alle systema som gjev oss råd og forslag på søkemotorar og nettbutikkar, omsetjingsprogram, biletegjenkjenningssystem, og så vidare og så vidare. Og meir skal det bli. Alle land med respekt for seg sjølv, inkludert Noreg, har som mål å bli verdsleiande på kunstig intelligens.

Men etter kvart som maskinlæringssystema er blitt tekne i bruk, er det også blitt stadig tydelegare at avgjerdene dei tek, ikkje er meir objektive enn menneska som står bak dei.

Åtvara mot «gatejustis»

– I dag genererer samfunnet så utruleg mykje data at vi er nøydde til å lage system for å studere dei. Men vi kvalitetssikrar ikkje måten desse datamengdene blir samla inn på, så analysane som kjem ut, har slagsider allereie frå starten, peika ein av panelinnleiarane, Greta Byrum, på.

Byrum er meddirektør i Digital Equity Laboratory, eit forskingssenter ved The New School i New York, som vart etablert i 2018 med mål om å avdekke og motverke strukturell ulikskap forårsaka av teknologi.

Faren for innebygd diskriminering gjer det viktig å vere føre var når det gjeld regulering av slike teknologiar, noko som er sørgjeleg mangelvare i hennar eige heimland USA for tida, hevda ho. Byrum skildra tilstanden når det gjeld kunstig intelligens i USA som «gatejustis», der kven som helst kan ta seg til rette i mangel av reguleringar og standardar.

– Det viser seg til dømes at 61 prosent av appane kvinner bruker til å halde oversikt over menstruasjonssyklusen sin, leverer data til Facebook utan at brukarane veit det. Vi ser også at arbeidsgjevarar brukar data frå menstruasjonsappar til å spore menstruasjonen til dei tilsette og finne ut kven som kan vere gravide. Og data er blitt brukt til å oppdage abortar og dermed rettsforfølgje kvinner i visse statar, fortalde ho.

På same tid er dette nyttige data som kan brukast til å gje kvinner betre helsehjelp, om dei berre blir brukt på rett måte.

Lærer fordommar av tekstane våre

– Problemet med diskriminerande teknologi stikk djupt, fordi vi menneske handlar på grunnlag av fordommar og stereotypiar, og desse stereotypiane kjem til uttrykk i kulturen vi produserer, og som maskinlæringssystema lærer av, seier førsteamanuensis Özgür Şimşek ved University of Bath i Storbritannia til kifinfo.

I si innleiing på Gender Summit viste ho til korleis IT-selskapet Amazon la ned mykje innsats i å lage eit system som kunne gjere rekrutteringsprosessar enklare ved å gå igjennom kandidatane sine CV-ar og spytte ut dei kandidatane som var best eigna til jobben. Men systemet vart sett til å lære frå CV-ar som var sendt inn til selskapet over ein tiårsperiode, og dei kom i hovudsak frå menn. Straks ein søknad så mykje som nemnde ordet «kvinne» eller «kvinneleg», avgjorde systemet at søkaren var ueigna. Amazon greidde ikkje å løyse floka, og systemet vart droppa før det vart teke i bruk.

På same måte viser det seg at teknologi som skal kjenne att andlet, er flinkast til å kjenne att lyshuda menn, og dårlegast til å kjenne att mørkhuda kvinner.

– Kollegaen min Joanna Bryson og hennar medforskarar har vist at maskinlæringssystem plukkar opp fordommar frå tekstar som twittermeldingar, den amerikanske sjølvstendeerklæringa, trådar på internettforum og liknande, og reproduserer dei. Eg er ikkje på nokon måte imot digitalisering, det har mykje for seg, men vi må vere klar over at kunstig intelligens vil ha innebygde fordommar med mindre vi gjer noko for å forhindre det, seier Şimşek.

AI blir laga av menn

Hennar inntrykk er at det meste av den forskinga som har avslørt slike innebygde stereotypiar, er utført av kvinner eller minoritetar – personar som tilfeldigvis oppdaga teknologiens slagsider fordi dei sjølve vart offer for dei. Difor gjev det grunn til uro at menn er sterkt overrepresenterte i AI- og maskinlæringsindustrien.

Ifølgje Cécile Gréboval i Europarådet, som også snakka på Gender Summit-konferansen, er nesten all slik teknologi laga av menn. Kvinner er i forsvinnande liten grad tilsette i digitale firma, og talet på kvinner som tek IKT-utdanning har gått ned sidan åttitalet og ligg no kring 15 prosent.

Özgür Şimşek viste i si innleiing til ein artikkel av den irske AI-forskaren Susan Leavy der ho tek for seg kjønnsdiskriminering i AI og peikar på at overrepresentasjonen av menn i maskinlæringsindustrien «i det stille kan øydeleggje tiår med framsteg når det gjeld kjønnslikestilling».

Senter for ansvarleg AI

Ved Şimşek sitt eige universitet i Bath har dei difor bestemt seg for å gjere noko med dette. Dette semesteret opna UKRI Centre for Doctoral Training in Accountable, Responsible and Transparent Artificial Intelligence, eit nasjonalt senter for utdanning av doktorgradskandidatar innan AI og maskinlæring. Senteret har ei rekkje partnarar frå akademia og industrien, mellom dei Universitetet i Oslo.

– Vi lærer studentane om AI og algoritmar og om det matematiske grunnlaget dei byggjer på, men i tillegg lærer vi dei om ansvarleg teknologiutvikling, fordi desse to aspekta er likeverdige. Så vidt eg veit er vårt senter det einaste i landet som vektlegg dei sosiale aspekta i så stor grad, seier ho.

Kandidatane kan ha bakgrunn anten frå IKT-studiar, frå teknologi- og ingeniørfag, eller frå samfunnsvitskap og humaniora.

– Dei vil få ei brei utdanning på alle tre felta, men spesialisere seg i eitt av dei. Så vi kan til dømes ta inn kandidatar som ikkje veit noko om AI, men som har bakgrunn frå samfunnsvitskap og er interesserte i korleis AI kan takast i bruk i samfunnet på ein god måte. Samstundes lærer vi dei AI og maskinlæring, og dei blir sett til å løyse oppgåver der dei må forstå og bruke teknologien. Slik lærer dei kva teknologien kan gjere og ikkje gjere, og korleis ein best kan vurdere slike system, seier ho.

Stipendiatane må løyse oppgåver saman, og dei må ha rettleiarar med ulike bakgrunnar. Det er eit mål at det skal vere kjønnsbalanse og mangfald mellom kandidatane.

– Eg kan ikkje seie noko om graden av suksess sidan senteret akkurat har opna, men eg kan seie at berre etter den første veka gjekk det føre seg samtalar av ein type vi ikkje har hatt tidlegare. Så eg er svært optimistisk. Kor mange andre stader får kandidatane opplæring i samfunnsspørsmål og politikkutvikling, på toppen av ei praktisk utdanning i maskinlæring? Stipendiatane våre vil få ein unik utdanningsbakgrunn, og etter kvart som nye årskull startar, vil moglegheitene for informasjonsutveksling mellom dei berre bli større, seier Şimşek.

– AI må kompensere for menneskeleg svakheit

Det var rektor ved OsloMet og leiar i Kif-komiteen, Curt Rice, som var ordstyrar for panelet om AI og maskinlæring som Şimşek og Greta Byrum deltok i. Han seier at det viktigaste han tek med seg heim, er vissa om at maskinar speglar menneske i avgjerdene dei tek.

– Så den typen ulikebehandling som menneske driv med, det gjer maskinene også.

– Kva konsekvensar lyt det få for eit akademia som har digitalisering som mål?

– Det hadde jo til dømes vore fantastisk om vi kunne bruke AI til eksamensvurdering, men då er det viktig at vi held auge med desse mekanismane. Vi må avdekke dei menneskelege svakheitene slik at maskinene kan kompensere for dei, seier Rice.

Han peikar på at forskings- og høgare utdanningsminister Iselin Nybø ønskjer seg ein gjennomgang av regelverket for rangering og opptak til høgare utdanning, og vil opne for opptaksprøver i tillegg til karakterar.

– Slikt vil krevje bruk av AI dersom ein skal gjennomføre det i stor skala, men då må vi også passe på at det blir gjort på forsvarleg vis, seier Rice.