Umjetna inteligencija Amazon, namijenjena sortiranju životopisa tražitelja posla, muškarce je rangirala više nego žene. Konkretno, odbio je životopise s riječi "ženstveno" i ponudio je da zaposli kandidate koji su u svom govoru koristili tipične muške glagole, čak i ako ti ljudi nisu imali potrebne vještine. Zbog toga je tvrtka morala zatvoriti projekt.
Umjetna HR inteligencija
Amazonovi stručnjaci za strojno učenje otkrili su da umjetna inteligencija koja obrađuje životopis kandidata za radna mjesta u tvrtki diskriminira žene koje traže posao, izvijestio je Reuters. Ova značajka nije bila namjerno ugrađena u sustav - bila je rezultat strojnog učenja.
Motor za sortiranje životopisa temeljen na umjetnoj inteligenciji u Amazonu je od 2014. razvijao tim od 12 osoba u Edinburghu. Već u 2015. godini tvrtka je primijetila da se novi sustav nije pridržavao načela rodne neutralnosti prilikom ocjenjivanja kandidata za pozicije u razvoju softvera i ostalih tehničkih slobodnih mjesta.
Ubrzo su shvatili razlog: činjenica je da je sustav osposobljen za životopise koje je tvrtka unijela u posljednjih 10 godina. Većinu tih životopisa držali su muškarci, što generalno odražava stanje u IT industriji. Kao rezultat toga, Amazonova umjetna inteligencija saznala je da muškarci koji traže posao preferiraju žene.
Jezično odbacivanje
Promotivni video:
Kao rezultat toga, umjetna inteligencija počela je odbacivati životopise koji sadrže riječ "žensko" u izrazima kao "kapetan ženskog šahovskog kluba". Mehanizam je također smanjio ocjene maturanata dva ženska fakulteta, ali izvori Reutersa nisu naveli njihova imena. Prilikom ocjenjivanja životopisa umjetna inteligencija dala im je između jedne i pet zvjezdica - vrlo slično načinu na koji kupci ocjenjuju proizvode na Amazonu.
Sustav je obraćao pažnju i na druge riječi. Programeri su stvorili 500 računalnih modela za različite poslove i geografske lokacije. Svaki je model osposobljen za prepoznavanje oko 50 tisuća signalnih riječi koje su bile prisutne u životopisu podnositelja zahtjeva.
Važno je napomenuti da je mehanizam ignorirao riječi koje označavaju vještine koje su često napisane u životopisu IT stručnjaka, poput sposobnosti pisanja raznih kodova itd. Umjesto toga, sustav je pratio, primjerice, tipične glagole za muški govor u samoopisu kandidata, poput "ispunjeno" (izvršen) ili „zarobljen“, kako su se redovito viđali u starim životopisima iz kojih je stroj učio. S tim pristupom rodna diskriminacija nije jedini problem - mehanizam je često preporučavao ljudima koji nemaju potrebne vještine za položaj.
Daljnja sudbina projekta
Amazon je prilagodio sustav tako da više ne reagira na signalne riječi. Međutim, to nije jamstvo da mehanizam neće pronaći drugi način identifikacije životopisa u vlasništvu žena. Početkom 2017. godine tvrtka se razočarala s projektom i raspuštala tim. Izvori Reutersa kažu da su HR stručnjaci uzeli u obzir preporuke sustava, ali da se nikada nisu oslanjali samo na njih.
Jedan od izvora kaže da je projekt zatvoren. Drugi tvrdi da je u Edinburghu formiran novi tim koji će nastaviti razvijati mehanizam, ali ovaj put s naglaskom na pravednost i uključivanje. Drugi izvor izvještava da se za obavljanje rutinskih poslova sada koristi teško modificirana verzija motora, kao što je uklanjanje dupliciranih životopisa iz baze podataka.