Umjetna inteligencija pročitala je agresivne komentare korisnika Reddita i shvatila kako ljudi koji mrze druge ljude razgovaraju. Teže ga je zavesti od običnog moderatora bota.
Internet je naseljen debelim i mršavim trolovima i samo bezobrazni ljudi koji ne idu u džep zbog riječi. Ručno moderiranje Interneta težak je i nezahvalan posao. Botovi programirani da pretražuju riječi sa "zabranjenog popisa" čine se bolje, ali ne mogu znati kada je kaustični komentar s kodnim riječima bezopasna šala, a kad zli verbalni napad.
Istraživači u Kanadi naučili su umjetnu inteligenciju razlikovati nepristojne šale od štetnih viceva i ono što sociolozi nazivaju „govorom mržnje“.
Dana Wormsley, jedna od kreatora AI, napominje da je "govor mržnje" teško formalizirati. Doista, formalno uvredljive riječi mogu se koristiti i s ironijom i u njihovim blažim značenjima; samo neki tekstovi koji sadrže takve riječi ozbiljno potiču i ponižavaju. Nećemo navesti primjere, jer vladine organizacije koje reguliraju internet u Rusiji još nemaju umjetnu inteligenciju).
Neuralna mreža bila je obučena na uzorcima izjava članova zajednice poznatih po svom neprijateljstvu prema različitim skupinama stanovništva. Neuronska mreža saznala je iz postova Reddit stranice - platforme na kojoj možete pronaći širok izbor interesnih skupina, od aktivista za građanska prava do radikalnih mizoginista. Tekstovi koji su učitani u sustav najčešće su vrijeđali Afroamerikance, prekomjerne tjelesne težine i žene.
Neuronska mreža obučena na ovaj način dala je manje lažnih pozitivnih rezultata nego programi koji određuju "govor mržnje" po ključnim riječima. Sustav je uhvatio rasizam tamo gdje uopće nije bilo indikatorskih riječi. No usprkos dobrim performansama, tvorci AI moderatora nisu sigurni da će njihov razvoj biti široko korišten. Do sada je uspješno pronašla govor mržnje na Redditu, ali hoće li to moći učiniti na Facebooku i drugim platformama nije poznato. Osim toga, sustav je nesavršen, ponekad propušta mnoge naizgled nepristojne rasističke izjave koje tražilica za ključne riječi ne bi propustila. Jedini koji je u stanju razlikovati uvredu od nevine šale dok osoba ostaje.
