Amazon hyllytti tekoälyn, joka oppi vääriä asioita

Mitä suuremmiksi organisaatiot kasvavat, sitä muhkeampia ovat niiden kohtaamat rekrytointihaasteet. 

Hakemusvyöryjen seulomisessa tekoälystä voisi olla paljonkin iloa.

Voisi, jos se ei ryhtyisi tekemään aivan vääriä päätelmiä. 

Amazon ryhtyi vuonna 2014 kehittämään työvälinettä rekrytointiprosessinsa helpottamiseksi.
Projekti päädyttiin hautaamaan seuraavana vuonna, kun kävi ilmi, ettei siitä ole mitään hyötyä, päinvastoin.
Tarkoituksena oli, että koneäly oppisi tehdyistä rekrytointipäätöksistä minkälaista väkeä Amazonille palkataan. Sille olisi voitu tarjota sata hakemusta ja saatu pisteytyksen jälkeen viisi parasta, jotka palkattaisiin.

Teoriassa homma toimi, mutta tekoäly oppi vääriä asioita. 
Se päätteli, että koska pureskeltavaksi annettujen tietojen mukaan suuri osa hakemuksista yli 10 vuoden aikana oli tullut miehiltä, juuri miehiä haluttiin palkata. Niinpä rekryautomaatti ryhtyi antamaan miinuspisteitä hakijoille, joiden hakemuksessa oli mukana jotakin naiseuteen viittaavaa. Jos hakija kertoi johtaneensa naisten shakkikerhoa, häntä rangaistiin. Samoin miinuksia ropisi, jos hakija oli opiskellut jossakin vain naisille tarkoitetussa opinahjossa.

.

Tekoälyn oppimista vääristä painotuksista on saatu huonoja kokemuksia myös muissa yhteyksissä. USA:ssa on käytetty oikeusistuimissa apuna tekoälyä, jonka pitäisi auttaa ennustamaan, kuinka todennäköisesti tuomittava jatkaa rikoksen poluilla.
Järjestelmä sai rajuja moitteita siitä, että mustat luokiteltiin helpommin todennäköisiksi rikoksenuusijoiksi. Tähän tekoäly oli päätynyt siksi, että poliisit pysäyttivät ja pidättivät värillisiä useammin kuin valkoihoisia.