dam Jones, dr. Sc.
U 2016. godini ProPublica je izazvala pomutnju kada je ocjenjivala ocjenu izvedba softvera koji se koristi u kaznenom pravosuđu postupak. Softver koji se koristi za ocjenu okrivljenog ispostavilo se da je vjerojatnost počinjenja dodatnih zločina različiti rezultati pri ocjenjivanju crnaca i bijelaca.
Značaj te razlike je i dalje predmet rasprava, ali dvojica istraživača koledža na Dartmouthu zatražili su: temeljnije pitanje: je li softver uopće dobar? Odgovor osmislili su je “ne naročito”, kakva bi mogla biti i njezina izvedba podudaraju se sa novačenjem ljudi na Mehaničkom Turku ili izvođenjem a jednostavna analiza koja je uzela u obzir samo dva faktora.
Softver i pristranosti
Softver o kojem se radi zove Compas , for Correctional Profiliranje prekršajnog postupka za alternativne sankcije. Treba uzeti u obzir širok raspon čimbenika o okrivljenicima i načinu uporabe procijeniti mogu li te osobe počiniti dodatni zločini i pomaže u identificiranju mogućnosti intervencije. COMPASsnažno je integriran u sudski postupak (vidi ovaj dokument iz kalifornijskog odjela za popravke zbog osjećaja za to važnost). Možda najvažnije, međutim, to je ponekad utjecajni u određivanju kazne, koja se može temeljiti na ideja koju bi ljudi koji će vjerojatno počiniti dodatne zločine trebali biti zatvoren duže.
ProPublica procjenjuje softver usmjeren na uhićenja u Okrug Broward, Florida. Otkrilo je da i softver ima slično točnost kada je trebalo predvidjeti je li crna i kavkaška optuženi bi ponovno uvrijedili. Ali lažno pozitivni slučajevi – slučajevi u kojima softver je predvidio još jedan zločin koji se nikada nije dogodio – bila su dva puta što će vjerojatno uključivati crne optuženike. Lažni negativi, gdje predviđeno je da optuženi ostanu bez kriminala, ali nisu, jesu dvostruko je vjerojatnije da će uključivati bijelce.
No, prema drugim mjerama, softver nije pokazao pristranost (uključujući, kao što je gore navedeno, njegovu ukupnu točnost). Dakle Značaj ovih nalaza ostao je predmet rasprava.
Odlučili su istraživači iz Dartmuta, Ja Dressel i Hany Farid ne usredotočiti se na pristranost, već na ukupnu točnost. Da bi to učinili, oni uzeo zapise 1.000 optuženih i izvukao njihovu dob, spol, i kriminalne povijesti. Podijeljeni su u bazene od 20 i 20 Mehanički Turk bio je korišten za novačenje ljudi koji su bili zamoljeni da pogađaju vjerojatnost da će se svaki od 20 pojedinaca počiniti još jedan zločin u naredne dvije godine.
Mudrost mehaničkih Turaka
Skupljajući ove rezultate, ti su ljudi imali prosječnu točnost od 62 posto. To nije previše daleko od točnosti COMPAS-a, koji je bio 65 posto. U ovom je testu nekoliko pojedinaca ocijenilo svaki tuženik, pa su ih autori sabrali i uzeli većinu mišljenje kao odluka. To je dovelo točnost do 67 posto, ivica COMPAS. Ostala mjerenja mehaničkih Turaka Točnost sugerira da su podjednako dobri kao i softver.
Rezultati su bili slični po tome što nije bilo značajnih razlika između njihovih procjena crne i kavkaške optuženici. Isto je bilo i kada su autori predstavili slično set rekorda novom skupu ljudi, ali ovaj put uključuje podaci o utrci okrivljenika. Dakle, u ukupnom smislu točnost, ovi su neiskusni ljudi bili približno jednako dobri kao i oni softver.
Ali oni su također bili otprilike toliko loši, koliko su bili i vjerojatniji davati lažno pozitivno mišljenje kad je okrivljenik bio crn, iako to nije učinio u istoj mjeri kao i COMPAS (37-postotna lažno pozitivna stopa za Crnci, u usporedbi s 27 posto za Bijelce). Lažni negativan stopa, prema kojoj se predviđalo da optuženi neće ponovo uvrijediti, ali jest također više kod bijelaca (40 posto) nego što je bilo kod crnaca (29) posto). Ti su brojevi nevjerojatno slični stopi od Greške COMPAS-a. Uključujući podatke o utrci o optuženima nije napravio značajna razlika.
Ako bi se algoritam mogao uskladiti s onim što je gotovo sigurno hrpa amatera, Dressela i Faridreasoned-a, možda je jer nije osobito dobro. Tako su napravili niz jednostavnih statistički testovi (linearne regresije) koristeći različite kombinacije podataka koje su imali o svakom tuženom. Otkrili su da mogu podudaraju se s performansama COMPAS-a koristeći samo dva: dob okrivljenika i ukupan broj prethodnih osuda.
Ovo nije baš toliko šok koliko se čini. Dresseli Farid iznose veliku tvrdnju koju COMPAS navodno uzima 137 različitih faktora prilikom izrade svojih predviđanja. AIzjava tvrtke Equivant, tvrtke koja proizvodi softver, ukazuje da je tih 137 samo za ocjenu intervencija; predviđanje ponovnog postupanja koristi samo šest faktora. (Ostatak Izjava se svodi na “to pokazuje da je naš softver dosta dobro. “) Dressel i Farid također priznaju da je ponovno hapšenje an nesavršena mjera buduće kriminalne aktivnosti, kao što to neki zločini ne čine rezultiraju uhićenjima, a pojavljuju se i značajne rasne pristranosti stope uhićenja.
Što se od svega toga može svoditi na to jeste li vi ugodno imati postupak koji je pogrešan trećinu vremena utječući na stvari poput koliko vremena ljudi provode u zatvoru. Na ali, ipak, nema dokaza o tome što je više djelotvorna od toga.
Znanstveni pomaci, 2017. DOI: 10.1126 / sciadv.aao5580 (About Xxx).
