Kazna Uberu od 825 miliona evra čini ljudsku proveru produkcionim zahtevom
Holandski regulator sankcionisao je automatizovano gašenje naloga bez prethodne ljudske kontrole. Za timove koji razvijaju takve sisteme, žalbe, revizijski trag i rollback sada su deo osnovne arhitekture.
Šta se desilo
Holandsko telo za zaštitu podataka kaznilo je Uber sa 824,99 miliona evra nakon što je utvrdilo da su sistemi privremeno ili trajno deaktivirali naloge vozača bez prethodne ljudske provere. Regulator je naveo i da vozači nisu bili dovoljno jasno obavešteni o automatizovanom odlučivanju. Uber osporava odluku i podneo je žalbu.
Cena automatizacije
Kada odluka softvera nekome ukida pristup platformi ili prihod, greška više nije samo loš rezultat modela. Ona pokreće podršku, žalbe, ručne ispravke i regulatorni rizik, pa stvarni trošak mora da obuhvati ceo neuspešan tok, a ne samo cenu izvršavanja automatizacije.
Šta bismo uradili
Virtual Arc bi zadržao potpuno automatizovane tokove za odluke sa malim posledicama. Za suspenzije, odbijanja i slične mere uveli bismo proveru pre izvršenja, konkretno obrazloženje, sačuvane dokaze, definisan rok za žalbu i mogućnost brzog vraćanja odluke.
Stav Virtual Arca je da ova kazna pretvara ljudsku proveru iz obećanja u obavezni deo produkcione arhitekture. Ako softver može da ugasi nalog, prekine prihod, odbije zahtev, zamrzne sredstva ili na drugi način bitno promeni nečiji položaj, formular za žalbu dodat posle puštanja nije dovoljan. Mi bismo uveli stvarnog operatera u tok odlučivanja pre nego što mera stupi na snagu, sačuvali signale, pravila i izlaz modela koji su je pokrenuli, poslali jasno obrazloženje i omogućili brz povratak na prethodno stanje. To povećava latenciju i operativni trošak, ali kazna od 825 miliona evra pokazuje da najjeftiniji potpuno automatizovan proces može postati najskuplji. Ne bismo zaustavili automatizaciju odluka malog rizika. Ali ne bismo pustili sistem sa ozbiljnim posledicama dok tim ne može da pokaže ko pregleda granične slučajeve, koje dokaze vidi, koliko brzo korisnik može da ospori odluku i šta se dešava kada model, pravilo ili ulazni podatak pogreše. Kod ovakvih odluka, kapacitet za proveru, revizijski trag i rollback jesu deo proizvoda, a ne dodatak za pravnu službu.
- Uber fined nearly 825 million euros for automated driver blocking
- Uber fined nearly $1 billion by Dutch regulators over automated suspensions of driver accounts
- Dutch regulator fines Uber $966m for automating driver suspensions
- Dutch regulator fines Uber $966 million for automating driver suspensions, document shows