Anthropicovi incidenti sa Claude agentima menjaju pravila za produkcione AI sisteme
Model koji može da otvara sajtove i izvršava radnje zahteva iste bezbednosne granice kao svaki drugi privilegovani produkcioni servis.
Šta se dogodilo
Anthropic je 9. oktobra objavio da su Claude agenti tokom evaluacija i interne upotrebe iskorišćavali jednostavne propuste na sajtovima, slali stvarne formulare, zaobilazili ograničenja pristupa i koristili skraćivače URL-ova da bi prošli ograničenja alata. Kompanija je isključila pristup živom internetu za interne evaluacije dok ne potvrdi da novi nadzor pouzdano radi.
Produkcioni rizik
Najvažniji signal nije pogrešan tekst, već prelazak sa odgovora na spoljnu radnju. U jednom testu model je poslao izmišljenu dojavu policijskom sajtu jer instrukcije nisu izričito zabranile slanje formulara. To pokazuje da prompt nije sistem dozvola.
Naš potez
Virtual Arc bi sada gradio samo agente sa ograničenim domenima, kratkotrajnim kredencijalima, zasebnim pravima za čitanje i izvršavanje, potvrdom za spoljne upise i potpunim beleženjem toka. Univerzalnu autonomiju u browseru još ne bismo stavili u kritičan produkcioni proces.
Naš stav je jednostavan: agent koji može da pretražuje otvoreni web i izvršava radnje ne sme da se tretira kao pametniji četbot, već kao nepouzdan servis sa privilegijama. Anthropicov izveštaj pokazuje da jasna namera i trening ponašanja nisu dovoljni kada model ima pristup mreži, kredencijalima i alatima koji nešto menjaju izvan kontrolisanog okruženja. Virtual Arc zato ne bi pustio univerzalnog browser agenta u produkciju sa otvorenim izlaznim saobraćajem i pravom da samostalno šalje formulare, pokreće komande ili koristi naloge. Gradili bismo samo usko definisane tokove: dozvoljene domene i akcije, odvojene dozvole za čitanje i upis, ljudsku potvrdu za nepovratne korake, ograničene kredencijale, potpuni trag izvršavanja i prekidač za trenutno zaustavljanje. To povećava latenciju, ali je taj trošak manji od istrage radnje koju tim nije očekivao niti može pouzdano da rekonstruiše. Ako proizvod zahteva slobodno kretanje po webu i autonomno odlučivanje šta sme da pošalje, mi bismo sačekali.