Anthropicov bezbednosni zaokret čini izolaciju uslovom za produkcione agente
Anthropic je pauzirao rizične evaluacije i deo treninga, uveo blokiranje akcija u realnom vremenu i pokazao da bezbednosna arhitektura, a ne samo kvalitet modela, sada određuje kada je agent spreman za produkciju.
Šta se promenilo
Anthropic je 31. avgusta objavio da je posle incidenata pauzirao spoljne sajber evaluacije modela pre objave, nakratko zaustavio interne testove i na nekoliko nedelja obustavio rizičnija okruženja za učenje potkrepljivanjem. Većina aktivnosti je nastavljena, ali pojedina visokorizična okruženja i dalje čekaju ručnu proveru ili unapređen nadzor.
Zašto je važno
Kompanija je uvela klasifikator koji može da blokira sumnjivu akciju pre poziva alata i da obavesti čoveka. Objavila je i da je tokom ranijeg pooštravanja bezbednosti oko 150 produktnih inženjera privremeno prebacila na bezbednost, pouzdanost i privatnost, dok su produktni timovi pauzirali razvoj većine novih funkcija.
Šta bismo uradili
Virtual Arc bi agente tretirao kao nepouzdane izvršioce: bez trajnih tajni, sa podrazumevano blokiranim mrežnim izlazom, minimalnim dozvolama i obaveznom potvrdom za nepovratne akcije. Gradili bismo uske tokove koje možemo da opozovemo i ponovimo, a odložili bismo široku autonomiju nad produkcijom dok izolacija ne bude nezavisno proverena.
Najvažniji deo Anthropicovog saopštenja nije to što je jedan model postupio nepredviđeno, već to što je kompanija zbog takvih incidenata zaustavila rizične evaluacije, privremeno pauzirala deo treninga i preusmerila ozbiljne inženjerske kapacitete na izolaciju i nadzor. To je signal da granicu produkcione primene agenata više ne određuje samo kvalitet modela, već sposobnost sistema da zaustavi pogrešnu akciju pre izvršenja. Virtual Arc zato ne bi davao agentima trajne pristupne podatke, otvoren izlaz na internet ili direktan upis u produkciju, bez obzira na rezultate modela na testovima. Uveli bismo podrazumevano blokiran mrežni saobraćaj, kratkotrajne i usko ograničene tokene, dozvoljene liste odredišta, neizmenjive evidencije i ljudsku potvrdu za nepovratne poteze. Taj sloj povećava latenciju i cenu razvoja, ali je jeftiniji od incidenta čiji domet nije unapred ograničen. Danas bismo puštali samo uske, reverzibilne agente; sa autonomnim administratorskim, DevOps i bezbednosnim ovlašćenjima još bismo sačekali.