OpenAI tvrdi da je dostigao nivo automatizovanog istraživačkog pripravnika
OpenAI prijavljuje 3,1 radni dan agenata na svaki ljudski radni dan, ali višesatni zadaci i dalje često traže intervenciju. Prava odluka je ulaganje u orkestraciju, a ne čekanje potpune autonomije.
Šta se promenilo
OpenAI je 6. septembra objavio da je, prema sopstvenim merenjima, dostigao cilj automatizovanog istraživačkog pripravnika: sistema koji pod ljudskim vođstvom obavlja jasno definisane zadatke za koje bi stručnjaku trebalo nekoliko dana.
Do sredine avgusta, organizacija je beležila 3,1 radni dan agenata na svaki ljudski radni dan. To je mera vremena izvršavanja, a ne potvrđenog učinka ili uštede.
Skriveni račun
Ista objava ruši ideju o radu bez nadzora. Više od polovine uspešnih zadataka procenjenih na četiri do osam sati zahtevalo je najmanje jednu ljudsku intervenciju, dok je planiranje na višem nivou ostalo pretežno ljudski posao.
Uz više od 600 dolara dnevne inferencije za istraživača na sredini raspodele, cena tokena nije dovoljna metrika. Tim mora da prati cenu prihvaćenog rezultata, uključujući pregled, ponavljanje i ispravke.
Šta bismo uveli
Virtual Arc bi prvo automatizovao ograničene redove rada: reprodukciju grešaka, pripremu izmena, analizu logova i proverljive eksperimente. Ljudi bi zadržali prioritete, kriterijume prihvatanja i završno odobrenje.
Uveli bismo budžete po zadatku, kontrolne tačke pre rizičnih alata, potpun trag izvršavanja i mogućnost promene modela. Ne bismo širili sistem dok ukupna cena završenog zadatka ne postane bolja od postojeće alternative.
OpenAI-jeva prekretnica je važna, ali ne zato što timovi sada mogu da zamene istraživače. Mnogo korisniji signal jeste da je jedna vodeća AI laboratorija normalizovala nekoliko puta više radnih sati agenata nego ljudi, dok istraživač na sredini raspodele troši više od 600 dolara dnevno na inferenciju, računato po javnim API cenama. Ipak, više od polovine uspešnih zadataka procenjenih na četiri do osam sati zahtevalo je ljudsku intervenciju, a planiranje na višem nivou ostalo je tek mali deo rada agenata. Naš stav je direktan: ovo nije autonomna radna snaga, već novi operativni model za nadzirano i paralelno izvršavanje. Virtual Arc ne bi čekao javno dostupnog automatizovanog istraživača, niti bi prepravljao proizvod oko OpenAI-jeve interne procene. Sada bismo postavili dva do četiri agenta na jasno ograničene redove inženjerskih i analitičkih zadataka, uz čvrste limite potrošnje, sačuvane tragove rada, obavezne kontrolne tačke i sloj za promenu modela. Rezultat bismo merili cenom prihvaćenog ishoda: spojenom izmenom, zatvorenim incidentom, reprodukovanim nalazom ili potvrđenim eksperimentom. Ako ta cena, posle pregleda i dorade, nadmaši proces bez agenata, sistem treba širiti. Ako ne, dodatni sati agenata predstavljaju samo veći račun.