OpenAI-jev glavni naučnik: razvoj AI-ja mora da uspori
Upozorenje da nadzor zaostaje za sposobnostima menja produkcionu odluku: isporučivati ograničene asistente, ali još ne širiti ovlašćenja agenata.
Šta se promenilo
Glavni naučnik OpenAI-ja Jakub Pachocki napisao je 6. septembra da kompanija očekuje nastavak napretka ka rekurzivnom samousavršavanju, dok oslanjanje na nadzor lanca zaključivanja postaje sve manje pouzdano. Takođe tvrdi da nijedna laboratorija još nema usklađivanje i nadzor potrebne za odgovorno skaliranje punom brzinom na duži rok i poziva na zajedničke bezbednosne pragove.
Zašto je važno
To nije razlog da prestanemo da koristimo modele. Razlog je da odvojimo inteligenciju modela od pouzdanosti sistema: bolji rezultat zadatka ne uklanja rizik koji nastaje kada agent dobije akreditive, mrežni pristup, lanac alata i sate rada bez nadzora.
Šta bismo pustili
Virtual Arc bi odmah isporučivao asistivne tokove sa malim dometom greške. Za autonomne tokove tražili bismo listu dozvoljenih alata, minimalne privilegije, limite vremena, troška i broja akcija, ljudsko odobrenje za nepovratne poteze, nezavisan dnevnik aktivnosti, prekidač za gašenje i rezervni model ili dobavljača.
Ne bismo čekali „savršeno bezbedan“ AI, ali ne bismo ni širili ovlašćenja samo zato što je novi model sposobniji. Produkciona pouzdanost mora da se dokaže na našem opterećenju i u našem okruženju.
Upozorenje koje je OpenAI objavio 6. septembra menja našu odluku „graditi ili sačekati“ više nego još jedan rezultat na tabeli. Ako glavni naučnik laboratorije koja pomera granicu kaže da nadzor lanca zaključivanja postaje sve manje pouzdan i da nijedna laboratorija nije rešila usklađivanje dovoljno dobro za dugoročno skaliranje punom brzinom, bolje ocene modela ne smeju automatski da znače šira ovlašćenja u produkciji. Virtual Arc bi nastavio da isporučuje AI funkcije, ali samo unutar ograničenih sistema: uz listu dozvoljenih alata, minimalne privilegije, čvrste limite vremena i troška, ljudsko odobrenje za nepovratne akcije, nezavisne revizione zapise i rezervni put koji nije vezan za jednog dobavljača. Agentu ne bismo dali trajni pristup produkcionoj infrastrukturi niti mogućnost da neprimetno širi sopstveni tok rada. Naš stav je namerno oštar: brzo uvoditi asistenciju, sporo širiti autonomiju; tempo puštanja treba da određuje moguća šteta, a ne benchmark.