BioBasicsBench pokazuje da AI može da pomaže u laboratoriji, ali ne i da vodi proces
GPT-6 Astra osvojio je 66,7% raspoloživih bodova na 100 zadataka sa sirovim laboratorijskim podacima. Za produkciju je važnije ono što i dalje promašuje.
Šta je objavljeno
OpenAI i Ligo su 6. novembra predstavili BioBasicsBench, skup od 100 zadataka zasnovanih na sirovim laboratorijskim podacima, od gelova i mikroskopskih snimaka do ploča sa kolonijama i izlaza instrumenata. GPT-6 Astra je na najvišem zajedničkom nivou rezonovanja osvojio prosečno 66,7% raspoloživih bodova, naspram 43,8% za GPT-5.6 Sol.
Zašto rezultat vara
Rezultat od 66,7% predstavlja prosečan udeo osvojenih bodova prema kriterijumima, a ne procenat potpuno i tačno završenih zadataka. Objavljeni primeri pokazuju da Astra i dalje može da izabere pogrešne kontrole, potisne protivrečne podatke i pogrešno prebroji kolonije.
Granica za produkciju
Ovo je dovoljno dobro za trijažu, drugi par očiju i pripremu stručnog pregleda. Nije dovoljno dobro da model samostalno donosi nepovratne odluke, pa bi produkcijski sistem morao da čuva dokaze, beleži neizvesnost, zahteva odobrenje i meri učinak na sopstvenim slučajevima.
Virtual Arc smatra da BioBasicsBench daje zeleno svetlo za pomoćnu analizu, ali crveno za autonomno naučno odlučivanje. Skok GPT-6 Astre na 66,7% raspoloživih bodova, sa 43,8% za GPT-5.6 Sol, jeste značajan, ali to nije stopa uspešno završenih zadataka i još ostavlja previše prostora za pogrešno tumačenje kontrola, zanemarivanje protivrečnih dokaza i netačna merenja. Ne bismo ovaj model direktno povezali sa procesom koji naručuje eksperimente, odobrava serije ili menja podatke u poslovnom sistemu. Uveli bismo ga kao drugog čitaoca: zahtevali strukturisano navođenje dokaza, eksplicitno iskazivanje neizvesnosti, prosleđivanje spornih zaključaka stručnoj osobi i paralelno testiranje na istorijskim primerima tima. Pošto objavljeno poređenje obuhvata samo OpenAI modele, a skup zadataka nije dostupan za nezavisna testiranja, izbor Astre samo na osnovu ovog rezultata uneo bi i nepotrebnu vezanost za jednog dobavljača. Važna mera nije cena tokena, već trošak tačne i proverene odluke, uključujući rad potreban da se ispravi samouvereno pogrešan odgovor.
Pretvorite uvid u sistem koji radi.
Izgradili bismo sistem koji u režimu paralelnog testiranja izdvaja dokaze, proverava kontrole, beleži poreklo podataka i neizvesne zaključke šalje stručnoj osobi pre bilo kakve akcije. Virtual Arc bi uporedio više modela na Vašim primerima i dodao dozvole i revizijski trag. Vredi da razgovaramo ako Vaš tim iz neurednih naučnih ili inspekcijskih podataka donosi operativne odluke.