Perplexity Decider v1.3 pretvara AI rutiranje u zamenjiv infrastrukturni sloj
Otvoreni model za klasifikaciju, rutiranje i izdvajanje teksta menja način na koji timovi treba da grade kontrolni sloj oko skupih generativnih modela.
Šta je objavljeno
Perplexity je 12. novembra objavio Decider v1.3 i manji Decider Flash v1.3. Modeli ne generišu odgovor u prozi, već vraćaju verovatnoće za da-ne odluke, izbor između ponuđenih opcija i ocenjivanje po zadatoj skali. Nova funkcija Locate izdvaja tačne delove izvornog teksta sa pozicijama i ocenom pouzdanosti.
Oba modela dostupna su kroz Perplexity Decisions API, OpenRouter i kao težine pod Apache 2.0 licencom. Zvanična API cena je 0,02 dolara za milion ulaznih tokena za veći model i 0,01 dolar za Flash, bez naplate izlaznih tokena.
Kontrolni sloj
Ovo nije zamena za model koji piše, programira ili planira više koraka. To je specijalizovan kontrolni sloj za poslove gde aplikaciji treba odluka koju može odmah da upotrebi: rutiranje zahteva, izbor alata, moderacija, provera pravila, rangiranje rezultata ili izdvajanje polja.
Važna operativna promena je mogućnost da isti ulaz proverite kroz više pitanja bez generisanja i naknadnog parsiranja teksta. Time odluke postaju lakše za merenje, pragove je moguće menjati bez prepravljanja promptova, a izlaz je pogodniji za reviziju.
Naš potez
Počeli bismo uskim pilotom na jednoj čestoj odluci koja danas koristi generativni model. Napravili bismo skup obeleženih primera iz stvarnog saobraćaja, uporedili greške, kašnjenje i trošak po završenom zadatku, pa model prvo pustili u režimu paralelnog odlučivanja bez uticaja na korisnika.
Interfejs bismo zadržali nezavisnim od provajdera, sa ljudskom proverom za nejasne ili rizične slučajeve. Lokalno pokretanje bismo razmatrali tek kada privatnost, obim ili zaključavanje za provajdera opravdaju potrebnu GPU infrastrukturu.
Decider v1.3 ne bismo stavljali na kraj agenta, već bismo ga testirali na početku toka. Previše produkcionih sistema plaća generativni model da odgovori na ograničeno pitanje — gde poslati zahtev, da li dozvoliti alat, kako oceniti rezultat ili koje polje izdvojiti — a zatim parsira slobodan tekst i nada se stabilnom odgovoru. Decider v1.3 i Flash v1.3 vraćaju verovatnoće, dodaju Locate za izdvajanje tačnih delova teksta, dostupni su preko API-ja, a težine su objavljene pod Apache 2.0 licencom. Naš potez bio bi da ispred skupljih modela za rezonovanje postavimo sloj za odluke nezavisan od provajdera, pustimo kroz njega snimljen produkcioni saobraćaj, podesimo pragove na obeleženim primerima i testiramo ga paralelno pre bilo kakve migracije. Ne bismo njime menjali složeno rezonovanje niti ljudsku proveru kod rizičnih odluka, a rezultate koje je objavio sam proizvođač ne bismo prihvatili kao dovoljan razlog za kupovinu. Hugging Face kartica navodi i da model od 27 milijardi parametara traži oko 49 GiB samo za BF16 težine, uz dodatnu radnu memoriju i autentifikovan pristup, pa otvorene težine ne znače jednostavno lokalno pokretanje. Ipak, ovo vredi isprobati sada: moguća dobit nije pametniji četbot, već niži trošak završenog zadatka, manje grešaka pri parsiranju i slabija zavisnost od jednog provajdera u kontrolnom sloju sistema.
Pretvorite uvid u sistem koji radi.
Gradimo nezavisan sloj za odluke koji klasifikuje, rutira i izdvaja podatke pre nego što Vaš agent pozove generativni model. Virtual Arc dodaje evaluacije, paralelno testiranje, pragove pouzdanosti, dozvole i revizioni trag. Razgovarajmo ako Vaš sistem koristi LLM uglavnom za oznake i izbor rute.