Tencent Hy4 je model za testiranje, ne za trenutnu migraciju
Hy4 donosi jeftiniji API, milion tokena konteksta i nove agentske mogućnosti, ali produkcioni timovi treba prvo da provere cenu završenog zadatka i pouzdanost.
Šta je objavljeno
Tencent je 4. novembra objavio Hy4 sa kontekstom od milion tokena, ulazom za tekst i slike, pozivanjem alata, strukturisanim izlazom i novim mogućnostima upravljanja računarom. API je dostupan, uz promotivno prepolovljene cene do 31. decembra.
Zašto je važno
Kombinacija dugog konteksta i niže cene može promeniti ekonomiju agentskih sistema koji obrađuju velike repozitorijume, dokumentaciju ili višekoračne zadatke. Važna metrika ipak nije cena tokena, već cena pouzdano završenog posla.
Šta bismo uradili
Ne bismo menjali glavni model na osnovu najave i proizvođačkih testova. Hy4 bismo prvo pustili kroz paralelno rutiranje stvarnih zadataka, sa istim alatima, ograničenjima i kriterijumima uspeha kao postojeći model.
Hy4 je dovoljno zanimljiv da odmah uđe u ozbiljan produkcioni test, ali još nije dovoljno dokazan da postane podrazumevani model. Promotivna cena, kontekst od milion tokena, rad sa slikama, pozivanje alata i strukturisani izlaz čine ga realnim kandidatom za agentske tokove koji danas troše skupe modele na duge zadatke. Ipak, Tencent je težine modela i sistemske kartice najavio za naredne dane, dok je nezavisna pokrivenost testovima još uvek ograničena. Za nas to znači testirati, a ne migrirati: postavili bismo Hy4 iza višeprovajderskog sloja, slali mu kopije stvarnih zadataka bez uticaja na korisnike i merili cenu po uspešno završenom zadatku, kašnjenje, greške alata i trošak oporavka. Ako pobedi samo na obradi dokumenata ili vizuelnim zadacima, rutirali bismo samo te poslove. Ako ne pokaže stabilnost kroz duge tokove, popust nije dovoljan razlog da prihvatimo novi operativni rizik i vezivanje za dobavljača.
Pretvorite uvid u sistem koji radi.
Gradimo višeprovajderske agentske sisteme koji paralelno testiraju Hy4 uz Vaš postojeći model, mere uspešno završene zadatke i drže naplatu, dozvole i revizijski trag van jednog dobavljača. Ako Vaš produkcioni agent može da dobije jeftinije dugokontekstno rezonovanje, razgovarajmo.