Mercury 3 donosi brži i jeftiniji difuzioni model za agente
Brzina iznad hiljadu tokena u sekundi može skratiti agentske tokove, ali promotivna cena i neprovereni rezultati još ne opravdavaju potpunu migraciju.
Šta je objavljeno
Inception je 19. oktobra predstavio Mercury 3, difuzioni jezički model sa kontekstom od milion tokena. Kompanija navodi brzinu od 1.068 tokena u sekundi, dok je model već dostupan preko njenog API-ja, OpenRoutera i Vercel AI Gatewaya.
Zašto je važno
Kod višekoračnih agenata kašnjenje se sabira pri svakom pozivu modelu. Ako Mercury 3 zadrži dovoljno dobar kvalitet uz ovakvu brzinu, može smanjiti vreme izvršavanja pretrage, glasovnih tokova i rada u pregledaču bez promene celog sistema.
Šta bismo uradili
Ne bismo menjali glavni model samo na osnovu objave proizvođača. Virtual Arc bi prvo paralelno usmerio stvarne zadatke, računao troškove po redovnoj umesto promotivnoj ceni i zahtevao bolju cenu po uspešno završenom zadatku pre šireg uvođenja.
Mercury 3 je dovoljno zanimljiv da ga odmah uključimo u kontrolisani pilot, ali nije dovoljno dokazan da mu prepustimo podrazumevanu produkcionu rutu. Ako Inceptionova tvrdnja o 1.068 tokena u sekundi opstane na stvarnim tokovima, najveća korist neće biti lepši čet, već kraće vreme izvršavanja agenata koji model pozivaju desetine puta po zadatku. Ipak, Virtual Arc ne bi pravio poslovni plan prema promotivnoj ceni od 0,10 dolara za milion ulaznih i 0,35 dolara za milion izlaznih tokena, jer nije objavljeno kada popust prestaje. Troškove bismo računali prema redovnim cenama od 0,20 i 0,70 dolara, zatim bismo Mercury 3 pustili paralelno na glasovne tokove, pretragu, rad u pregledaču i pomoćne programerske agente. Merili bismo vreme do završenog zadatka, stopu uspeha, ponovljene pokušaje i cenu kompletnog izvršenja, a ne samo tokene u sekundi. Dok nezavisna merenja i naši testovi ne potvrde kvalitet, pouzdanost i stabilnost pod opterećenjem, zadržali bismo postojeći model kao rezervnu rutu. Ovo je kandidat za specijalizovano ubrzanje, ne razlog za potpunu migraciju.