Nanbeige4.3-33B je otvoren agentski model koji vredi testirati, ali još ne i usvojiti
Novi model sa otvorenim težinama zaslužuje mesto u evaluaciji, ali ne i prečicu do produkcije.
Šta je objavljeno
Nanbeige je objavio gust model sa 33 milijarde parametara i Apache 2.0 licencom. Kartica modela navodi kontekst do 512K tokena, pozivanje alata i uputstva za pokretanje kroz Transformers, SGLang i vLLM.
Zašto je važno
U sopstvenoj tabeli Nanbeige vodi u 17 od 20 poređenja sa modelima slične veličine. Rezultati još nisu nezavisno ponovljeni, a Hugging Face trenutno ne navodi nijednog inference provajdera za ovaj model.
Naša odluka
Ovo je izdanje za testiranje sada, a migraciju eventualno kasnije. Mi bismo ga prvo pustili paralelno na stvarnim zadacima i odluku zasnovali na ceni završenog posla, latenciji i pouzdanosti, a ne na tabeli proizvođača.
Nanbeige4.3-33B nije razlog da se produkcioni frontier model odmah zameni, ali jeste razlog da se ponovo izračuna isplativost sopstvenog hostinga. Gust model sa 33 milijarde parametara, permisivnom licencom i podrškom za poznate serving alate dovoljno je pristupačan za kontrolisano testiranje, dok su rezultati koje proizvođač objavljuje na agentskim programerskim zadacima dovoljno dobri da takav test opravdaju. Problem je što poređenja još nisu nezavisno potvrđena, Hugging Face trenutno ne navodi inference provajdera, a deklarisani kontekst od 512K tokena lako može da pretvori navodno jeftin model u skup infrastrukturni projekat. Mi bismo ga uključili kao paralelnu, nevidljivu rutu za uzak skup zadataka nad kodom, repozitorijumima i alatima, strogo ograničili kontekst i merili cenu po uspešno završenom zadatku, latenciju najsporijih zahteva, oporavak posle greške i operativno opterećenje. U produkcioni saobraćaj bismo ga pustili samo tamo gde dosledno pobeđuje postojeću rutu. Otvorene težine donose kontrolu i bolju pregovaračku poziciju, ali ne donose pouzdanost bez ozbiljnog rada.
Pretvorite uvid u sistem koji radi.
Izgradili bismo evaluacioni tok sa više provajdera koji Nanbeige poredi sa Vašim sadašnjim modelima na stvarnim agentskim zadacima, uz paralelno rutiranje, dozvole, obračun potrošnje i audit tragove. Ako Vaš tim razmatra sopstveni hosting agenata ili migraciju modela, vredi da razgovaramo.