Tencentov Hy4 sada staje u 214 GiB, ali još nije lak za produkciju
AngelSlim je objavio dve GGUF verzije modela Hy4 preview. Manja drastično spušta memorijski prag, ali i dalje traži ozbiljan GPU server, zakrpljen runtime i sopstvenu proveru kvaliteta.
Šta se promenilo
Tencentov AngelSlim tim objavio je dve GGUF verzije modela Hy4 preview. Q4_K_M zauzima 435,20 GiB, dok verzija mešovite preciznosti od 1–2 bita spušta veličinu na 213,66 GiB. Osnovni model ima 770 milijardi parametara, aktivira 49 milijardi po tokenu i objavljen je pod licencom Apache 2.0.
Zašto nije desktop
Manja verzija približno prepolovljava memoriju potrebnu da ceo model ostane u VRAM-u, ali 214 GiB i dalje nije lokalni AI u uobičajenom smislu. Pored velikog serverskog sistema, obe verzije zahtevaju zakrpljeni llama.cpp jer Hy4 arhitektura još nije podržana u standardnoj distribuciji.
Naš potez
Mi bismo prvo testirali hostovani pristup na stvarnim zadacima i merili ukupan trošak po prihvaćenom rezultatu. Samostalno hostovanje ima smisla tek za dovoljno stabilan obim ili podatke koji zaista ne smeju da napuste infrastrukturu; preview model, prilagođeni runtime i skupa mašina nisu dobra podrazumevana osnova za proizvod.
Objava GGUF verzije od 213,66 GiB jeste važna, ali ne zato što je Hy4 preview odjednom postao model za običnu radnu stanicu. Nije. I dalje govorimo o ozbiljnom serverskom sistemu, velikoj količini GPU memorije i verziji llama.cpp koja mora ručno da se zakrpi pre nego što model uopšte proradi. Mi u Virtual Arcu zato ne bismo kupovali infrastrukturu niti vezivali produkcionu arhitekturu za ovaj preview. Prvo bismo preko hostovanog API-ja izmerili cenu uspešno završenog zadatka, p95 latenciju, pouzdanost poziva alata i kvalitet na sopstvenim poslovima. Tek ako se pokaže da stabilan obim, osetljivi podaci ili zahtevi za kontrolom opravdavaju vlasništvo nad hardverom, pokrenuli bismo ograničen eksperiment sa manjom verzijom. Čak i tada model bi ostao iza apstrakcionog sloja sa spremnim povratkom na drugog provajdera. Otvorene težine uklanjaju dozvolu dobavljača iz jednačine, ali ne uklanjaju troškove struje, kapaciteta, nadzora, zakrpa i dežurstava. Za većinu timova Hy4 je danas vredan merenja, ali još nije vredan migracije.