Mistral Large 4 je za testiranje sada, ali ne i za migraciju
Novi multimodalni model donosi agresivnu API cenu i obećanje otvorenih težina, ali produkcioni timovi treba da sačekaju dokaze o stvarnom trošku i pouzdanosti.
Ozbiljan izazivač
Mistral je 6. oktobra otvorio javni preview API-ja za Mistral Large 4, nativno multimodalni MoE sa ukupno 1,05 biliona parametara i 49 milijardi aktivnih parametara po tokenu. Kompanija navodi kontekst od milion tokena, dok su otvorene težine najavljene za 31. oktobar.
Promotivna cena iznosi 0,68 dolara za milion ulaznih tokena, 0,07 dolara za keširani ulaz i 2,09 dolara za izlaz. Popust od 50 odsto traje dve nedelje, pa ga ne treba koristiti kao dugoročnu osnovu za računicu.
Kontrola je proizvod
Prava vrednost nije još jedan rezultat na tabeli, već mogućnost da tim kasnije pokrene model pod sopstvenim pravilima, bliže svojim podacima i bez potpune zavisnosti od jednog API provajdera. To je relevantno za sisteme u kojima odbijanje zahteva, promena politike ili nestanak modela direktno utiču na pouzdanost.
Međutim, model ove veličine zahteva ozbiljnu infrastrukturu, a objavljeni rezultati su još pretežno preliminarni ili potiču od proizvođača. Otvorene težine same po sebi ne garantuju povoljniji trošak po završenom zadatku.
Naš potez
Virtual Arc bi ga odmah uključio kao alternativni model iza prenosivog rutera i pustio isti skup stvarnih zadataka kroz postojeće produkcione modele i ML4. Merili bismo kompletan ishod: tačnost, latenciju, ponovne pokušaje, odbijanja, propale pozive i ukupan trošak uspešno završenog posla.
Ključni saobraćaj ne bismo pomerali pre objave težina, licence, zahteva za infrastrukturu i širih nezavisnih evaluacija. Ovo je trenutak za kontrolisan eksperiment, ne za migracioni projekat.
Mistral Large 4 je važan zato što ponovo čini model sa otvorenim težinama ozbiljnom opcijom za zahtevne produkcione sisteme, ali Virtual Arc ne bi još prebacivao ključni saobraćaj na njega. API je dostupan, promotivna cena je agresivna, a najavljeni rezultati deluju dovoljno dobro da opravdaju testiranje. Ipak, težine stižu tek 31. oktobra, nezavisne evaluacije su još oskudne, a ekonomika samostalnog hostovanja modela ove veličine nije poznata. Mi bismo ga odmah dodali iza apstrakcionog sloja za više provajdera, ponovili reprezentativan skup stvarnih produkcionih zadataka i merili trošak po uspešno završenom zadatku, latenciju, broj ponovljenih poziva, odbijanja i stabilnost strukturisanih izlaza. Ne bismo planirali budžet prema dvonedeljnom popustu niti bismo započinjali migraciju dok ne vidimo licencu, stvarne zahteve za memoriju i propusnost, kao i nezavisne rezultate. Naš stav je jednostavan: testirati sada, sačuvati mogućnost promene provajdera i odluku o migraciji doneti tek kada otvorene težine postanu operativna činjenica, a ne samo najava.