Cloudflare Clef-omni svodi multimodalno usmeravanje na jedan API poziv
Model sa otvorenim težinama ocenjuje unapred definisane odluke nad tekstom, slikom, zvukom i videom. Testirali bismo ga kao zamenu za deo lanca obrade, ne kao autonomnu kapiju.
Šta je stiglo
Cloudflare je 9. oktobra objavio Clef-omni, model sa otvorenim težinama koji u jednom zahtevu prima tekst, slike, zvuk i video, a vraća verovatnoće za unapred definisane opcije. Model je dostupan na Workers AI po ceni od 0,15 dolara za milion ulaznih tokena, bez naplate izlaznih tokena, uz kontekst od 64.000 tokena.
Računica u radu
Najzanimljivija mogućnost nije još jedan multimodalni interfejs, već zamena više uzastopnih koraka jednim pozivom. Cloudflare u sopstvenim testovima navodi oko 130 milisekundi medijalne latencije za tekstualne odluke i oko 1,5 sekundi za video od 21 sekunde sa zvukom, ali te rezultate treba potvrditi na sopstvenim podacima.
Naš potez
Mi bismo prvo testirali usmeravanje zahteva, trijažu incidenata ili proveru izlaza, uz paralelno izvršavanje postojećeg sistema. Samostalno hostovanje smanjuje vezanost za dobavljača, ali BF16 verzija prema kartici modela zahteva oko 64 GB GPU memorije, pa otvorene težine ne znače automatski i jeftiniju produkciju.
Clef-omni je važan zato što pogađa najmanje glamurozan, ali često najskuplji deo multimodalnog softvera: lanac transkripcije, izdvajanja frejmova, klasifikacije i parsiranja rezultata koji prethodi stvarnoj akciji. Ako jedan model ograničen šemom može zajedno da oceni tekst, sliku, zvuk i video, dobitak nije atraktivniji demo, već manje servisa, manje ponovljenih poziva i niži trošak po završenom zadatku usmeravanja ili trijaže. Virtual Arc ipak ne bi odmah gradio produkcioni kontrolni sloj oko ovog modela. Cloudflareovi rezultati kvaliteta i latencije potiču od samog proizvođača, kalibracija može da oslabi kada se distribucija saobraćaja promeni, a pogrešna verovatnoća i dalje može da aktivira pogrešan alat. Zato bismo ga prvo pustili u režimu senke na jednom jasno ograničenom procesu, merili ukupan trošak zadatka i stopu pogrešnih akcija u odnosu na postojeći sistem, pa ga tek zatim uveli iza determinističkih pragova, revizijskih zapisa i mogućnosti ljudske provere. Apache-2.0 težine čine takav pilot privlačnijim jer uspešan test ne mora da završi trajnom vezanošću za jedan API.