Google je otvorio TorchTPU i učinio PyTorch na TPU-u ozbiljnom produkcionom opcijom
TorchTPU uklanja veliki deo PyTorch migracionog rada, ali infrastrukturu ne čini automatski prenosivom.
Šta je objavljeno
Google je 20. oktobra objavio TorchTPU kao open-source, PyTorch-native backend za svoje TPU akceleratore. Podržani su eager izvršavanje, torch.compile i distribuirani PyTorch interfejsi, uz integracije sa alatima kao što su Hugging Face, vLLM, SGLang, llm-d, TorchTitan i Ray.
Manje prepisivanja
Postojeći PyTorch workload sada može da dođe do TPU-a bez zasebne JAX implementacije i velikog strukturnog prepisivanja. Time prvi test postaje razumna migraciona proba, a ne poseban infrastrukturni program.
Zavisnost ostaje
Kod je prenosiviji, ali kapacitet, cene, prilagođeni kerneli, profilisanje i incidentne procedure ostaju vezani za konkretnog dobavljača. Uspešno pokretanje modela još ne dokazuje da produkciona ekonomika ima smisla.
Naš potez
Mi bismo isti model i reprezentativno opterećenje pustili paralelno na postojećoj i TPU putanji, iza neutralnog sloja za serviranje. Migraciju bismo odobrili tek kada TPU pokaže bolju cenu završenog posla bez neprihvatljivog kompromisa u latenciji, pouzdanosti ili održavanju.
Otvaranje TorchTPU koda nije razlog da produkcionu flotu odmah preselimo na TPU. Jeste razlog da Googleove akceleratore više ne posmatramo kao izdvojenu JAX granu za koju PyTorch tim mora da održava poseban sistem. PyTorch-native backend pod Apache 2.0 licencom, uz podršku za Hugging Face, vLLM, SGLang, Ray i llm-d, dovoljno smanjuje napor probne migracije da TPU sada može ozbiljno da konkuriše GPU infrastrukturi. Ipak, prenosivost frejmvorka nije isto što i prenosivost celog sistema: dostupnost kapaciteta, nepodržani operatori, prilagođeni kerneli, nadzor, dijagnostika, oporavak od grešaka i cene oblaka i dalje mogu da stvore novu zavisnost čim pilot proradi. Mi bismo aplikativne interfejse i sloj za serviranje zadržali neutralnim prema hardveru, pustili reprezentativan tok treninga ili inferencije u paralelnom testu i odluku doneli prema ceni završenog posla, latenciji, pouzdanosti i potrebnom inženjerskom radu. Ne treba unapred izabrati TPU; treba ga naterati da zasluži konkretno radno opterećenje.
Pretvorite uvid u sistem koji radi.
Gradimo hardverski neutralan sloj za AI serviranje i paralelne testove koji na Vašim modelima porede TPU i GPU putanju pre migracije. Dodajemo rutiranje, evaluaciju, obračun potrošnje, dozvole i revizijski trag kako biste menjali infrastrukturu bez prepisivanja proizvoda. Vredi da razgovaramo ako izbor akceleratora utiče na ekonomiku Vašeg produkcionog sistema.