Eelkoolitatud transformer-mudelid puhtas Keras 3-s, töötavad JAX-i, PyTorchi ja TensorFlow-ga.
Laen kommentaare...
Looja
sleepyfox
KerasFormers on eeltreenitud transformer-mudelite raamatukogu, mis on täielikult ehitatud puhtas Keras 3-s, kaaludega, mis on teisendatud originaalsetest kontrollpunktidest. See hõlmab 118 mudeliperekonda—alates objektituvastusest ja segmenteerimisest kuni kõnetuvastuse ja suurte keelemudeliteni—ja töötab sama koodiga JAX, PyTorch või TensorFlow taustsüsteemides. Käitusajal pole vaja transformers ega torch sõltuvusi, muutes selle kergeks ja raamistikust sõltumatuks alternatiiviks kaasaegsete arhitektuuridega töötamisel.
Iga mudel on ehitatud from_weights abil, seejärel söödetakse talle see, mida selle protsessor toodab. Olgu tegemist tuvastaja, sügavushinnangu või LLM-iga, töövoog on identne—seega ülesannete vahetamine ei nõua õppimiskõverat ega koodimuudatusi.
from_weights suunab automaatselt: see aktsepteerib Hubis eelkonverteeritud Keras hoidlat, palja variandi nime, mis teisendab ülesvoolu kontrollpunkti lennult, või mis tahes ühilduvat Hugging Face hoidlat hf: eesliite taga. Arhitektuuri üksikasjad, nagu klasside arv, loetakse hoidla konfiguratsioonist, nii et peenhäälestatud mudelid töötavad ilma lisaseadistuseta.
Ainult kaalude int8, int4, fp8 ja mxfp4 on argumendid samas from_weights kõnes, mis tahes mudeli puhul. Suured kontrollpunktid nagu GPT-OSS 120B laaditakse bfloat16-ga, kusjuures MoE eksperdid on pakitud MXFP4-sse ja dekvantiseeritakse lennult, hoides mälu umbes 66 GB juures, mitte ~130 GB fp32-s.
Iga joonis ja prinditud tulemus mudelilehel pärineb tegelikult selle kõrval oleva lõigu käitamisest näidatud päris pildil või heliklipil. Miski pole käsitsi kirjutatud, et usutav välja näha—see, mida loed, on täpselt see, mida saad, kui seda ise käitad.
"Käita mis tahes mudelit, mis tahes taustsüsteemis."
See pole turunduslik jutt. KerasFormers täidab selle, portides 118 mudeliperekonda puhtasse Keras 3-sse teisendatud kaaludega, ja laseb seejärel vahetada JAX, PyTorch ja TensorFlow vahel ühe keskkonnamuutujaga. Laiuse, taustsüsteemi paindlikkuse ja ausa, reprodutseeritava dokumentatsiooni kombinatsioon muudab selle haruldaseks leiuks ML-teekide maailmas.
Ehitate Keras-iga ja soovite juurdepääsu kaasaegsetele transformeritele ilma ökosüsteemist lahkumata, või kui vajate ühte koodibaasi, mis töötab mitmes taustsüsteemis kaasaskantavuse huvides. See sobib hästi ka siis, kui töötate suurte mudelitega ja soovite lihtsaid kvantiseerimisvõimalusi, või kui hindate dokumentatsiooni, mis peegeldab tegelikke, käitatavaid tulemusi, mitte käsitsi loodud näiteid.
Teised tööriistad, mida võiksid kaaluda
Tutvuge Mellumiga – kiirete keelemudelite perekonnaga, mis hõlmab järgmise põlvkonna mudelit ülimadalate latentsusaegade ja suure jõudlusega inferentsi jaoks.
MiniMax H3 on avatud multimodaalne mudel, mis genereerib 2K videot loomuliku stereoga. See ühendab teksti, pildi ja heli sisendid, paistes silma täpse teksti renderdamise, visuaalse pakendamise ja keeruliste juhiste järgimisega ärilise sisu loomisel.
Vendo on avatud lähtekoodiga kohandamiskiht teie tootes, mis võimaldab igal kliendil lisada vajalikke funktsioone ja mikrorakendusi, lihtsalt kirjeldades, mida nad soovivad. Seni on tarkvara olnud jäik ja iga klient pidi sellega kohanema. Vendo muudab selle dünaamiliseks, nii et teie toode kujuneb iga kliendi jaoks vastavalt tema vajadustele, tuginedes teie enda API-le ja püsides teie seatud piirides.
Hetkel, kui agent peab midagi juurutama, põrkab ta vastu seina, mis on ehitatud inimeste jaoks. Täna toome välja ajutised kontod Cloudflare Workersi jaoks. Iga agent saab nüüd käivitada wrangler deploy — temporary ja saada sekunditega töötava Worker'i.
Laen kommentaare...