Preden izbereš orodje za lokalni AI, preveri to
Izraz “lokalni AI” v zadnjem času pomeni vse bolj različne stvari. Včasih na tvojem računalniku dejansko teče sam model, drugič pa teče le aplikacija, medtem ko se model in pogovor še vedno izvajata nekje v oblaku. Veliko orodij, ki se tržijo kot “lokalna”, v resnici to niso.
Preden izbereš orodje za lokalno umetno inteligenco, je smiselno postaviti tri vprašanja: kje dejansko poteka sklepanje (inference), kateri račun ali omrežna storitev je še vedno potrebna, in kaj dovoljuje licenca? Najboljše lokalno AI orodje je tisto, ki ne potrebuje ničesar od tega.
Med zanimivimi novostmi tega tedna je Klara, lokalni namizni AI asistent za Kubuntu in KDE Plasma, ki ga razvija Kubuntu razvijalec Rick Timmis — namenjen je upravljanju namizja z glasovnim ukazovanjem in je še v fazi razvoja.
Linux Foundation je predstavila tudi novo certifikacijo Model Context Protocol Associate (MCPA), zanimivo za tiste, ki gradijo integracije MCP ali želijo tovrstno potrdilo na svojem življenjepisu.
Na področju odprtih modelov izstopa OpenDecider — majhen model, namenjen samo usmerjanju preprostih odločitev (npr. v katero čakalno vrsto spada zahteva), ne pa pisanju dolgih odgovorov. Dokazuje, da za rutinske naloge ni vedno potreben velik model — manjši “student” model lahko deluje kot hiter prvi filter pred počasnejšim agentom.
Nvidia je septembra napovedala lažjo nastavitev lokalnih modelov prek orodij Hermes in OpenClaw, a enoklik pot (Hermes) je trenutno na voljo le za Windows, medtem ko za Linux še “prihaja”.
Vir informacij: itsfoss.







