Tiedon tislaus
Suuremman mallin käyttäytymisen tiivistäminen pienempään malliin.
Miksi tällä on merkitystä
Suuret mallit ovat älykkäitä mutta kalliita.
Käytännössä
Ollama-first -lähestymistapamme on hengeltään samanlainen.
Liittyvät termit
Ollama
Työkalu paikallisten tekoälymallien ajamiseen. Ilmainen, yksityinen, nopea.
Kvantifiointi
Mallin numeerisen tarkkuuden pienentäminen kustannusten ja nopeuden parantamiseksi.
Inferenssi
Prosessi jossa tekoälymalli tuottaa vastauksen syötetiedoista.
LLM (suuri kielimalli)
Suuri kielimalli, kuten Claude, GPT tai Gemini. Agentin "aivot" jotka ymmärtävät ja tuottavat kieltä.