Välimuisti
Aiempien tekoälyvastausten tallennus uudelleenkäyttöä varten. Säästää kustannuksia ja nopeuttaa vastauksia.
Miksi tällä on merkitystä
Monet tekoälykyselyt ovat toistuvia. Välimuistitus tarkoittaa että maksat ensimmäisestä vastauksesta, sitten palvelet identtiset kysymykset ilmaiseksi.
Käytännössä
LLM-reitityksemme käyttää sisältöhash-välimuistitusta: identtiset kyselyt palauttavat välimuistitulokset välittömästi.
Liittyvät termit
Kustannusseuranta
Jokaisen tekoälykutsun hinnan seuranta: malli, tokenit, hinta, välimuististatus.
Ollama
Työkalu paikallisten tekoälymallien ajamiseen. Ilmainen, yksityinen, nopea.
Varajärjestelmä
Vaihtoehtoinen toimintatapa kun ensisijainen menetelmä epäonnistuu.
Tokenibudjetti
Raja sille kuinka paljon tokeneja agentti saa käyttää.