Latenssi
Aika joka kuluu agentin vastaamiseen tai toimintaan.
Miksi tällä on merkitystä
Agenttitehtävät vaihtavat välittömän vastauksen perusteelliseen, itsenäiseen työhön.
Käytännössä
Chat-widgettimme vastaa <2s FAQ-vastaavuuksiin, 3-5s Ollama-vastauksiin, 5-10s Claude API:lle.
Liittyvät termit
Inferenssi
Prosessi jossa tekoälymalli tuottaa vastauksen syötetiedoista.
Välimuisti
Aiempien tekoälyvastausten tallennus uudelleenkäyttöä varten. Säästää kustannuksia ja nopeuttaa vastauksia.
Ollama
Työkalu paikallisten tekoälymallien ajamiseen. Ilmainen, yksityinen, nopea.
Varajärjestelmä
Vaihtoehtoinen toimintatapa kun ensisijainen menetelmä epäonnistuu.