Tokens: wat het is en hoe je het inzet

Tokens — Tokens zijn de kleine stukjes tekst waarin een AI-model taal opdeelt. Een token is ongeveer drie tot vier tekens; modellen rekenen en denken in tokens, niet in woorden.

Wat is Tokens?

Elk model heeft een maximum aan tokens dat het in één keer kan verwerken: het contextvenster. Is je document groter, dan moet je het opsplitten of samenvatten.

Tokens bepalen ook de kosten. Bij grootschalige contentproductie of een chatbot met veel gesprekken loont het om prompts compact te houden en het juiste model per taak te kiezen.

Zo gebruiken wij het in marketing

• Kosten inschatten voor AI-toepassingen op schaal.
• Bepalen welk model past bij lange documenten.
• Prompts en bronnen efficiënt opbouwen.

Verder lezen

• AI-integratie
• AI-tools implementatie

Deze uitleg komt uit de begrippenlijst van ons AI marketing bureau. Bekijk alle termen in de begrippenlijst.

Veelgestelde vragen over Tokens

Hoeveel tokens is een pagina tekst?

Ruwweg 500 tot 800 tokens per A4 met tekst, afhankelijk van taal en opmaak.

Waarom vergeet een chatbot eerdere berichten?

Omdat het gesprek buiten het contextvenster valt. Oudere berichten vallen dan weg of moeten worden samengevat.