# Token > En token är den textenhet som en språkmodell faktiskt läser och skriver. Den är oftast en orddel snarare än ett helt ord, så modellen ser aldrig bokstäver… Source: https://northerngo.com/sv/ordlista/token/ Language: sv Updated: 2026-08-28 --- **En token är den textenhet som en språkmodell faktiskt läser och skriver. Den är oftast en orddel snarare än ett helt ord, så modellen ser aldrig bokstäver eller ord direkt — bara en följd av heltal som står för dessa delar.** ### Hur text delas upp En tokenizer byggs genom att gå igenom en stor textmängd och slå samman de vanligaste teckenföljderna till enskilda enheter, oftast med byte-pair encoding. Vanliga ord blir en token; ovanligare ord delas. Blanksteg ingår i token, så ` the` och `the` är olika poster i vokabulären. Grov tumregel för engelska: **en token är cirka fyra tecken, alltså ungefär 0,75 ord**. Genomsnittet döljer stor spridning: - Vanliga engelska ord: en token styck. - Svenska, tyska och andra sammansättningsspråk: ofta två till fyra tokens per ord, eftersom tokenizern huvudsakligen tränats på engelska. - Namn, artikelnummer och tekniska termer: delas i fragment. - Kod: indrag, klamrar och identifierare i camelCase äter tokens. - Emoji och icke-latinska skriftsystem: ibland flera tokens per tecken. Den praktiska konsekvensen är att samma mening på svenska kostar märkbart fler tokens än på engelska — ofta 1,5 till 2 gånger så många. Den fyller [kontextfönstret](/sv/ordlista/context-window/) snabbare och kostar mer per anrop, för identisk innebörd. ### Varför det spelar roll Tokens är enheten för fakturering, för [kontextfönstret](/sv/ordlista/context-window/) och för hastighet. Priser sätts per miljon tokens in och ut, där utdata brukar vara flera gånger dyrare. Genomströmning anges i tokens per sekund. Gränser uttrycks i tokens, aldrig i ord eller tecken. ### Vad du bör se upp med **En token är inte ett ord, och det får konkreta konsekvenser.** De klassiska misslyckandena följer direkt: en modell kan inte tillförlitligt räkna bokstäverna i ett ord, stava baklänges eller räkna på tecken, eftersom den aldrig ser tecknen. Den tittar på ett heltal som representerar `jord` plus ett som representerar `gubbe`. Två fällor till. Ord- och teckengränser i prompter är önskemål — "svara på under 100 ord" är något modellen inte kan kontrollera, medan ett hårt `max_tokens` klipper svaret mitt i en mening. Och antalet tokens är modellspecifikt: samma text mätt med två olika tokenizers ger två olika tal, så räkna med tokenizern för den modell du faktiskt anropar. --- NorthernGo är en AI-driven plattform för att bygga produktionsklara webbappar utan kod. Lokal AI-generering via WebGPU är obegränsad och gratis, och du äger all genererad källkod. https://northerngo.com/