Tokenizacja w modelach językowych to podział tekstu na mniejsze jednostki, zwane tokenami, a następnie przypisanie im liczb. Model językowy nie czyta liter ani słów tak jak człowiek. Przetwarza numeryczne reprezentacje tokenów, dlatego tokenizacja wpływa na sposób działania LLM, limity kontekstu i koszty korzystania z API.
Jak działa tokenizacja?
Tekst wpisany w prompt najpierw trafia do tokenizatora. Ten dzieli go na fragmenty zgodnie ze słownikiem konkretnego modelu. Każdy fragment otrzymuje identyfikator, czyli liczbę wskazującą pozycję tokena w słowniku.
Tokenem może być całe słowo, część słowa, znak interpunkcyjny, spacja albo specjalny symbol używany przez model. W modelach językowych często stosuje się tokenizację typu subword. Dzięki temu popularne ciągi znaków mogą być przechowywane jako pojedyncze tokeny, a rzadkie słowa zostają podzielone na mniejsze części.
Proces wygląda w uproszczeniu tak:
- Tekst zostaje podzielony na fragmenty.
- Każdy fragment otrzymuje identyfikator ze słownika.
- Identyfikatory trafiają do modelu jako ciąg liczb.
- Model analizuje kontekst i przewiduje kolejne tokeny.
- Tokeny wyjściowe są zamieniane z powrotem na tekst.
Token nie jest tym samym co słowo. Jedno krótkie i często spotykane słowo może zajmować jeden token, a długie, rzadkie lub nietypowe wyrażenie może zostać rozbite na kilka jednostek. Dokładny wynik zależy od tokenizatora. GPT, Claude, Gemini, Gemma, Llama i Mistral korzystają z różnych słowników, dlatego ta sama wiadomość może mieć inną liczbę tokenów w każdym z tych modeli.
| Słowo lub fraza | Liczba tokenów | Dlaczego wynik może się różnić? |
|---|---|---|
| AI | 1 lub więcej | Krótki, często używany zapis może być pojedynczym tokenem, ale zależy to od słownika. |
| strawberry | 1 lub kilka | Popularne słowo angielskie ma większą szansę występować jako gotowy fragment. |
| truskawka | 1 lub kilka | Polskie słowo może zostać podzielone inaczej niż jego angielski odpowiednik. |
| niezrozumiały | kilka | Dłuższe lub mniej częste słowo częściej składa się z fragmentów. |
Podane wartości są orientacyjne. Nie należy traktować ich jako uniwersalnego wyniku dla wszystkich modeli GPT. Liczbę tokenów trzeba sprawdzać tokenizatorem używanym przez konkretny model.
Dlaczego tokenizacja ma znaczenie dla użytkownika?
Tokenizacja nie jest wyłącznie etapem technicznym ukrytym za interfejsem czatu. Liczba tokenów określa, ile tekstu model może przetworzyć, ile obliczeń musi wykonać i jak może zostać naliczona opłata za API. Najważniejsze konsekwencje są następujące:
- Okno kontekstowe – każdy model ma limit tokenów, które może przyjąć w jednym wywołaniu. Limit obejmuje zwykle tekst wejściowy, historię rozmowy i generowaną odpowiedź.
- Koszt API – dostawcy często rozliczają osobno tokeny wejściowe i wyjściowe. Długi prompt oraz długa odpowiedź zwiększają zużycie.
- Język tekstu – ten sam materiał może zajmować różną liczbę tokenów w zależności od języka i słownika. Tekst polski nie zawsze jest kodowany tak samo efektywnie jak angielski.
- Długość kontekstu – większa liczba tokenów oznacza więcej danych do przeanalizowania, co może zwiększać czas odpowiedzi i zużycie zasobów.
- Dokładność prostych operacji na znakach – model nie otrzymuje tekstu jako tablicy pojedynczych liter, więc zadania wymagające ich bezpośredniego policzenia mogą sprawiać mu trudność.
Dlaczego model ma problem z liczeniem liter w słowie „strawberry”?
Przykład pytania o liczbę liter „r” w słowie „strawberry” dobrze pokazuje ograniczenie wynikające z tokenizacji. Jeżeli całe słowo zostanie zapisane jako jeden token, model otrzyma jego identyfikator, a nie osobne elementy „s”, „t”, „r”, „a” i tak dalej.
Model zna skojarzenie między tokenem a słowem, ale nie musi mieć bezpośredniego dostępu do jego wewnętrznej budowy znak po znaku. Pytanie o liczbę liter przypomina proszenie o policzenie ziaren w bochenku chleba. Chleb powstał z ziaren, ale gotowy bochenek nie pokazuje ich osobno.
To dlatego odpowiedź może być błędna nawet przy pozornie prostym zadaniu. Model przewiduje najbardziej prawdopodobny ciąg kolejnych tokenów, a nie wykonuje automatycznie operacji na znakach jak program korzystający z tablicy tekstowej. Przy takich zadaniach lepiej użyć kodu, kalkulatora lub narzędzia, które analizuje tekst znak po znaku.
Co dzieje się z tokenem po zamianie na liczbę?
Identyfikator tokena jest tylko numerem w słowniku. Sam numer nie zawiera jeszcze pełnego znaczenia. Następnie model wykorzystuje embedding, czyli wektor złożony z wielu liczb. Wektor umieszcza token w matematycznej przestrzeni, w której mogą być odwzorowane jego związki z innymi tokenami.
Tokeny o podobnym zastosowaniu lub znaczeniu mogą mieć zbliżone reprezentacje, choć nie oznacza to prostego słownikowego tłumaczenia. Model analizuje też położenie tokena w zdaniu oraz relacje z pozostałymi elementami kontekstu. Na tej podstawie oblicza prawdopodobieństwa kolejnych tokenów i buduje odpowiedź krok po kroku.
Tokenizacja nie nadaje więc modelowi rozumienia w ludzkim sensie. Przygotowuje dane w formie, na której sieć neuronowa może wykonywać operacje matematyczne.
Co warto zapamiętać?
Tokenizacja jest fundamentem działania modeli językowych. Zamienia tekst na jednostki, a następnie na liczby, które model może przetwarzać. Token nie musi oznaczać całego słowa, a jego liczba wpływa na limit kontekstu, koszty API i czas obliczeń. Pojęcie dotyczy tutaj przetwarzania języka naturalnego, nie tokenizacji aktywów ani innych zastosowań finansowych.
