Na czym polega trenowanie LLM?

Trenowanie LLM to matematyczna optymalizacja wag sieci neuronowej. Model analizuje ogromne ilości tokenów, przewiduje kolejny element sekwencji i na podstawie błędu koryguje swoje parametry. Nie uczy się jednak jak człowiek i nie przechowuje wiedzy w postaci uporządkowanej bazy faktów. Wynikiem treningu jest zestaw liczb, który pozwala generować tekst na podstawie poznanych wzorców.

Czym jest trenowanie LLM?

LLM, czyli duży model językowy, jest systemem statystycznym zbudowanym z sieci neuronowej. Jej działanie zależy od milionów, miliardów lub większej liczby parametrów nazywanych wagami. Wagi określają, jak silnie poszczególne elementy obliczeń wpływają na wynik.

Można potraktować model jako matematyczny artefakt. Ma określoną strukturę, między innymi liczbę warstw i rozmiary tensorów, czyli uporządkowanych zbiorów liczb, a także zawiera same wagi. Trenowanie zmienia przede wszystkim wartości tych wag, zwykle bez zmiany podstawowej struktury modelu.

W uproszczeniu proces przypomina kompresowanie wzorców obecnych w danych do ogromnego zbioru parametrów. Model nie zapisuje w nich książek ani stron internetowych w formie dokumentów. Przekształca zależności występujące w danych w liczby, które później wykorzystuje do obliczania prawdopodobieństwa kolejnych tokenów.

Jak tekst staje się danymi dla modelu?

Komputer nie przetwarza słów tak jak człowiek. Zanim tekst trafi do sieci neuronowej, przechodzi tokenizację. To podział tekstu na tokeny, czyli jednostki mogące odpowiadać całym słowom, ich fragmentom, znakom interpunkcyjnym albo kombinacjom znaków.

Przykładowe zdanie „Kot siedzi na macie.” zostaje zamienione na sekwencję identyfikatorów liczbowych. Konkretne numery zależą od użytego tokenizera, dlatego nie istnieje jeden uniwersalny zapis tokenów dla wszystkich modeli. Dla orientacji tysiąc słów może odpowiadać około 1300–1500 tokenom, ale wynik zależy od języka, tekstu i zastosowanego algorytmu.

Następnie identyfikatory tokenów są mapowane na embeddingi, czyli wielowymiarowe wektory liczb. W takiej przestrzeni model może reprezentować podobieństwa i relacje między tokenami. Tokeny występujące w podobnych kontekstach mają zwykle reprezentacje, które pozwalają sieci rozróżniać ich zastosowanie. Nie oznacza to jednak ludzkiego rozumienia znaczenia, lecz matematyczne odwzorowanie wzorców obecnych w danych.

Przepływ informacji można przedstawić tak:

Dane tekstowe → tokenizacja → identyfikatory tokenów → embeddingi → obliczenia w modelu

Na czym polega pre-training?

Pre-training, czyli wstępne trenowanie, jest etapem budowania bazowych zdolności modelu. Model otrzymuje duży korpus tekstów, na przykład książki, artykuły, strony internetowe, dokumentację lub kod. Dane są dzielone na sekwencje tokenów, a zadaniem sieci jest przewidywanie brakującego albo następnego elementu.

Dla sekwencji „Pogoda dzisiaj jest bardzo…” model oblicza rozkład prawdopodobieństwa dla możliwych kolejnych tokenów. Nie wybiera odpowiedzi na podstawie świadomego rozumowania. Wykonuje operacje na wektorach i wagach, a następnie ocenia, jak bardzo jego przewidywanie różniło się od tokena znajdującego się w danych treningowych.

Na tej podstawie funkcja straty wyznacza wielkość błędu. Algorytm optymalizacji wykorzystuje ten wynik do aktualizacji wag. W uproszczeniu przebieg wygląda następująco:

1. Model otrzymuje sekwencję tokenów.
2. Oblicza prawdopodobieństwa kolejnego tokena.
3. Porównuje przewidywanie z tokenem obecnym w danych.
4. Wyznacza błąd i aktualizuje wagi podczas propagacji wstecznej.
5. Powtarza operację dla kolejnych fragmentów danych.

Te kroki są wykonywane wielokrotnie na ogromnej liczbie przykładów. W czasie treningu model stopniowo zmienia parametry tak, aby zmniejszać błąd przewidywania. W efekcie zaczyna odtwarzać regularności gramatyczne, zależności między pojęciami, typowe style wypowiedzi oraz wzorce charakterystyczne dla określonych dziedzin.

Pre-training jest kosztowny, ponieważ wymaga dużych zbiorów danych, szybkiej komunikacji między urządzeniami i znacznej mocy obliczeniowej. Wykorzystuje się do tego klastry GPU lub TPU. Koszt zależy między innymi od rozmiaru modelu, liczby tokenów, liczby iteracji, czasu pracy infrastruktury i przyjętej precyzji obliczeń.

Ważne jest rozróżnienie między trenowaniem a późniejszym używaniem modelu. Podczas treningu wagi są aktualizowane. Podczas inferencji, czyli generowania odpowiedzi przez już wytrenowany model, wagi pozostają zasadniczo niezmienione. Model wykonuje wtedy obliczenia na podstawie promptu i krok po kroku wybiera kolejne tokeny.

Jak działa architektura Transformer?

Współczesne LLM najczęściej wykorzystują architekturę Transformer, opisaną w 2017 roku w pracy „Attention Is All You Need”. Jej ważnym elementem jest mechanizm uwagi, który pozwala oceniać znaczenie tokenów w odniesieniu do innych tokenów w sekwencji.

Przykładowo słowo „zamek” może oznaczać budowlę albo element ubrania. To, która interpretacja pasuje do zdania, zależy od sąsiednich tokenów. Mechanizm uwagi przypisuje większe znaczenie tym fragmentom kontekstu, które pomagają wyznaczyć relację między elementami wypowiedzi. Nie jest to świadomość ani koncentracja w ludzkim sensie, lecz zestaw obliczeń na wektorach.

Najważniejsze składniki uproszczonego obrazu Transformera przedstawia tabela:

W praktyce każda warstwa wykonuje serię operacji na tensorach, a wynik przekazuje następnej warstwie. Mechanizm uwagi działa w wielu równoległych „głowach”, z których każda może wychwytywać inny typ zależności. Kolejne warstwy nie tworzą ludzkiego modelu świata, lecz przekształcają reprezentacje tak, aby końcowa część sieci mogła obliczyć rozkład prawdopodobieństwa następnego tokena.

Jak model staje się asystentem?

Model po pre-trainingu jest modelem bazowym. Potrafi kontynuować tekst i wykonywać pewne zadania językowe, ale nie musi odpowiadać w formacie oczekiwanym przez użytkownika. Może też generować tekst chaotyczny, zbyt długi albo niedopasowany do polecenia.

Dlatego stosuje się fine-tuning, czyli dostrajanie. Model trenuje się na mniejszym, starannie przygotowanym zbiorze przykładów związanych z konkretnymi zadaniami. Dane mogą zawierać pary instrukcja–odpowiedź, przykłady klasyfikacji, dialogi albo dokumenty reprezentujące określoną dziedzinę.

Jedną z odmian jest instruction tuning, podczas którego model uczy się reagować na polecenia. Na tym etapie można poprawić format odpowiedzi, zgodność z instrukcją i przydatność w określonych zastosowaniach. W pełnym dostrajaniu aktualizowane są parametry całego modelu, choć istnieją też metody efektywne parametrycznie, zmieniające tylko wybrany podzbiór parametrów.

W niektórych procesach wykorzystuje się RLHF, czyli uczenie ze wzmocnieniem na podstawie informacji zwrotnej od ludzi. Oceniający porównują odpowiedzi, a dodatkowy etap optymalizacji pomaga modelowi preferować wypowiedzi bardziej pomocne, bezpieczne i zgodne z instrukcjami. Nie gwarantuje to prawdziwości każdej odpowiedzi. Dostrajanie zmienia zachowanie modelu, ale nie tworzy niezawodnego systemu weryfikacji faktów.

Fine-tuning należy odróżnić od RAG, czyli Retrieval-Augmented Generation. RAG dostarcza modelowi informacje pobrane z zewnętrznego źródła w momencie zapytania, bez konieczności zmiany jego podstawowych wag. Jest więc sposobem wzbogacania kontekstu, a nie kolejną nazwą treningu.

Jakie są etapy cyklu życia modelu?

Najkrócej mówiąc, trenowanie LLM nie polega na przekazywaniu modelowi wiedzy w ludzkim sensie. Jest to iteracyjny proces dopasowywania parametrów sieci do wzorców wykrytych w danych. Tokenizacja dostarcza liczbową reprezentację tekstu, Transformer przetwarza kontekst, a pre-training i fine-tuning kształtują sposób działania modelu. Ostateczna odpowiedź powstaje podczas inferencji jako kolejno obliczane prawdopodobieństwa tokenów.