GPT Workspace

Tokeny w modelach GPT od OpenAI: kompletny przewodnik

Dowiedz się, czym są tokeny w modelach GPT od OpenAI, jak je policzyć i jak dzięki nim generować spójne i trafne teksty. Praktyczny przewodnik krok po kroku.

Mathias Gilson
Mathias Gilson
Autor
15 stycznia 2024

Udostępnij

Tokeny w modelach GPT od OpenAI: kompletny przewodnik

Modele GPT od OpenAI należą dziś do najpotężniejszych modeli językowych, potrafiących tworzyć wyjątkowo spójne i adekwatne do kontekstu teksty. Podstawową jednostką, za pomocą której te modele mierzą długość tekstu, są tokeny. Ale czym właściwie są tokeny i jak działają? W tym przewodniku przyjrzymy się im z bliska: wyjaśnimy, czym są, jak je policzyć i do czego się przydają w praktyce.

Czym są tokeny w modelach GPT od OpenAI?

W kontekście modeli GPT od OpenAI tokeny to zestawy znaków stanowiące podstawową jednostkę tekstu. Tworzy je algorytm tokenizera, który dzieli tekst na mniejsze fragmenty zgodnie z określonymi regułami, takimi jak spacje, znaki interpunkcyjne czy znaki specjalne. Tokeny czasami odpowiadają pojedynczym słowom, ale nie zawsze, ponieważ tokenizer traktuje wszystkie znaki, w tym emoji, jako potencjalne tokeny.

Jak policzyć tokeny w swoim tekście?

Aby ustalić liczbę tokenów w tekście, należy poddać go tokenizacji za pomocą odpowiedniego algorytmu. OpenAI udostępnia oficjalny tokenizer, który może nam w tym pomóc. Liczba tokenów wygenerowanych przez tokenizer zależy od języka oraz konkretnego modelu. Jako ogólną wskazówkę można jednak przyjąć następujące przeliczniki słowo-token:

  • angielski: 1 słowo ≈ 1,3 tokena
  • hiszpański: 1 słowo ≈ 2 tokeny
  • francuski: 1 słowo ≈ 2 tokeny

Warto pamiętać, że znaki interpunkcyjne liczone są jako jeden token, natomiast znaki specjalne mogą być liczone jako jeden do trzech tokenów, a emoji jako dwa do trzech tokenów.

Praktyczne zastosowanie tokenów

W modelach GPT od OpenAI tokeny wykorzystuje się razem z parametrem max_tokens do generowania tekstu. Parametr max_tokens określa maksymalną liczbę tokenów, jaka może zostać wygenerowana w pojedynczym zapytaniu do API. Wartość max_tokens musi zawsze spełniać następujące ograniczenie: prompt_tokens + max_tokens ≤ limit modelu, gdzie prompt_tokens oznacza liczbę tokenów w zapytaniu (prompcie).

Koszt tokenu zależy od konkretnego modelu i jest naliczany za każde 1000 tokenów. Na przykład cena 1000 tokenów dla ChatGPT wynosi 0,0020 USD, natomiast dla GPT-4 z kontekstem 32k to 0,1200 USD.

Podsumowanie

Tokeny to fundamentalne pojęcie w modelach GPT od OpenAI, stanowiące podstawową jednostkę tekstu wykorzystywaną do generowania spójnych i adekwatnych do kontekstu treści. Zrozumienie natury tokenów i ich praktycznego zastosowania pozwoli w pełni wykorzystać potencjał modeli GPT i tworzyć angażujące treści, które przyciągają i edukują odbiorców.

Chcesz korzystać z modeli GPT bezpośrednio w Google Workspace? Zainstaluj GPT Workspace, czyli dodatek do Google Workspace, który za darmo wprowadza OpenAI GPT do Google Docs, Sheets, Slides i Gmail.

DARMOWA INSTALACJA

ChatGPT w każdej aplikacji Google, za darmo

Dołącz do 7 milionów profesjonalistów, którzy dzięki GPT Workspace już szybciej piszą, analizują i prezentują.

Instalując GPT Workspace, akceptujesz
Warunki korzystania z usługi orazPolitykę prywatności