Токены OpenAI GPT: что это и как их считать

Модели OpenAI GPT сегодня входят в число самых мощных языковых моделей и способны генерировать связный текст, точно соответствующий контексту. Для измерения длины текста эти модели используют токены как базовую единицу. Но что такое токены и как они устроены? В этом руководстве подробно разберём токены OpenAI GPT: что они собой представляют, как их подсчитать и где они применяются на практике.

Что такое токены OpenAI GPT

В моделях OpenAI GPT токены представляют собой группы символов, которые служат базовой единицей текста. Токены создаёт алгоритм-токенизатор: он разбивает текст на мелкие фрагменты по определённым правилам, например по пробелам, знакам препинания и специальным символам. Иногда токен действительно соответствует одному слову, но так бывает далеко не всегда: токенизатор считает потенциальными токенами вообще все символы, включая эмодзи.

Как подсчитать токены в тексте

Чтобы узнать, сколько токенов в вашем тексте, его нужно прогнать через токенизатор. У OpenAI есть официальный токенизатор, который поможет это сделать. Точное количество токенов зависит от языка и конкретной модели, но в качестве ориентира можно использовать следующие соотношения:

• английский: 1 слово ≈ 1,3 токена
• испанский: 1 слово ≈ 2 токена
• французский: 1 слово ≈ 2 токена

Важно учитывать, что знак препинания считается одним токеном, специальный символ может занимать от одного до трёх токенов, а эмодзи обычно требует от двух до трёх токенов.

Практическое применение токенов

В моделях OpenAI GPT токены используются вместе с параметром max_tokens при генерации текста. Параметр max_tokens задаёт максимальное количество токенов, которое модель может сгенерировать в ответ на запрос к API. Его значение всегда должно удовлетворять ограничению: prompt_tokens + max_tokens ≤ лимит модели, где prompt_tokens обозначает количество токенов в промпте.

Стоимость токена зависит от конкретной модели, а оплата начисляется за каждую тысячу токенов. Например, 1000 токенов для ChatGPT стоят 0,0020 доллара США, а для GPT-4 с контекстом 32k составят 0,1200 доллара США.

Итоги

Токены лежат в основе моделей OpenAI GPT: именно из этих базовых единиц текста модель собирает связные и релевантные ответы. Понимание того, что такое токены и как они работают, поможет раскрыть весь потенциал моделей OpenAI GPT и создавать контент, который увлекает и обучает вашу аудиторию.

Хотите использовать модели GPT прямо в Google Workspace? Установите GPT Workspace, дополнение для Google Workspace, которое бесплатно добавляет OpenAI GPT в Google Docs, Sheets, Slides и Gmail.