Токены (Tokens)

Токены — минимальные единицы текста для языковых моделей. Это могут быть слова, части слов или отдельные символы.

Соотношение токенов к тексту:

• Английский: ~4 символа = 1 токен
• Русский: ~1.5 символа = 1 токен
• Код: зависит от языка

Почему токены важны:

• Стоимость API — оплата за токены
• Лимит контекста — максимум токенов в диалоге
• Скорость — больше токенов = дольше генерация

Пример: "Hello, world!" ≈ 4 токена "Привет, мир!" ≈ 6-8 токенов (кириллица менее эффективна)