Параметры и настройки
Top-P (Nucleus Sampling)
Параметр выборки токенов по вероятности
Top-P (Nucleus Sampling) — метод выборки следующего токена, при котором рассматриваются только токены, суммарная вероятность которых ≤ P.
Как работает Top-P:
- Токены сортируются по вероятности
- Выбираются токены пока сумма вероятностей < P
- Из этого подмножества выбирается токен
Значения Top-P:
- Top-P = 1 — все токены доступны
- Top-P = 0.9 — отсекаются маловероятные токены
- Top-P = 0.1 — только самые вероятные
Обычно используют либо Temperature, либо Top-P, не оба сразу. Top-P лучше адаптируется к контексту.
Примеры использования
- •Top-P 0.9 — стандартная настройка ChatGPT
- •Top-P 0.1 для точных ответов