Параметры и настройки
Context Window (Окно контекста)
Максимальное количество токенов, которое модель может обработать
Context Window — максимальный размер текста (в токенах), который модель может "видеть" одновременно. Включает и входящий промпт, и генерируемый ответ.
Размеры контекста (2024-2025):
- GPT-4o: 128K токенов
- Claude 3: 200K токенов
- Gemini 1.5: до 2M токенов
- GPT-3.5: 16K токенов
Почему контекст важен:
- Длинные документы для анализа
- История диалога
- Few-shot примеры в промпте
- Кодовая база целиком
Больший контекст = больше информации для модели = лучшие ответы, но дороже и медленнее.
Примеры использования
- •Claude может проанализировать книгу целиком
- •GPT-4 помнит весь диалог в рамках 128K токенов