GPT (Generative Pre-trained Transformer)

GPT (Generative Pre-trained Transformer) — серия языковых моделей от OpenAI. Название расшифровывается как:

• Generative — генерирует новый текст
• Pre-trained — предобучена на большом корпусе
• Transformer — использует архитектуру Transformer

История развития:

• GPT-1 (2018): 117M параметров
• GPT-2 (2019): 1.5B параметров
• GPT-3 (2020): 175B параметров
• GPT-4 (2023): ~1.7T параметров (оценка)

GPT-4 — мультимодальная модель, способная работать с текстом и изображениями.