Техники и методы
LoRA (Low-Rank Adaptation)
Эффективный метод дообучения нейросетей
LoRA (Low-Rank Adaptation) — техника эффективного fine-tuning, которая обучает только небольшую "добавку" к весам модели.
Преимущества LoRA:
- Малый размер — файл LoRA ~10-200 МБ vs модель ~2-7 ГБ
- Быстрое обучение — можно на consumer GPU
- Комбинируемость — несколько LoRA на одну модель
- Не портит базовую модель
Применение:
- Stable Diffusion: стиль, персонаж, концепт
- LLM: специализация под задачу
- Fine-tuning без полного переобучения
LoRA широко используется в Stable Diffusion сообществе для кастомных стилей и персонажей.
Примеры использования
- •LoRA для стиля аниме в Stable Diffusion
- •LoRA для конкретного персонажа