ПродвинутыйИнженерия

Fine-tuning в OpenAI: от данных до DPO

Официальные примеры OpenAI по дообучению: подготовка данных, fine-tuning чат-моделей, Direct Preference Optimization, дистилляция моделей и Reinforcement Fine-Tuning. Реальный код от команды OpenAI.

3модуля

5уроков

175 минобщее время

ML-инженеры и разработчики, адаптирующие OpenAI-моделикому подходит

Модуль 1

Подготовка данных и базовый fine-tuning

Загрузка, валидация и подсчёт токенов для датасета тонкой настройки чат-моделей; запуск полного цикла fine-tuning на примере извлечения ингредиентов.

Подготовка данных для fine-tuning чат-моделей

Полный pipeline проверки и анализа JSONL-датасета перед тонкой настройкой: форматные ошибки, статистика токенов и оценка стоимости обучения.

35 мин

Fine-tuning чат-моделей: полный цикл

Конец-в-конец: подготовка JSONL, загрузка файлов через Files API, запуск fine-tuning job, отслеживание прогресса и инференс на дообученной модели.

35 мин

Модуль 2

DPO и предпочтения

Техника Direct Preference Optimization: когда и почему SFT недостаточно, формат датасета с парами preferred/rejected и полный цикл DPO job через API.

Direct Preference Optimization: обучение на предпочтениях

DPO выравнивает модель по субъективным критериям (тон, стиль, брендовый голос) с помощью пар preferred/rejected ответов — без reward model и RL.

35 мин

Модуль 3

Дистилляция и Reinforcement Fine-Tuning

Дистилляция знаний большой модели в меньшую через Store API и Structured Outputs; Reinforcement Fine-Tuning с verifiable graders на примере медицинских данных.

Дистилляция моделей: gpt-4o → gpt-4o-mini

Дистилляция использует store=True в Chat Completions для захвата выходов большой модели, затем fine-tuning меньшей модели на этих данных — снижение стоимости и латентности без потери точности.

35 мин

Reinforcement Fine-Tuning: обучение с верифицируемым reward

RFT использует RL-цикл с grader для оптимизации рассуждений модели на задачах с измеримым качеством: медицина, право, финансы, код.

35 мин