ПродвинутыйИнженерияclaude

Оценка промптов: официальный курс Anthropic

Как измерять и улучшать качество промптов: code-graded evals, model-graded оценки, workbench-тесты, PromptFoo. Методология Anthropic для production-систем.

4модуля

8уроков

240 минобщее время

AI-инженеры, строящие надёжные LLM-пайплайныкому подходит

Модуль 1

Основы оценки промптов

Что такое evals, зачем они нужны и как устроены.

Evaluations 101: зачем измерять промпты

Разница между бенчмарками и customer evals. Четыре компонента eval-набора: input, golden answer, output, score. Три подхода к оценке: human-based, code-based, model-based.

30 мин

Workbench Evals: быстрое прототипирование

Anthropic Workbench для ручного тестирования промптов. Запуск eval по нескольким test case, сравнение версий промпта (v1 vs v2), человеческая оценка по шкале 1-5.

30 мин

Модуль 2

Code-Graded Evals

Автоматическая программная оценка — быстрая, масштабируемая, объективная.

Code-Graded Eval: от нуля до baseline

Построение code-graded eval с нуля. Тест с подсчётом ног животного. Prompt v1 vs v2 vs v3 (chain-of-thought). Извлечение ответа из тегов <answer>.

30 мин

Code-Graded Classification Evals

Оценка промпта для мультикатегорийной классификации. Set-based grading для нескольких правильных категорий. Improved prompt с few-shot примерами: от 85% до 100% accuracy.

30 мин

Модуль 3

PromptFoo: Масштабируемые Evals

Фреймворк PromptFoo для автоматизированных evals с дашбордом, CSV-тестами и кастомными грейдерами.

PromptFoo: введение и базовая конфигурация

Установка PromptFoo. YAML-конфигурация: providers, prompts, tests. CSV-датасет с __expected. Сравнение simple_prompt vs better_prompt через визуальный дашборд.

30 мин

PromptFoo: кастомные code-graders

Написание Python get_assert() функции для PromptFoo. Подсчёт точного числа упоминаний слова в тексте. Сравнение Haiku vs Sonnet на одном eval. GradingResult словарь: pass, score, reason.

30 мин

Модуль 4

Model-Graded Evals

LLM-as-judge: когда code-graded недостаточно и нужны субъективные критерии.

Model-Graded Evals: LLM как судья

Когда нужны model-graded evals. Встроенный llm-rubric в PromptFoo. Оценка school assistant prompt: отклоняет ли он нерелевантные вопросы? Грейдинг на апологетичность. Сравнение трёх версий промпта.

30 мин

Кастомный LLM-judge: multi-metric scoring

Написание собственной функции llm_eval() для оценки по нескольким метрикам (conciseness, accuracy, tone 1-5). get_assert() для PromptFoo. Prefill <json> для надёжного JSON-вывода. Сравнение basic vs better vs best summarization prompt.

30 мин