LLM как движок дополнения текста

Почему LLM — это не база данных и не оракул, а вероятностный предсказатель токенов, и почему формулировка промпта резко меняет вывод.

25 мин чтения4 вопроса в квизеГотовый промпт включёнВ работе

Практическое задание

Что сделать после урока

Возьмите одну задачу классификации (например, тональность отзыва). Напишите 3 версии промпта: (1) однострочный вопрос, (2) с ролью и явным множеством меток, (3) + формат вывода. Прогоните каждую 5 раз с temperature=0.7 на одном входе и посчитайте, у какой версии вывод стабильнее. Запишите гипотезу, почему.

Готовый промпт

Шаблон под задачу урока

Скопируйте и адаптируйте под свой контекст. Текст в треугольных скобках — то, что нужно заменить.

Помоги мне переформулировать промпт через ментальную модель «движок дополнения текста».
Текущий промпт: <вставь>
Задача: <что хочу получить>
Наблюдаемая проблема: <нестабильно / галлюцинирует / не тот формат>

Объясни, какой «регион текстов» задаёт мой промпт сейчас и как сузить его
ролью, явным множеством допустимых ответов и форматом. Дай переписанную версию.

LLM — это не то, что вы думаете

Главная ошибка инженера: относиться к LLM как к базе данных («достань мне факт») или оракулу («скажи правильный ответ»). На самом деле LLM — это движок дополнения текста: на каждом шаге он оценивает распределение вероятностей следующего токена P(token | весь предыдущий текст) и сэмплирует из него.

Из этого следует всё остальное:

Контекст — это условие в формуле вероятности. Любое слово в промпте сдвигает распределение. Поэтому формулировка меняет вывод не «иногда», а всегда.

Модель не «знает» — она вычисляет правдоподобное продолжение. Галлюцинация — это не баг, а ожидаемое поведение, когда правдоподобное продолжение != истина.

Промпт задаёт «регион» пространства текстов. Хороший промпт сужает регион до зоны, где правдоподобное = правильное.

Почему формулировка решает всё

Сравните два промпта на одну задачу:

# Промпт A (слабый) Это безопасно? input: "rm -rf /" # Промпт B (сильный) Ты аудитор безопасности shell-команд. Классифицируй команду как SAFE | DANGEROUS | NEEDS_REVIEW. Дай одно слово. Команда: rm -rf /

Промпт A оставляет модель в огромном регионе («безопасно для чего? для кого?») — вывод нестабилен. Промпт B сужает регион ролью, явным множеством меток и форматом — вывод почти детерминирован.

Температура и сэмплирование

temperature=0 ≈ всегда брать самый вероятный токен (greedy) — воспроизводимо, но может застрять в «уверенно неправильном». temperature=0.7 добавляет разнообразие — нужно для brainstorm и для self-consistency (увидим в модуле 4).

Практический вывод

Формулируйте промпт как условие, максимально сужающее распределение к нужному ответу.

Не ждите от модели «знания» — давайте факты в контексте (RAG, few-shot).

Воспринимайте нестабильность вывода как сигнал «регион слишком широкий», а не как «модель глупая».

Эта ментальная модель — фундамент для всех остальных техник курса: CoT расширяет регион «рассуждения», few-shot задаёт формат, ограничения сужают вывод.

Сообщить об ошибке

LLM как движок дополнения текста

Квиз — 4 вопроса

LLM — это не то, что вы думаете

Почему формулировка решает всё

Температура и сэмплирование

Практический вывод