LLM Engineer: от локального запуска до продакшна · Урок 2
Эмбеддинги и RAG-пайплайн
Построение RAG с sentence-transformers, FAISS/ChromaDB, стратегии чанкинга и 15-строчный Python-пример.
Практическое задание
Что сделать после урока
Возьмите любой PDF, разбейте на чанки по 512 токенов с overlap 50, заиндексируйте через FAISS и задайте 3 вопроса. Сравните качество ответов LLM с RAG и без.
Готовый промпт
Шаблон под задачу урока
Скопируйте и адаптируйте под свой контекст. Текст в треугольных скобках — то, что нужно заменить.
На основе следующего контекста ответь на вопрос. Контекст: {{context}}. Вопрос: {{question}}. Если ответа нет в контексте — скажи об этом.Типичные ошибки
На чём чаще всего спотыкаются
- Слишком большие чанки (>1000 токенов) — LLM теряет фокус на нужной информации. 2. Отсутствие overlap — разрываются смысловые связи между чанками.
Лайфхаки
Что работает, но в гайдах не пишут
- Parent-document retrieval: индексируйте маленькие чанки, но передавайте LLM родительский большой документ. 2. `model.encode(batch_size=64)` — батчинг ускоряет индексацию в 10×.