Q&A через Search API и HyDE re-ranking

Архитектура: Search → Re-rank → Answer

Вместо векторной БД используем внешний Search API. Пайплайн состоит из трёх шагов:

1. Search — модель генерирует несколько вариантов запроса
2. Re-rank — фильтруем по семантической близости через HyDE
3. Answer — генерируем ответ с ссылками на источники

Шаг 1: Расширение запроса

from openai import OpenAI
import json

client = OpenAI()
GPT_MODEL = "gpt-3.5-turbo"

def json_gpt(prompt: str) -> dict:
    response = client.chat.completions.create(
        model=GPT_MODEL,
        messages=[{"role": "user", "content": prompt}],
        response_format={"type": "json_object"},
    )
    return json.loads(response.choices[0].message.content)

USER_QUESTION = "Who won the NBA championship? Who was the MVP?"
QUERIES_INPUT = f"""Generate search queries for: {USER_QUESTION}
Format: {{"queries": ["q1", "q2", "q3"]}}"""

queries = json_gpt(QUERIES_INPUT)["queries"]

Шаг 2: HyDE Re-ranking

HyDE (Hypothetical Document Embeddings) — модель придумывает идеальный ответ, затем ищем статьи, похожие на этот гипотетический ответ, а не на вопрос.

from numpy import dot

def embeddings(texts: list[str]) -> list[list[float]]:
    response = client.embeddings.create(
        model="text-embedding-ada-002", input=texts
    )
    return [d.embedding for d in response.data]

HA_INPUT = f"""Generate a hypothetical answer to: {USER_QUESTION}
Use placeholders like NAME did X. Format: {{"hypotheticalAnswer": "..."}}"""

hyp_answer = json_gpt(HA_INPUT)["hypotheticalAnswer"]
hyp_emb = embeddings([hyp_answer])[0]

article_embs = embeddings([f"{a['title']} {a['description']}" for a in articles])
scores = [dot(hyp_emb, e) for e in article_embs]
top_articles = sorted(zip(articles, scores), key=lambda x: x[1], reverse=True)[:5]

Шаг 3: Генерация ответа

formatted = [{"title": a["title"], "url": a["url"]} for a, _ in top_articles]
ANSWER_INPUT = f"Answer based on TOP_RESULTS: {formatted}\nQUESTION: {USER_QUESTION}"

stream = client.chat.completions.create(
    model=GPT_MODEL,
    messages=[{"role": "user", "content": ANSWER_INPUT}],
    stream=True,
)
for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="")

OpenAI embeddings возвращаются нормализованными, поэтому dot product == cosine similarity — дополнительная нормализация не нужна.