如何使用 LangChain 构建基于 JSON 文档的 URL 检索问答系统

本文介绍如何利用 langchain 高效加载、切分和检索结构化 json 数据（含页面内容与对应 url），构建一个能根据用户自然语言查询精准返回相关网页链接的轻量级问答系统。

本文介绍如何利用 langchain 高效加载、切分和检索结构化 json 数据（含页面内容与对应 url），构建一个能根据用户自然语言查询精准返回相关网页链接的轻量级问答系统。

在实际开发中，若你的知识源是结构清晰的 JSON 数据（例如 { "page_name": { "data": "...", "url": "..." } }），直接套用通用 RAG 流程（如对纯文本做向量检索）往往效果不佳——因为原始 URL 信息易在切分、嵌入过程中丢失，导致最终答案无法准确关联到目标链接。

正确的路径是：保留语义完整性 + 显式绑定元数据 + 精准检索驱动 URL 输出。以下是推荐的端到端实现方案：

✅ 步骤一：用 JSONLoader 加载并结构化解析

LangChain 提供了原生支持 JSON 的 JSONLoader，可将键值对转化为带元数据（metadata）的 Document 对象，确保 url 不被丢弃：

from langchain.document_loaders import JSONLoader
import os

# 假设 data.json 内容为 { "about": {"data": "This site...", "url": "/about"}, ... }
loader = JSONLoader(
    file_path="data.json",
    jq_schema=".[] | {page_name: .page_name, data: .data, url: .url}",  # 自定义提取逻辑
    text_content=False,  # 关键！禁用自动转字符串，避免破坏结构
    metadata_func=lambda record, metadata: {
        "url": record.get("url", ""),
        "page_name": record.get("page_name", "")
    }
)
docs = loader.load()

? 提示：jq_schema 使用 jq 语法灵活提取字段；metadata_func 将 url 作为元数据注入每个 Document，后续检索时可直接访问。

✅ 步骤二：合理切分 + 向量化（保留元数据）

使用 RecursiveCharacterTextSplitter 切分 page.data 字段，同时确保每个 chunk 继承原始 url 和 page_name 元数据：

Faceswap

免费开源的AI换脸工具

from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=300,
    chunk_overlap=50,
    separators=["\n\n", "\n", ". ", "! ", "? "]
)

# 仅对 .page.data 切分，但保留元数据
for doc in docs:
    doc.page_content = doc.metadata.pop("data", "")  # 将 data 提升为 page_content
splits = text_splitter.split_documents(docs)

此时每个 Document 对象的 page_content 是文本片段，metadata 中仍包含 "url" —— 这是后续精准返回 URL 的关键。

✅ 步骤三：构建检索增强问答链（RetrievalQA），定制输出格式

使用 Chroma 向量库 + GoogleGenerativeAIEmbeddings（或其他 Embedding 模型），但重点在于 自定义 prompt，强制 LLM 仅输出 URL（或带简要理由的 URL）：

from langchain.vectorstores import Chroma
from langchain_google_genai import GoogleGenerativeAIEmbeddings
from langchain.chains import RetrievalQA
from langchain.prompts import PromptTemplate

embeddings = GoogleGenerativeAIEmbeddings(
    model="models/embedding-001",
    google_api_key=GOOGLE_API_KEY
)

vectordb = Chroma.from_documents(splits, embeddings, persist_directory="./chroma_url_db")
retriever = vectordb.as_retriever(search_kwargs={"k": 3})

# 强约束 prompt：只返回 URL，不编造、不解释
prompt_template = """You are a precise URL lookup assistant.
Given the user's question and relevant document snippets (each with 'url' metadata), 
return ONLY the most relevant URL as a plain string (e.g., '/contact'), nothing else.

Question: {question}
Context:
{context}
Answer (URL only):"""
PROMPT = PromptTemplate(template=prompt_template, input_variables=["question", "context"])

qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": PROMPT},
    verbose=True
)

# 使用示例
result = qa_chain.invoke({"question": "How do I contact support?"})
print(result["result"])  # 输出类似："/contact"

⚠️ 注意事项与优化建议

• 避免 URL 丢失：切勿将 url 拼接进 page_content（如 'URL: /about Data: ...'），这会污染语义向量，降低检索精度。
• 元数据过滤（进阶）：若需限定检索范围（如仅查 /docs/* 页面），可在 retriever 中添加 search_kwargs={"filter": {"url": {"$regex": "^/docs/"}}}。
• 零样本微调提示：对简单场景，可改用 StuffDocumentsChain + 自定义 prompt 直接摘要并提取 URL，跳过向量检索（适合 <100 条记录）。
• 评估验证：务必用真实 query 测试 retriever.get_relevant_documents(...) 返回的 Document 是否包含正确 metadata["url"]，这是整个流程的基石。

通过以上设计，你将获得一个轻量、可控、可解释的 JSON 驱动 URL 检索系统——既发挥 LLM 的语义理解力，又严格保障结构化元数据（URL）的端到端传递。