ShareGPT数据集在Few-Shot学习研究中的应用：小样本场景下的数据选择方法

若Few-Shot学习中ShareGPT示例导致性能波动，应采用四类数据选择方法：一、语义相似性检索；二、聚类多样性采样；三、不确定性引导筛选；四、结构化模板抽取。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您在Few-Shot学习研究中使用ShareGPT数据集作为提示示例来源，但发现模型性能波动剧烈或泛化能力受限，则可能是由于示例样本在语义覆盖、任务对齐与多样性分布上存在偏差。以下是针对该场景的数据选择方法：

一、基于任务语义相似性的示例检索

该方法通过计算测试样本与ShareGPT对话片段之间的语义嵌入距离，筛选出最相关的若干条对话作为上下文示例，以增强任务指令理解的一致性。其核心在于利用预训练语言模型（如text-embedding-3-large）生成句向量，并在ShareGPT的高质量人工对话子集中进行近邻搜索。

1、将ShareGPT数据集按单轮对话或完整会话切分为独立样本单元，去除含敏感信息或低质量标记（如“”异常截断）的条目。

2、对当前待推理的Few-Shot任务输入（例如：“判断以下评论的情感倾向：‘这个App崩溃了三次，完全无法使用’”），使用同一嵌入模型生成查询向量。

3、在过滤后的ShareGPT样本库中执行余弦相似度检索，取Top-5相似度最高的对话片段作为候选示例集。

4、对候选集进行后处理：剔除与任务类型明显不符的对话（如将代码生成示例用于情感分类任务），保留语义匹配且格式可复用的对话轮次。

二、基于聚类中心的多样性采样

该方法先对ShareGPT对话嵌入进行无监督聚类，再从各簇中选取代表性样本，确保所选示例在主题、风格与响应长度等维度上覆盖广泛，避免因局部密集采样导致的偏差放大。

1、使用UMAP降维与HDBSCAN聚类，将ShareGPT全量对话（经去重与长度截断至≤512 token）映射至200维语义空间并划分簇群，目标簇数设为12–18个。

2、对每个簇计算其内部样本到簇中心的平均距离，筛选出距离最小的3个样本作为该簇的候选代表。

3、在全部簇的候选代表中，依据任务需求设定权重：若任务强调鲁棒性（如跨领域意图识别），则优先保留来自小簇（稀有主题）的样本；若任务强调一致性（如结构化输出生成），则优先保留高置信度簇中心样本。

4、合并各簇入选样本，构成最终的多样化Few-Shot示例池，数量控制在4–8条之间。

Qwen

阿里巴巴推出的一系列AI大语言模型和多模态模型

下载

三、基于不确定性引导的迭代筛选

该方法利用冻结的大语言模型对ShareGPT原始样本进行零样本预测打分，识别出模型判断置信度低但人工标注明确的样本，将其作为高信息量示例纳入Few-Shot上下文，提升模型对模糊边界的判别能力。

1、加载一个未微调的LLM（如Qwen2.5-7B-Instruct），对ShareGPT中每条对话的用户提问部分执行Zero-shot分类或生成预测，记录输出概率分布熵值。

2、筛选出熵值高于全局中位数且人工标注结果明确（如ShareGPT中带明确标签的“helpful”/“unhelpful”反馈）的样本，形成高不确定性-高确定性反差组。

3、将该组样本与随机基线组（同等数量的随机抽取样本）分别注入同一Few-Shot任务进行消融测试，测量准确率提升幅度。

4、保留使模型性能提升最显著的前K条反差样本（K=3–6），并确保其中至少1条来自模型初始预测错误但人工标注正确的案例。

四、基于对话结构特征的模板化抽取

该方法聚焦ShareGPT中高频出现的对话模式（如“用户提问→模型解释→举例说明→总结结论”），提取具备完整推理链的结构化片段，用于构建具备思维链（Chain-of-Thought）能力的Few-Shot提示。

1、使用规则+正则匹配识别ShareGPT中含显式推理标记的对话（如出现“因为…所以…”、“第一步…第二步…”、“举个例子…”等短语的轮次）。

2、对识别出的对话片段进行结构解析，标注其是否包含问题重述、前提假设、中间推导、反例排除、结论归纳等五类逻辑组件。

3、筛选出至少覆盖其中三类组件且总长度在120–300 token之间的完整对话单元。

4、将入选单元按逻辑组件顺序重组为标准Few-Shot模板，其中必须保留原始用户提问与模型带步骤的响应，删除无关闲聊与重复确认语句。