全球最多下载中文开源数据集更新｜OpenCSG持续打造中文高质量数据集开源底座

OpenCSG（开放传神）正式发布 Fineweb-Edu-Chinese V2.2 数据集，这是目前开源界少有的、覆盖从预训练（Pre-train）到监督微调（SFT）全流程的高质量中文教育数据集。

V2.2 版本标志着 Chinese Fineweb Edu 从单一的预训练语料库，进化为覆盖从知识注入到行为对齐全流程的完备数据解决方案。本次更新在 V2.1 海量预训练数据的基础上，利用 DeepSeek V3.2 强大的文本理解能力，从全网最优质的 0.1% 语料中蒸馏出 143.7 万条高质量问答对，为社区提供了一套标准化的后训练（Post-training）数据集。

在预训练数据方面，V2.2 继承了 V2.1 的优势，提供约 1.5T tokens 的高质量教育语料，按照评分等级（4-5 分、3-4 分）进行质量分层存储，支持课程学习策略。数据源整合了 CCI3、MAP-CC、OpenCSG-CC 等多个优质中文语料库，通过 OpenCSG csg-wukong-enterprise V2 评分模型进行严格筛选。

在 SFT 数据方面，V2.2 版本采用“质量至上”策略：只选取评分最高的 Top 0.1% 语料作为种子，利用 DeepSeek V3.2 的阅读理解能力，严格基于原文 Context 生成问答对。不同于自由生成的聊天数据，V2.2 的每一条数据都有确凿的原文依据，有效避免了模型幻觉和事实错误。

Chinese Fineweb Edu Dataset 是一个专为中文教育领域大模型开发的高质量数据集系列。在当前的大模型研发中，高质量的中文教育语料依然是稀缺资源。通用语料如 Common Crawl 虽然规模巨大，但包含大量广告、碎片化信息和低质文本，直接用于教育模型训练会导致严重的“幻觉”和逻辑混乱。同时，业界开源的指令微调数据多集中于通用对话或代码能力，极度缺乏经过严谨筛选、具备教学逻辑的垂直领域教育问答数据。这导致许多模型虽然能说话，但无法像老师一样“传道授业”。

为了解决上述痛点，OpenCSG团队在 V2.1 海量预训练数据的基础上，正式推出了 V2.2 SFT 增强版。不仅提供“燃料”（预训练数据），现在更提供“引擎图纸”(SFT 数据）。通过引入 DeepSeek V3.2 的高阶推理能力，将静态的教科书级文本转化为动态的、具有多轮逻辑的问答对。这标志着 Chinese Fineweb Edu 从单一的语料库，进化为覆盖 Pre-train （知识注入） 到 Post-train （行为对齐） 全流程的完备数据解决方案。

后训练是赋予大模型“交互能力”和“领域专精”的关键阶段。高质量的 SFT 数据能激发推理能力——仅靠预训练，模型拥有知识但不懂如何运用。通过精心设计的问答对，模型学会根据上下文进行推导、归纳和演绎。在教育场景下，准确性是红线。通过“基于原文生成”的问答对，强制模型学习“依据事实回答”，而非凭空捏造。DeepSeek V3.2 生成的数据不仅仅是简单的事实核查，更包含了“解释性”和“引导性”，模拟人类教师的思维链条。

为了确保 DeepSeek 生成出最优质的问答OpenCSG团队对输入端的“种子数据”进行了极其严苛的筛选。

OpenCSG团队沿用了 V2 版本中训练的高精度教育奖励模型，该模型基于文本的知识密度、逻辑连贯性、学术严谨度进行 0-5 分的打分。在数亿条数据中，直接截取了 Score 排名最高的 0.1%-0.5%数据作为种子，这些数据主要由 STEM 领域的原理详解、人文社科的深度解析、百科知识的概念解释以及教育材料的知识点总结构成。

将以上“金牌种子”输入 DeepSeek V3.2，利用其强大的指令遵循能力，深度阅读原始文本、识别核心考点、构建教学对话。DeepSeek 被特别提示要生成“详尽、有逻辑步骤”的回答，而非简短的 Yes/No。

本部分数据专为指令微调场景打造。

1. Pure QA SFT【微调首选】

以下是一个真实的数据样例，展示了 DeepSeek V3.2 生成的高质量问答对：

{
  "instruction":"瑞士考古学家费迪南德·克勒是谁?他最著名的考古发现是什么,这对我们理解古代历史有什么帮助?",
  "input":"",
  "output":"费迪南德·克勒(Ferdinand Keller, 1800-1881)是一位瑞士重要考古学家...他最著名的考古发现是1853年在瑞士发现的**湖居遗址**(也称"干栏建筑")...

这一发现对理解古代历史的帮助主要体现在:
1. **生活方式重建**:揭示了公元前5000-500年左右阿尔卑斯地区史前人类的居住形态。
2. **文化遗存**:由于水下环境缺氧,大量有机物(如木材、食物残渣)得以保存,为研究当时的技术水平提供了直接证据..."
}

from datasets import load_dataset


# -------------------------------------------------------
# 场景 A: SFT 指令微调
# -------------------------------------------------------
# 加载纯问答对数据 (3.4GB)，格式为标准 instruction/output
ds_sft = load_dataset("OpenCSG/Chinese-Fineweb-Edu-V2.2", split="sft_qa")


# -------------------------------------------------------
# 场景 B: 数据校验与回溯
# -------------------------------------------------------
# 如果需要查看某条问答是基于哪篇原始文章生成的，请加载 sft_context
# 注意：仅用于备份和查阅，不建议直接训练
ds_context = load_dataset("OpenCSG/Chinese-Fineweb-Edu-V2.2", split="sft_context")


# -------------------------------------------------------
# 场景 C: 基座模型预训练
# -------------------------------------------------------
# 加载 Score 4-5 的高质量预训练语料 (Parquet 格式)
ds_pretrain = load_dataset("OpenCSG/Chinese-Fineweb-Edu-V2.2", data_files="pretrain/score_4_5/*.parquet")

使用建议：

• SFT 微调：推荐使用 sft_qa 分支，配合 LLaMA-Factory、Axolotl 等主流微调框架

• 预训练：建议采用课程学习策略，先使用 Score 4-5 的高质量数据，再逐步引入 Score 3-4 的数据扩大规模

• 数据溯源：当模型输出异常时，可通过 sft_context 分支回溯原始知识点，检查数据质量

OpenCSG 以 Chinese FineWeb Edu 为代表的高质量中文数据集体系，已被全球高校、科研机构及科技企业广泛采用，是支撑中文 NLP 研究与大模型产业落地的核心数据基础，从顶尖高校 AI 实验室到企业级生产环境，它持续为大模型预训练、指令微调与领域适配等关键环节提供可靠支撑，推动研究成果向规模化应用高效转化；在学术领域，该数据集已被 100 + 篇论文引用，多次入选 NeurIPS、ACL 等国际顶会及 Nature 子刊、JMLR 等权威期刊，成为验证中文语言模型泛化能力、知识建模效率与跨语言迁移效果的代表性基础资源。

除了 Fineweb-Edu-Chinese 系列，OpenCSG 还发布了 Cosmopedia-Chinese（合成教科书风格数据）和 Smoltalk-Chinese（多样化对话格式数据）等多个高质量中文数据集，构成了完整的 OpenCSG Chinese Corpus 语料体系。这些数据集分别针对预训练、后训练和微调等不同阶段的需求进行了专门设计和优化，为中文大语言模型的全生命周期开发提供了全方位的数据支持。

OpenCSG 通过开源数据、评分模型及完整的数据处理工具链，向社区输出可复用的数据治理方法论，持续降低高质量数据的构建与评估门槛，推动中文 AI 生态从 “模型参数竞争” 转向更加理性、可持续的 “数据基础设施建设” 阶段。

OpenCSG 坚持“开源即文化”的理念，通过透明、共创、共享的社区文化，与全球开发者、工程师和 AI 原生企业共同构建智能体生态。无论是数据集、模型还是工具平台，OpenCSG 始终遵循 Apache 2.0 等开源协议，确保技术成果能够被广泛使用和自由创新。这种开放的态度和持续的贡献，使 OpenCSG 成为中文开源 AI 社区的重要推动者和引领者

OpenCSG社区：https://opencsg.com/datasets/OpenCSG/Fineweb-Edu-Chinese-V2.2

hf社区：https://huggingface.co/datasets/opencsg/Fineweb-Edu-Chinese-V2.2