训练数据盘点

我们存在 Cloudflare R2 上的全部训练素材:有什么、有多少、能不能直接用。截至 2026 年 11 月 6 日。

一句话:云上一共 463 GB 数据,分两类。真人对话(35 个公开数据集,合计 1826 万 段对话)体量不大但已经整理成统一格式;小说和剧本(74,724 个文件,436 GB)占了绝大部分空间,其中一半是还没解压的笔趣阁压缩包。现在能直接送进清洗流程的纯文本有 132 GB。
总量
463 GB
76,051 个文件
真人对话
1826 万 段
35 个数据集 · 6050 万 轮
小说和剧本
436 GB
74,724 个文件
能直接用的纯文本
132 GB
66,594 个 txt / jsonl 文件

一、真人对话数据集

35 个公开数据集,来自微博、豆瓣、贴吧、PTT、客服记录、语音转写等。已经统一整理成「一行一个对话」的格式,共 14.8 GB。其中 26 个是真人即兴说的话,18 个许可明确可商用。按对话数从多到少排。

数据集是什么来源对话数轮数语言许可整理后大小
lccc公开帖子回复链(微博)真人685 万2016 万简体可商用3.3 GB
personal-dialog公开帖子回复链(微博),每位说话人带性别/地区/兴趣标签真人546 万1454 万简体仅研究 / 非商用4.5 GB
meddialog-cn在线问诊(文字,异步)真人341 万1126 万简体待确认3.7 GB
ptt-gossiping-zake公开帖子回复(BBS 推文)真人77.3 万155 万繁体可商用443.9 MB
douban-conversation公开帖子回复链(豆瓣小组)真人52.1 万401 万简体仅研究 / 非商用635.6 MB
ecd-taobao客服 IM(文字)真人50.6 万329 万简体仅研究 / 非商用527.3 MB
bilibili-comments-2023公开评论回复链(B 站)真人17.3 万36.5 万简体待确认114.7 MB
wildchat-zh网页聊天(HF Space 免费 ChatGPT 入口)人机对话11.9 万70.4 万简体/繁体可商用652.4 MB
wildchat-zh-user网页聊天,只保留用户侧真人11.9 万35.2 万简体/繁体可商用185.8 MB
ptt-gossiping公开帖子推文(PTT 八卦板,标题→推文)真人10.6 万21.1 万繁体可商用52.3 MB
reddit-china-irl公开帖子回复链(Reddit)真人6.0 万19.5 万简体为主待确认128.5 MB
bilibili-danmaku-guichu视频弹幕文本(B 站鬼畜区,无视频/时间信息)真人4.0 万200 万简体待确认149.9 MB
naturalconv话题驱动文字对话(给新闻写对话)众包按题写2.0 万40.1 万简体仅研究 / 非商用47.5 MB
tieba-roycehe公开帖子回复(百度贴吧,标题→热门回复)真人1.9 万3.8 万简体可商用12.4 MB
bilibili-lyi-sharegpt公开评论回复(B 站单个 UP 主)真人1.9 万3.8 万简体待确认12.5 MB
tvsub剧本字幕作者创作1.3 万10.0 万简体仅研究 / 非商用10.1 MB
cped剧本字幕作者创作1.2 万13.3 万简体可商用26.3 MB
dcard公开帖子回复(Dcard,标题→回复)真人1.1 万2.2 万繁体可商用7.2 MB
bilibili-danmaku-wybxc视频弹幕流(B 站,单个视频)真人7,28239.4 万简体待确认46.3 MB
crosswoz任务型文字对话(北京旅游:景点/酒店/餐馆/地铁/出租)众包按任务聊6,01210.2 万简体可商用13.9 MB
kdconv知识驱动文字对话(电影/音乐/旅游)众包按任务聊4,5008.6 万简体可商用10.9 MB
multi-emotion-dialogue不明混合4,1594,159繁体可商用1.6 MB
chinese-dialogue-corpus-interview访谈转写真人2,4004,799简体待确认3.3 MB
tieba-sunxiaochuan公开帖子回复链(百度贴吧·孙笑川吧)真人2,1329.2 万简体可商用13.6 MB
role-play-bench角色扮演 IMAI 合成1,65016.8 万简体可商用56.9 MB
esconv任务型(情感支持,文字)众包按任务聊1,3003.8 万英文仅研究 / 非商用6.6 MB
magicdata-clam语音转写(手机录音,室内,约 30 分钟一段;公开版只给文本)真人3229.7 万简体仅研究 / 非商用10.0 MB
aishell4-meeting会议语音转写(4–8 人,会议室)真人1508.1 万简体可商用11.5 MB
ascend语音转写(香港,中英混说,分句带时长)真人631.2 万粤普英混(普通话为主,夹英文)可商用1.4 MB
hkcancor自然对话与电台节目录音转写(香港粤语)真人581.1 万粤语可商用1.1 MB
magicdata-multistream语音转写(手机双人按话题闲聊,分轨)真人272,830简体可商用482 KB
l1-l1-spoken语音转写(微信语音通话或面对面,20–65 分钟一段,无标点)真人261.1 万简体仅研究 / 非商用1.2 MB
magicdata-ramc-sample语音转写(16k 录音,带起止时间戳、说话人性别/口音)真人158,279简体仅研究 / 非商用1.0 MB
realtalk-im私聊 IM,21 天真人108,944英文可商用2.0 MB
seniortalk-sample语音转写(75 岁以上老人,带方言区、口音轻重、性别)真人108,581简体(带各地口音)仅研究 / 非商用1.1 MB
合计1826 万6050 万14.8 GB
怎么看这张表:

二、小说和剧本

从百度网盘整批搬过来的原始文件,目录名保留网盘原名。74,724 个文件、436 GB,分 5 个大合集。

合集文件数大小其中能直接用的 txt主要格式
网盘各合集(udata)
十几个来自百度网盘的小说合集,含笔趣阁全站 31 万本的压缩包
15,888289 GB15,139 个 · 36.4 GBtxt 15,139 mobi 472 epub 155 pdf 97
小说大合集
按题材分 27 个子目录:玄幻仙侠、武侠、都市言情、悬疑推理、穿越重生……
46,34553.8 GB44,644 个 · 44.0 GBtxt 44,644 pdf 1,129 ppt 303 rar 87
小说补充
按题材分 16 个子目录,电子书格式(epub / pdf)比较多
8,32072.5 GB6,449 个 · 32.6 GBtxt 6,449 epub 1,080 pdf 689 mobi 47
中国电视剧剧本
热播、经典电视剧的剧本,pdf / docx 为主
2,26316.8 GB38 个 · 36.5 MBpdf 770 docx 747 png 486 doc 196
世界电影剧本
中外经典电影剧本,docx / pdf 为主
1,9083.9 GB8 个 · 843 KBdocx 1,044 pdf 810 doc 39 txt 8
合计74,724436 GB66,278 个 · 113 GB
要点:

点开看每个合集里的子目录:

网盘各合集(udata)15,888 个文件 · 289 GB十几个来自百度网盘的小说合集,含笔趣阁全站 31 万本的压缩包
子目录文件数大小格式(绿色 = 能直接用)
笔趣阁/8251 GBzip 8
巨多的小说合集看这里/14,28834.8 GBtxt 13,656 mobi 472 epub 155 zip 3
2024年书香上榜文/387670.3 MBtxt 387
我的小说合集/65494.1 MBtxt 53 png 4 jpg 4 mp3 3
1002小说收录/357407.2 MBtxt 357
付费小说合集(几百本)/287373.5 MBtxt 287
2.6付费热门/74337.8 MBtxt 74
无限流小说102部合集/102198.6 MBtxt 102
百本经典世界文学名著/97181.1 MBpdf 97
小说合集/127175.6 MBtxt 127
晋江言情总分榜TOP100(新版)/9697.2 MBtxt 96
小说大合集46,345 个文件 · 53.8 GB按题材分 27 个子目录:玄幻仙侠、武侠、都市言情、悬疑推理、穿越重生……
子目录文件数大小格式(绿色 = 能直接用)
一万多本各类型小说合集/9,4688.4 GBtxt 9,399 pdf 59 zip 8 url 2
1500多本玄幻仙侠/1,5317.4 GBtxt 1,528 url 3
现代文学/3,6426.8 GBtxt 2,402 pdf 908 ppt 303 rar 16
5500本穿越重生小说/5,7235.7 GBtxt 5,722 docx 1
3700按作者分类合集/3,5985.3 GBtxt 3,505 pdf 52 rar 14 docx 11
700多本热门小说/5313.9 GBtxt 531
都市异能/4932.6 GBtxt 493
3600多本都市言++情小说/3,6642.2 GBtxt 3,659 pdf 2 z 1 zip 1
古典文学、小说类/1111.5 GBtxt 60 pdf 47 jpg 3 azw3 1
2000多本武侠小说/2,7301.4 GBtxt 2,655 rar 57 url 17 chm 1
5000多本惊+悚+悬+疑+推理小说/5,7491.3 GBtxt 5,652 jpg 62 gif 34 doc 1
网游竞技/8041.3 GBtxt 804
(直接放在此目录的文件)971.2 GBtxt 97
系统流文/2681.0 GBtxt 268
军事历史/118536.3 MBtxt 118
末日重生/106447.4 MBtxt 106
400多本历史小说/445432.6 MBtxt 444 jpg 1
知乎短篇/5,071407.5 MBtxt 5,010 pdf 61
官场商战/64360.7 MBtxt 64
二次元同人/224328.6 MBtxt 224
刑侦罪案/506310.5 MBtxt 506
穿越异界/62237.9 MBtxt 62
名人传记/661201.5 MBtxt 660 url 1
洪荒流文/79147.9 MBtxt 79
科幻大全/275115.6 MBtxt 275
恐怖惊悚/27796.0 MBtxt 277
【用前必看 视频打不开 疑难问题 播放器软件】/495.1 MBexe 2 apk 1 mp4 1
盗墓系列/4434.6 MBtxt 44
小说补充8,320 个文件 · 72.5 GB按题材分 16 个子目录,电子书格式(epub / pdf)比较多
子目录文件数大小格式(绿色 = 能直接用)
玄幻仙侠武侠奇幻/1,31215.2 GBtxt 1,102 epub 128 pdf 54 mobi 25
军事科幻历史类/7587.7 GBtxt 616 epub 90 pdf 47 mobi 3
经典文学现代文/3837.7 GBpdf 167 epub 125 txt 64 png 6
都市(都市,言情,青春,职场,黑道,娱乐)/1,0117.5 GBtxt 930 epub 54 pdf 23 mobi 2
动漫同人/2376.4 GBepub 107 pdf 87 txt 40 mobi 3
作者/1,2135.3 GBtxt 997 epub 135 pdf 77 mobi 2
专业书/1924.9 GBpdf 89 epub 79 txt 20 (无后缀) 3
未分类/5194.1 GBtxt 354 epub 95 pdf 55 (无后缀) 5
平台/1,8543.7 GBtxt 1,703 epub 139 pdf 10 azw3 2
纪实/912.5 GBpdf 44 epub 29 txt 15 mobi 2
悬疑推理,盗墓灵异/2452.3 GBtxt 147 epub 65 pdf 28 mobi 3
体育文游戏电竞文/1471.9 GBtxt 143 epub 3 pdf 1
官场类/581.2 GBtxt 47 epub 7 pdf 4
重生穿越无限流系统文/1681.2 GBtxt 145 epub 19 pdf 3 temp 1
小精品100/90695.2 MBtxt 88 xlsx 1 epub 1
末日生存/40302.1 MBtxt 37 epub 3
(直接放在此目录的文件)2937 KBepub 1 txt 1
中国电视剧剧本2,263 个文件 · 16.8 GB热播、经典电视剧的剧本,pdf / docx 为主
子目录文件数大小格式(绿色 = 能直接用)
中国热门热播经典电视剧剧本大全电影编剧导演考研表演资料电子版/2,26316.8 GBpdf 770 docx 747 png 486 doc 196
世界电影剧本1,908 个文件 · 3.9 GB中外经典电影剧本,docx / pdf 为主
子目录文件数大小格式(绿色 = 能直接用)
(直接放在此目录的文件)1,8743.5 GBdocx 1,044 pdf 777 doc 39 txt 8
赠送/30442.1 MBpdf 29 zip 1
楚门的世界(上).pdf等多个文件/21.4 MBpdf 2
非常嫌疑犯(下).pdf等多个文件/21.3 MBpdf 2

三、哪些能直接用

清洗工具只能读纯文本(txt、jsonl 等)。按文件格式看,整个桶里:

能直接用
132 GB
66,594 个纯文本文件
要先解压或转格式
324 GB
7,469 个压缩包、电子书、文档
不是文本
7.3 GB
1,988 个图片、日志等
格式文件数大小占比能不能用
.zip35253 GB54.6%压缩包,先解压
.txt66,346114 GB24.7%能直接用(纯文本)
.pdf3,49855.0 GB11.9%电子书 / 文档,先转成 txt
.jsonl5115.0 GB3.2%能直接用(纯文本)
.epub1,2369.3 GB2.0%电子书 / 文档,先转成 txt
.parquet235.9 GB1.3%图片、音频等,不是文本
.mobi5203.4 GB0.7%电子书 / 文档,先转成 txt
.json992.2 GB0.5%能直接用(纯文本)
.gz8933.4 MB0.2%压缩包,先解压
.docx1,807915.5 MB0.2%电子书 / 文档,先转成 txt
.rar92799.4 MB0.2%压缩包,先解压
.csv8563.4 MB0.1%能直接用(纯文本)
.png496511.0 MB0.1%图片、音频等,不是文本
.chm10342.7 MB0.1%电子书 / 文档,先转成 txt

名词解释

对话 / 轮
一段对话是一次完整的你来我往;一轮是其中一个人说的一次话。「685 万段对话、2016 万轮」就是 685 万次聊天记录、2016 万条消息。
真人即兴
真实的人在真实场景里自然说出来的话,不是按任务写的、不是剧本、不是 AI 生成的。这是我们最想要的那类数据。
整理后(processed)
把各个数据集五花八门的原始格式统一成一行一个对话的 JSONL 文件,程序能直接读。
清洗流程
我们自己的数据清洗工具:读小说或对话 → 去重 → 分类 → 用模型提取成训练样本 → 自动校验分级 → 打包输出。
GB
按 1 GB = 10 亿字节算,和 Cloudflare 控制台显示一致。一本中文长篇小说的 txt 通常 0.5–3 MB,1 GB 大约是几百到上千本。