这是一种轻量级且高效的数据选择方式：只需要锻炼和摆设一个基于stText的评分器，就能够削减10倍的计较需求。该方式提出数据的预测强度(Predictive Strength) 的概念和计较公式，操纵正在分歧模子上Loss有序性表征数据对特定能力的贡献，通过获取特定能力的无效样本锻炼stText分类器对全量锻炼数据进行筛选。基于法则的筛选依赖人工建立的先验法则，如C4 pipeline、Gopher rules，以及RefinedWeb和FineWeb的数据筛选流程。此类方式虽然实现简单，但容易遭到人工经验的，存正在泛化能力衰或法则客不雅性强的问题。基于模子的筛选则通过锻炼模子对数据分类或打分以筛选样本，如CC Net采用迷惑度（Perplexity）打分，FineWeb-Edu操纵Bert分类器评估教育价值，DsDm和MATES计较样本的influence score，DCLM操纵 stText打分器评估样本取SFT数据的类似性。这类方式常面对计较成本高或者引入客不雅等问题。客不雅性将保守的客不雅性的数据质量评估为对模子能力的贡献大小，通过“预测强度”目标，量化评估数据正在分歧能力上的价值；泛化性筛选的正样本不只笼盖高质量内容来历，同时具备优良的多样性，避免过度集中于某一范畴、来历或气概；轻量级通过stText分类器近似打分，大幅降低计较成本，使得该方式能够高效使用于大规模数据筛选使命中；高细粒度支撑样本级此外筛选支撑特定细分能力维度的数据筛选“压缩即智能”（compression represents intelligence）这一概念了一个焦点现象：大模子对数据的压缩能力（例如BPC， bits per character）取其正在该数据上的归一化Loss存正在等价关系，且取模子鄙人逛使命中的表示高度相关。PreSelect团队提出以数据预测强度（Predictive Strength）做为权衡模子loss取下逛使命（benchmark）表示分歧性的目标，其计较公式如下：当S=1 时，暗示分歧模子正在benchmark上的得分排序取其正在该数据上的loss排序完全分歧，申明该数据具有很高的预测强度；相反，申明两种排序之间没有相关性，该数据对下逛使命的感化弱，预测强度很低。按照预测强度的凹凸对数据进行筛选，优先保留那些使得分歧模子正在benchmark上的得分排序取正在数据上的loss排序更分歧的数据。取现无方法比拟，该方式具有更的理论根本，削减了对人工法则的依赖，筛选过程更客不雅、更具有泛化性。PreSelect团队从RefinedWeb数据集中随机抽取80B、300B和1T tokens做为根本数据，评估分歧筛选方式的结果。筛选比例设置为10%和30%，筛选后的数据量级包罗8B、30B、90B和100B。1B和3B。鄙人逛17个使命上的尝试成果表白，PreSelect方式筛选出的数据正在锻炼的模子结果上显著优于其他方式，对比baseline平均提拔了3%，验证了其无效性。从已通过人工法则集和多种质量评分模子筛选，并颠末分歧粒度的文本级和语义级去沉的vivo自有Web数据集中，随机抽取5T tokens做为根本数据，别离采用PreSelect取Random方式各自筛选10%（即500B tokens），锻炼参数规模3B的模子并评估下逛使命结果。尝试成果表白，即便正在自有的颠末优化处置的数据集上，PreSelect方式仍然有显著的机能提拔，展示出其正在高质量数据根本上的增益能力。颠末对分歧数据筛选方式所选择的样本进行阐发，成果表白PreSelect筛选的domain数据更多地采样了学问、问答和文学范畴，更普遍地笼盖了高质量来历内容，可以或许显著提拔模子正在各个范畴的结果。通过对分歧数据筛选方式所筛选出的数据长度进行比力，能够看到DCLM 和FineWeb-Edu显示出较着的短数据向量和长数据向量趋向，而PreSelect筛选的数据正在长度分布上更接近原始长度分布。表白其正在筛选出高质量样本的同时，无效削减了样本长度误差（length bias），具备更好的代表性取笼盖性。05月13日，海外汉文正在沪体验“苏河万象” 看百年变化，❌互慰吃奶互揉视频，少女初婚免费看，国情秘麻豆网坐视频，把