Wan Fundamentation

Data pipeline

Pre-training data

目标：在大量带噪数据中挑选出高质量、高多样性的数据。

数据构成：内部版权数据+公开数据。

数据构造：四阶段数据清洗。

The ways to generate sounding-video

Trends: From multi-stage to end2end.

什么是LoRA

TL;DR

提出的背景：当时主流AR GPT-2的参数量是1.5b，主流AE BERT-large的参数量是340m，而新提出来的GPT-3有175b参数，且（当时视角下）未来若干月/年后可能有更大参数量的模型出现。

延伸出来的问题：如果逐任务做全量参数微调，意味着需要重复部署全量参数的模型，对部署有很大挑战。

LoRA的优势：

1. 参数量少。相比较GPT-3，可训练参数量减少10000倍，GPU内存需求减少3倍。

2. 效率更高。（1）训练时硬件门槛降低，因为不需要为大部分参数计算梯度。（2）推理时没有额外延迟，因为LoRA参数可以与原模型合并。

3. 可扩展。LoRA与很多其他后训练方法正交。

在部署层面，可以通过维护一个冻结的原模型参数，以及一些训练好用来实现不同功能的LoRA参数，就可以快速实现不同任务间的切换。

TL;DR

主要贡献

1. 开源

   1. 模型权重开源（R1-Zero/R1/6 distilled）；

   2. 训练细节开源；

2. 分享并探讨了复刻OpenAI o1这类闭源推理模型的可行性，且在效果上与o1接近（在使用更小算力的前提下）；

   1. R1性能与o1接近；利用R1蒸馏的Qwen、Llama等小模型超过o1-mini

Preliminaries

为什么R1的效果突出：

1. 站在巨人的肩膀上：现代LLM模型在写作的质量跟能力上已经有了质的飞跃，能够生成高质量的数据，让蒸馏这个行为变得可操作；

2. 推理任务本身的特殊性：能够基于现有工具或模型实现自动验证或标注；

3. 一条正确的路和从善如流的精神：从MoE，MLA到V3。本文中的大规模RL和回头草SFT。

Insights

1. RL中奖励模型不使用PRM/ORM，而是直接对结果进行奖励，让模型通过大规模RL自主强化推理能力

2. 对于小模型（32B以下），蒸馏比大规模RL更有效，可能是因为小模型的参数限制了它从大规模RL里提取范式的能力

   1. 虽然蒸馏策略既经济又有效，但想要突破智能的边界仍然需要更强大的基础模型，和更大规模的强化学习。

一、对比学习

1.1 自监督学习与对比学习

如果“有监督”代表数据是否存在原始标签，那么对比学习是无监督学习分类下的自监督学习方法。

有监督学习和无监督学习是机器学习中两种基本的范式。监督学习是根据已有的数据集，知道输入和输出结果之间的关系。根据这种已知的关系，训练得到一个最优的模型。无监督学习是不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系。

除此以外，还有一些其他衍生的学习范式，如半监督、远程监督、自监督等。

• 半监督学习：大量的无标注数据与少量有标注数据；

• 远程监督学习：利用外部知识库、外部模型对未标注数据进行标注；

• 自监督学习：利用辅助任务从无监督的数据中挖掘自身的信息，从而学习数据的有效表征。

最近在做一些ratio预估方面的工作，看了华为诺亚实验室和上交合作的一篇文章，正好借机把CTR模型中关于数值特征的embedding方法整理一下。

1. No Embedding：数值拼接后作为特征直接输入到模型中；
   1. [Google Play] Wide & Deep
   2. [JD] DMT
   3. [YouTube] DNN: 原始值、乘方、开方三者拼接
   4. [Facebook] DLRM: 两层全连接
2. Field Embedding：多用于学术界。每一个数值都对应一个向量，数值的embedding是值与向量的乘积；
3. Discretization：离散化，多用于工业界。离散边界的选择有下面三种方式：
   1. 基于固定距离/固定频数；
   2. 取对数（Kaggle某比赛的冠军使用过）后向下取整；
   3. 基于模型的分桶方式，如GBDT

论文提出：离散化的方式存在三个比较关键的问题：

1. 分桶指标的选择比较固定，往往需要一个独立的模块，没法做成端到端的方式；
2. 桶的上边界和上一个桶的下边界，两者数值相差可能很小，但实际的embedding差异很大；
3. 同一个桶的上边界和下边界，两者数值相差可能很大，但实际的embedding是相同的。

论文主要的思路是将每个数值域的桶都用可学习的矩阵形式表示（行数为桶，列数为每个桶的embedding），随后学习一个长度为桶数的权重，来将每一个数值转化为每一个桶的权重。

Facebook(Meta) 发表的一篇关于使用对比学习+多任务学习，增强推荐商品相关性的一篇文章，目前在Facebook Marketplace里A/B测试了两周，能够将用户-推荐商品的交互率增加4.5%。

有意思的一点是，这个一作哥们一次性在arXiv上挂了两篇文章，发表在不同的顶会上，起了类似的名字 名称+解释+facebook marketplace ，说明F家的线上值得介绍的新方法应用还挺多。 然而还是被美国马裁员了4/5，令人唏嘘。

文章一如工业界的行事风格，不整弯弯绕绕的理论分析，直接给方法+线上效果，有种简单有效的美。

文章的亮点在于，除了比较基础的对 <用户query，推荐商品> 使用对比学习来获得两者的表示以外，还加入了另一个任务来更好地匹配线上的推荐逻辑。具体来说，由于线上的推荐过程包含了检索、排序在内的多阶段步骤，所以仅仅获得语义相关的向量表示是不够的（例如，基于cos-similarity优化的对比学习向量表示只能增强检索阶段的效果，但对排序阶段的效果增强不够显著，甚至会起负作用）。作者引入了easy/hard negative sample的概念，加入了另一个学习任务，使得获得的向量表示对线上使用更加有效。

Notion link

去年在组里给大家分享的一些关于大模型的知识。那个时候GPT-3并没有掀起太大波浪，在 talk to transformer 网站上它的表现和小冰属于卧龙凤雏。那个时候NLP监督任务还风靡BERT+fine-tune的模式。

Lilian Weng 上个月翁荔的博客，相较于我自己的总结，这篇文章更加前沿，也更有逻辑。

论文主要提出了一种基于检索的时间序列预测方法。主要想解决在真实场景中，大部分的时间序列预测所能够获得的观测样本非常有限（如想要预测的时序长度占总时序的80%或以上），例如在智慧交通领域，预测传感器损耗的道路的交通情况，或者在环境监测领域，对某些环境恶劣、无法放置传感器的地点的温度变化情况。特别地，在工业场景中，也会存在基于少量的时序数据来预测未来许多天的场景，如广告行业中的流量预测、广告投放量估计等。

值得注意的是，本文使用的是关系检索，而非基于内容的检索，因为在输入时序数据很短的情况下，数据很可能是不够稳定的，从而导致检索到不可靠的时序片段。

论文的贡献主要有以下三个方面：

1. 文章从条件熵的角度量化了时序预测的不确定性，并且论证了在拥有相似参考时序片段的情况下，会让模型更加轻松地学习到时序的模式；
2. 文章提出了一个用于时序预测的两阶段算法ReTime，由关系检索的内容合成两部分构成；该方法也能够简单地扩展到时空序列预测、或是时序插值场景中去；
3. 文章用了两个真实世界的数据集里验证了ReTime算法的有效性。

讨论了为什么在绝大部分的基于DNN的CTR模型训练过程中，第一个epoch之后效果最好，从第二个epoch开始反而效果开始下降。

充满了很多实验的一篇文章，直接说结论：

• 与该现象有关的因素
  • 模型结构：DNN会有该现象，而LR就不会；
  • 优化算法：收敛速度越快的算法越会出现该现象；
  • 特征的稀疏性：特征越稀疏（w/ 长尾），越容易出现该现象。
• 与该现象无关的因素
  • 模型参数量：把模型embed层减到只有一个float值，此时DNN模型的参数和LR很相似，但DNN还是会有过拟合现象；
  • 激活函数；
  • batch size；
  • weight decay；
  • dropout；

最后，作者提出了一个假设：在CTR模型训练过程中出现过拟合现象，是因为未训练的样本（包括一个epoch都没训练的样本，或者测试集的样本），分布与已训练的样本非常不一样。这里的分布指的是embedding向量与其样本标签的联合分布，随后通过实验验证了这个假设。