RLHF早期查找论文

点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！ChatGPT有多火？用一个通俗易懂的话来表达，ChatGPT就是爱豆中的鹿晗、蔡徐坤、杨超越；脱口秀界的李诞、徐志胜；足球界的梅西、C罗、姆巴佩...前段时间，HuggingFace发表了一篇博客，详细讲解了ChatGPT背后的技术原理—RLHF。RLHF，全称：Reinforcement Learning from Human Feed...

传统的强化学习方法通常使用手工设计的奖励函数，但这种方法往往难以捕捉到复杂任务中的细微差别和人类的偏好。在这种模式下，人类标注者通过与模型交互，向模型提供反馈和指导，帮助模型学习如何进行摘要生成任务。通过与人类标注者的互动，模型可以逐步优化自身的生成能力，并生成更加准确和合理的摘要。这些选择被用作奖励信号，用于训练深度强化学习模型。这种方法不仅能够提高强化学习模型的性能，还能够使模型的行为更加符合人类的期望和偏好。通过结合人类的专业知识和判断力，可以提供更准确的标签和反馈，从而改善模型的生成能力和表现。

文 | 卖萌酱大家好，我是卖萌酱。前几天，抱抱脸公司（HuggingFace）发表了一篇博客[1]，详细讲解了ChatGPT背后的技术原理——RLHF。笔者读过之后，觉得讲解的还是蛮清晰的，因此提炼了一下核心脉络，希望给对ChatGPT技术原理感兴趣的小伙伴带来帮助。此外，文末整理了几篇关于 RLHF 最热门的12篇必读论文，卖萌酱打包好挂在公众号后台了，感兴趣的小伙伴可以在公众号“夕小瑶的卖萌屋...

本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾，按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步

利用人工反馈进行微调是使语言模型与人类意图相一致的一个有希望的方向。专注于微调对齐语言模型的方法。使用来自人工反馈的强化学习(RLHF)微调GPT-3。这种技术使用人类的偏好作为奖励信号来微调模型。收集了一个数据集，用于在更大的API提示集上对模型的输出进行人工标记的比较。在数据集上训练一个奖励模型(RM)，以预测标签器更喜欢输出哪个模型。使用此RM作为奖励函数，并使用PPO算法微调监督学习基线以最大化此奖励。

这里我们接着上一次对 《Qwen2.5 Technical Report》 文章的内容总结，将文章中笔者学习到的论文重要概念，以及单词、短语、用法总结

这篇论文出自于中国人民大学，全面回顾了大型语言模型 (LLM) 的最新进展，重点关注其发展背景、关键发现和主流技术。

相应的，我们也就可以得到策略函数。可以看到强化学习和深度学习区别还是很大的，没有那些熟悉的东西，成堆的参数，有的只是Q，也就是记录着价值的这个函数，这个函数其实就是决定了系统下一步采用某个动作的概率。上下是两种不同的方法，上面这种使用了实际上最后的价值与预期的估计的差值来计算，而下面这种方法使用的是实际上t步的价值与接下来的估计减去之前估计的价值来得到误差，用来更新新的预期估计。在修改Q的时候，很显然离最后那一步近的与结果关系大，离得远的关系小，那么Q的修改幅度也是一样，离的近的修改多，离得远的修改少。

DREAMLLM 的运作遵循两个基本原则。第一个重点是通过在原始多模态空间中直接采样来对语言和图像后验进行生成建模。这种方法规避了 CLIP 等外部特征提取器固有的限制和信息丢失，并且获得了更彻底的多模态理解。其次，DREAMLLM 促进原始交错文档的生成，对文本和图像内容以及非结构化布局进行建模。这使得 DREAMLLM 能够有效地学习所有条件、边际和联合多模态分布。因此，DREAMLLM 是第一个能够生成自由格式交错内容的 MLLM。

大语言模型对齐技术综述：RLHF、RLAIF、PPO、DPO 等：论文对LLM对齐技术进行了全面综述，将相关研究论文分类为奖励模型、反馈、强化学习（RL）和优化等主题，详细解释各对齐方法，分析不同方法的优缺点，探讨未来研究方向，以帮助读者深入理解该领域现状，为研究人员提供参考。过去几十年中，通过自监督学习对 LLM 进行预训练取得了重大进步，这得益于更大的decoder-only Transformer 的发展、数万亿tokens的利用以及跨多个 GPU 的计算并行化。

今年5月份，斯坦福的一些研究者提出了RLHF的替代算法：直接偏好优化(Direct Preference Optimization，简称DPO)，其对应论文为《那其与ChatGPT所用的RLHF有何本质区别呢，简言之RLHF将奖励模型拟合到人类偏好数据集上，然后使用RL方法比如PPO算法优化语言模型的策略，以输出可以获得高奖励的responses(同时不会偏离原始SFT模型太远)

PPE通过评估奖励模型在12个不同领域中的12个不同指标来选择人类偏好或可验证正确的响应，从而为奖励模型提供了一个全面的评估。PPE包括16,038对来自Chatbot Arena的标记人类偏好对，以及2,555个提示，每个提示有32个不同的采样响应选项，总共81,760个响应，涵盖4个不同的模型，所有这些都基于可验证的正确性标签。通过这些方法，该论文旨在提供一个成本效益高的方法来近似评估奖励模型对下游LLM性能的影响，并为奖励模型的选择和改进提供指导。

核心联系在比喻中，"选手自己尝两道菜并打分"对应模型根据自身输出概率比较两段回答孰优。"专业评委"对应少量人工偏好数据，提供最初的对齐参照标准。"口味学习 + 自我修正"对应论文提出的对模型进行"初始化对齐+自我修正噪声"的训练策略。为什么这很重要以往如果没有足够的人工标注或外部奖励模型，很多对齐方法就无从谈起。这里通过"直接偏好判断"，我们把对齐能力内置在同一个模型里，让它自己给自己"打分"。虽然会有噪声，但自我修正机制能减小影响，从而在小规模标注的情况下也能做出不错的对齐。最核心的数学原理。

一篇关于RLHF（Reinforcement Learning from Human Feedback）的，翻过来以飨读者。

使用教师模型蒸馏学生模型（小模型），使得学生模型尽可能在数学推理任务中表现更好，评分标准由4个指标组成：Overall Score=0.4×AS+0.3×CQS+0.2×ES+0.1×MLS。通过上述方法构建了3个对应的数据集，目前想要对最终的模型使用的数据集进行消融实验，训练及评分过程较慢。三个数据集合并后共包含2126条数据。模型微调后，创建应用，发布服务即可提交赛题，目前赛题评分中，待更新最后分数。

跨境支付企业的"吞金兽"：风控系统成为最大成本黑洞。这类系统需采购海量第三方数据（年费超千万），并应对国际卡组织的高额合规要求（如VISA系统年增300万美元成本）。核心防控AML（反洗钱）和CFT（反恐融资）风险，通过四阶KYC认证体系（证件核验到持续监控）和KYB企业审查（股权穿透到贸易背景验证）。采用AI检测（准确率98.7%）、知识图谱等技术，并实施分级审核策略（CDD/EDD）。风控系统需融合3000+规则引擎和机器学习模型，实现全流程监控，是跨境支付企业的生死线。

为处理缺失值，典型方法包含插值和删除，这里采用插值的方法。创建一个人工数据集，并存储在csv（逗号分隔）文件。转换为NumPy张量。