10条提升大模型任务微调效果的tricks

本文主要是介绍10条提升大模型任务微调效果的tricks，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在大型语言模型（LLMs）的研究和应用中，如何通过微调来适应特定任务是一个关键问题。尽管提示工程（PE）在提升LLMs的零样本学习和上下文内学习方面取得了显著成效，但关于如何设计有效的微调样本以进一步提升LLMs性能的研究还相对欠缺。

为解决上述问题，提出了样本设计工程SDE（Sample Design Engineering），这是一种系统化的方法，旨在通过精细化设计输入、输出和推理环节来增强LLMs在特定任务上的表现。以多方面情感分析（MASA）任务为例，分析了不同的SDE选项，包括指令放置、输入建模、多种预测格式化、未提及目标的处理、文本或数值标签的使用，以及推理设计选项，如链式思考（CoT），得出10条重要的结论！

在设计下游微调样本时需要考虑的典型SDE选项，以MASA任务为例。Ai表示第i个方面，Si表示其情感标签，[P]指的是占位符。

在这里插入图片描述

MASA任务的一个示例

在这里插入图片描述

10条实验结论：

指令位置的重要性：将指令放在输入文本的前面（Inst-first）比放在后面（Inst-last）能更好地提升LLMs在下游任务中的表现。这强调了在微调过程中指令放置的重要性。
输入建模的影响：在微调过程中对输入部分进行建模（MI）相比于不将输入包括在损失计算中（No-MI）会降低性能。这表明在微调时可能需要谨慎考虑对任务的哪些方面进行建模。
输出格式的选择：对于需要多个预测的任务，“Lines”（每行一个方面）的输出格式在不同模型和任务中表现稳定且高效。它在提供结构化信息的同时保留了自然语言的可读性。
未提及目标的处理：与在输出中省略未提及的目标（OU）相比，使用占位符（PU）保持一致的输出格式有助于模型学习。
推理设计的影响：链式思考（CoT）对提升模型在不熟悉场景中的推理和适应性具有显著作用，特别是在OOD任务中。
集成SDE策略的有效性：基于实验结果，提出了一种集成的SDE策略（ES-SDE），它结合了表现最佳的选项，并在不同下游任务中验证了其相对于其他启发式设计的优越性。
稳定性与理解能力的平衡：在考虑LLMs的格式一致性的同时，还需要考虑其在下游应用中的理解能力，这表明在工业场景中需要一种平衡的方法。
PE与SDE的关系：通过额外的分析，有效的提示设计（PE）并不一定能够指导样本设计（SDE），这表明PE和SDE之间存在复杂的关系。
SDE的稳健性：ES-SDE策略在不同的训练大小、解码随机性或指令变化下显示出了良好的稳定性，表明其对于LLMs的下游任务是一个可靠和强大的方法。
SDE的适用性和局限性：尽管ES-SDE在当前实验中表现出色，但对于未测试的其他场景，其适用性仍不确定。此外，随着LLMs的快速发展，可能需要对新模型进行进一步的SDE研究。

多方面情感分析（MASA）任务上不同样本设计的示例

在这里插入图片描述

格式错误类型及其处理方式的示例

在这里插入图片描述

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。