该工作进行初步的人工检查，发现一些广泛使用的合成SFT数据，如Alpaca由于缺乏人工检查，包含了相当数量的幻觉答案。这就要求研究人员在尝试建立基于自我指导的SFT数据集时要小心谨慎。
构建SFT数据时怎么知道哪些问题是超出了模型的知识范围呢？
4 Matching Annotations
- Sep 2023
-
mp.weixin.qq.com mp.weixin.qq.com
-
- May 2023
-
mp.weixin.qq.com mp.weixin.qq.com
-
这一次大模型拐点会让所有服务经济中的人、蓝领基本都受影响，因为他们是模型，除非有独到见解，否则你今天所从事的服务大模型都有。下一时代典型的职业，我们认为是创业者和科学家。
大模型即将终结使用脑力劳动的打工人
-
-
mp.weixin.qq.com mp.weixin.qq.com
-
实测 | GPT 3.5系列模型选择指南：面试、英文邮件、直播、周报、简历5个场景下性价比如何？
为什么要做这个事情： - 日常选用GPT-3.5系列模型时该选择哪个模型能够表现更好，考虑的因素有性能和成本。
作者是如何做的： - 使用OpenAI的提供的gpt-3.5-turbo、text-davinci-002、text-davinci-003三个模型的API，分别在面试、邮件、直播、周报、简历等5个场景中进行一系列任务 - 对于每个场景，作者描述和测试场景和评测角度，并通过主管评测的方式对模型的输出进行比较
结论： - gpt-3.5-turbo的综合评分最高，表现出较高的精确度和专业度，对于大多数任务都能够适应，输出的结果完成流畅，对不同任务的输出也比较准确、全面，具有较强的适应性和通用性，且成本最低。
-
-
medium.com medium.com
-
Transfer learning involves the following:Loading the trained model into memoryFreezing the parameters so as to avoid losing any information they contain during future training roundsAdding some new trainable layers on top of the frozen layersTraining the new layers on another dataset
迁移学习：保持预训练模型的参数不变，通过添加和训练额外的神经网络层来适配新的数据
-