3一6年级科技小制作手工解密ChatGPT的神秘面纱触发好奇与警惕的双重情绪

对于ChatGPT的出现及火爆，你的感受是什么呢？本文作者的心情是“好奇又害怕”。为什么ChatGPT能引起如此大的震动呢？以后会对人类产生什么影响？本文作者从ChatGPT的相关概念、背后的技术、商业前景，对ChatGPT进行了深入分析，并分享了自己的一些独到的观点，一起来探索一下吧。

ChatGPT是一款基于大型语言模型（LLM）的聊天机器人，它通过理解用户输入的句子含义，掌握世界知识，生成语言和代码，以及上下文学习等能力，为我们提供了一种与自然语言处理技术交互的新方式。这些功能使得ChatGPT能够模拟人类对话，从而在我们的日常生活中扮演着越来越重要的角色。

其背后的发展时间线可以追溯到几年前，当时神经网络结构设计技术逐渐成熟并趋于收敛，想要通过优化神经网络结构从而打破精度局限非常困难。但随着数据规模和模型规模不断增大，模型精度也得到了进一步提升。研究表明，当模型尺寸足够大时，其性能将显著提高并超越比例曲线。

目前，大型语言模型（LLM）已成为NLP领域的一个热门话题。大型语言模型包含多个层次处理单元，每一层都接收来自上一层输出作为带权重的输入参数，不同信息输入后经过网络处理可能得到各自不同的结果。这种模仿人类神经系统工作原理的大型计算机程序，使得它们能够理解复杂的人类语境，并以一种更加符合逻辑推理的人类思考模式进行回答。

然而，这些巨大的进步并不意味着没有挑战。在微调预训练的大型语言模型过程中，由于需要调整大量参数，大量资源和计算能力都是必需品。而且，即便使用现成的大型预训练模型再微调，也存在一个问题：随着大型预训练模型规模不断增大，其需要调整的参数数量也会急剧膨胀。这就要求我们找到更高效地调整这些参数的手段，而prompting正是其中一种方法，它不会改变任何参数，只要给予一定量提示即可提升大型语言模型能力。

Prompting不仅节省了大量微调工作量，还减少了依赖专业语料标注工作，让非专家用户也能轻松应用这项技术。它通常包括三个步骤：首先收集示范数据并训练监督策略，然后收集对比数据并训练奖励模式，再利用概率加权随机策略搜索算法优化策略。此外，还有强化学习结合RLHF（Reward Learning from Human Feedback）来不断改进该系统，使之更懂人的期望输出。

此外，我们还了解到思维链是一种离散式提示学习，在大规模上下文学习中增加思考过程。当使用思维链进行提示时，大型语言模型在复杂推理上的表现尤为突出，而且分布鲁棒性也有潜力，但只有当达到62B以上或175B以下特定大小时才会出现相变效果。此外，由符尧博士所述，思维链推理被认为是一种重要范式转移，将可能导致未来AI与人类交流方式的一次重大转变。