第三次科技启示录ChatGPT既令好奇心驰骋又令人战栗的智能对话者

对于ChatGPT的出现及火爆，你的感受是什么呢？本文作者的心情是“既好奇又害怕”。为什么ChatGPT能引起如此大的震动呢？以后会对人类产生什么影响？本文作者从ChatGPT的相关概念、背后的技术、商业前景，对ChatGPT进行了深入分析，并分享了自己的一些观点，一起来看一下吧。

ChatGPT是一款基于大型语言模型（LLM）的聊天机器人。它通过理解用户输入的句子的含义、掌握世界知识以及遵循提示词生成补全提示词的句子，展现出我们在聊天时体验到的强大能力。这些功能使得ChatGPT能够进行复杂推理和思维链上的表现明显优于微调，在知识推理上也具有很好的竞争力。

然而，随着神经网络结构设计技术的逐渐成熟并趋于收敛，大型语言模型得到了迅速发展，尤其在NLP领域。大型语言模型规模有多大呢？从谷歌发布BERT预训练模型到T5、GPT-3再到GLaM和M6-10T，每一代都在参数量上实现了巨大的飞跃，这种规模性的增长导致了性能的大幅提升。

但这些高级别的人工智能系统并不简单，它们背后涉及许多复杂技术，比如提示学习（Prompt Learning），这种方法可以通过在输入中添加一个提示词，使得预训练模型的性能大幅提高。这种模仿人类神经系统的神经网络处理单元，将不同信息输入后可能得到各自结果，就像我们接受来自不同人的请求，每个人的影响力都是不同的。

使用现成的大型预训练模型，再根据自己的需要微调，即所谓精调，是一种省事且有效的手段。而Fine-tuning就是其中非常有效的一种方式，即冻结预训练模型部分网络层，然后只对剩下的部分进行调整。这就好比给一个妻管严的人看几个不是妻管严的人的一些故事，让他摆脱原有的模式一样。