ChatGPT，实现机器智能从猿到人的跃升？

严肃投研之专题研究系列

 ChatGPT，实现机器智能从猿到人的跃升？

 一、认知智能的技术谱系

        人工智能（AI）主要包括两大技术体系，感知智能和认知智能。感知智能类似人类的触觉功能，包括视觉（商汤、云从的强项）、听觉（科大讯飞的强项）等，认知智能主要是脑子灵光，让机器会认字、会思考，会表达。在相当长时间内，感知智能的发展相对于认知智能更加领先并有相当多的商用案例，认知智能的进步主要受到NLP技术发展的制约，直到Trsansformer大模型算法的出现，NLP技术乃至整个AI技术向前跨越了关键的一步，而ChatGPT的成功则是Transformer大模型架构、海量数据、人类反馈的强化学习等多项技术成果的集大成者。

认知智能关键技术进化历程

2017年，Google发表论文《Attention is All You Need》，提出Transformer架构，全部采用Attention结构的方式，代替了传统的Encoder-Decoder框架必须结合CNN或RNN的固有模式。

2018年6月，OpenAI推出基于Transformer架构的GPT1.0

2018年11月，Google发布基于Transformer架构的BERT模型

2019年2月, OpenAI推出GPT2.0

2020年5月，OpenAI推出GPT3.0

2022年11月,OpenAI推出ChatGPT。                                    

           NLP关键技术谱系图

       由此可见，Google提出的Transformer架构可谓是NLP技术发展过程中最重要的里程碑。自此后的三四年时间里，以Transformer架构为基础，Google的BERT模型与OpenAI的GPT模型各有千秋，在垂直商用领域，BERT甚至技高一筹。国内相当多的NLP创业公司就是采取BERT路线做行业应用，这实际上就是看衰GPT路线，因为它太贵。直到微软重资押注，提供强大的算力和数据支持，OpenAI也不算优化算法模型，特别是引入了人工反馈强化学习技术(RLHF，Reinforcement Learning from Human Feedback)，通过“大模型+小模型反馈训练”结合的训练模式，ChatGPT最终一鸣惊人，OpenAI扳回一局，把机器智能推向了新的高度。但由此断定OpenAI打败了Google的说法还有些草率。毕竟人工智能的许多基础理论甚至GPT的底层架构都是Google提出的。

二、ChatGPT与算法模型

     BERT与GPT两大算法模型引领人工智能技术向前发展

     BERT，“Bidirectional Encoder Representations from Transformers”，即双向Transformer解码器。GPT，“Generative Pre-trained Transformer”即基于Transformer生成预训练技术）。 BERT与GPT一样，都是基于Transformer的二阶段训练模型，采取了Pre-training + Fine-tuning的训练方式，在分类、标注等任务下都获得了较好的效果。不同在于，Bert 仅仅使用了 encoder 也就是编码器部分进行模型训练，GPT 仅仅使用了decoder 部分；BERT需要通过上下文息，来预测中心词的息，同时又不希望模型提前看见中心词的息，因此提出了一种Masked Language Model的预训练方式，即随机从输入预料上mask 掉一些单词，然后通过的上下文预测该单词，类似于一个完形填空任务。Bert的本质是A -（ ）-B概率猜谜。GPT则是通过自左向右生成式的构建预训练任务，然后得到一个通用的预训练模型，类似写作文的状态。GPT的本质是A-B-（ ）链式反应。

        NLP两大算法模型结构对比 

         GPT、BERT两大语言模型，通过在海量数据上预训练并在专业数据上微调，或者是通过提示学习的方法，可以做到让机器对答如流，但会出现答非所问、说瞎话甚至不健康的回复。总体而言，语言模型生成的结果差强人意。直到OpenAI引入RLHF机制，从数据和方法两个角度对模型进行改进，而RLHF依然是Google在2017年发表的《Deep Reinforcement Learning from Human Preferences》论文中提出的方案。

 三、ChatGPT的基本原理与特征

1. 收集演示数据训练监督策略从提示数据集中抽取提示输入并人工给出期待输出，此数据用来微调；

2. 收集比较数据训练奖励模型人工对模型输出的答案以及人工答案按照符合程度进行排序，此数据用于训练奖励模型；

3. 使用近端优化策略(PPO)优化奖励模型在提示数据集中抽取新的提示输入，PPO模型由监督策略初始化，模型根据提示输出后由奖励模型计算奖励值，PPO使用奖励值更新策略参数，然后更新PPO，持续迭代优化。

     ChatGPT 的训练集基于文本和代码，新增代码理解和生成的能力。也就是说，ChatGPT既能记住跟你的聊天，还能迭代操作系统（底层代码）， 这样随着跟你聊天越多，就会越来越理解你，更好地抄测你的意图。由此，ChatGPT等于拥有了记忆存储能力，理解能力和一定的推理能力。

          ChatGPT的魅力

四、ChatGPT的本质

       ChatGPT的本质是机器学习平台对已学习知识再输出的概率计算。

        对，它有创造性输出能力。但是这种“创造力”是基于已经学习的知识并遵循一定的逻辑体系（无论是算法体系还是人工反馈训练），因而可以说它是极为理性的，但是缺乏人类最重要的一项能力就是——想象力，人类才可以Make Something From Nothing，它无论多“聪明”，只能是Make something from something。

        有人认为它是机器没有同理性，这可能是低估了它的情商。在经过人工反馈强化学习后，它可能逐渐学会人的情绪，揣测人的意图，懂得幽默，交流有温度。很有可能，某一天它比男人更懂男人，比女人更懂女人。

         而这一切都很贵，背后是超大数据、超大算力，以及超大能量的支持。从这个角度而言，人脑要高级得太多，同样的计算量，消耗的能量，天壤之别。所以，我们不能妄自菲薄，觉得它会抢了饭碗。同时也不能小瞧他，它可能取代人类大脑前额叶的功能，也就是判断、分析、思考、运算的功能，也直接关系到情绪及个性。特别是当它在资本巨头的支持下完成人类知识的广泛学习并掌握数据霸权后，它会成为真正的Almighty God。

  五、机器到底配不配有智慧？

        人类经过几百万的演化，人脑逐渐具备思维的生理基础，后来语言的诞生，又推动人类理性思维的飞跃，人不但能思考，人还可以很“聪明”，最重要的，似乎还可以有智慧。。。

       机器为什么可以成为思维的载体？

          机器的思维本质上是数学计算，可以说机器具有理性思考能力，但是想要有智慧，则需要更高级的算法，一种似乎只有人类才有的心智模式。

六、ChatGPT的产业寓意

         ChatGPT的大模型、大数据、大算力天然具有垄断性。前提的巨大投入也意味这是巨头的游戏。但是在中国，或许有一种新的方式来实现追赶，那就是以国家之力建成通用大模型平台，类似电力和电运营商一样，作为公共品提供给全社会。

        ChatGPT如此火热，资本市场闻风而动，好多股票炒上天，但是真正有最新NLP大模型技术实现能力和数据资源的，似乎找不出来。百度即将推出的文心一言可能代表国内的技术水准，不知道到时候跟ChatGPT辩论一下结果会怎样。

码字不易，以“资”鼓励！