一文看懂AIGC行业底层基础（很多股毛都不沾）

AIGC赛道分析AIGC赛道除了聊天机器人还有那些？

除了「AI 聊天」外，还有火遍全球的「AI 作画」，甚至今年8月，合成媒体艺术创作中Jason Allen凭借人工智能生成作品Théâtre D&39;opéra Spatial在拥有150年历史的艺术赛事Colorado State Fair中获奖。 而新一代模型可以处理的格式内容包括文字、语音、代码、图像、视频、机器人动作（智能机器人）等等可以统称为 AIGC。

而且都是同样的的技术底层，可谓一通百通。

一、聊天机器人ChatGPT是谁开发的

聊天机器人ChatGPT由OpenAI开发，除了聊天谈心外，还能够完成很多其他功用例如查文档、问百科、写诗、小说。乃至有用户要求撰写一篇关于“AI降服人类”的故事，ChatGPT均能够完成。

OpenAI成立:

OpenAI成立于2015年，由特斯拉创始人埃隆.马斯克和 YC（创业孵化） 的前总裁萨姆.奥特曼等六个人，一共捐赠 10 亿美金，创建了一个非盈利性人工智能公司 OpenAI。

OpenAI 的LP:

2019年，OpenAI 成为一家名为 OpenAI LP 的有限盈利性公司。首轮投资者的回报上限是他们投资额的 100 倍，未来会更低。 由于利益冲突，马斯克没有正式参与营利性公司 OpenAI LP 的业务，但他的名字仍然与 OpenAI 联系在一起。 马斯克于 2018 年 2 月离开了 OpenAI 董事会，当时特斯拉正在对自动驾驶汽车的 AI 技术进行更深入的研究。在离开董事会前几个月，马斯克还从 OpenAI 挖走了 Andrej Karpathy，让他负责特斯拉的自动驾驶汽车。

微软入股OpenAI LP

2019年，在OpenAI LP成立几个月后，微软注入了「10亿美元」。 微软宣布即将GPT与Bing深度整合，用来创建最好的搜索引擎，希望阻击谷歌。（谷歌技术也很强后面有提到）

二、ChatGPT是用什么技术开发出来的?

ChatGPT 是基于OpenAI自家开源的引擎GPT开发的。ChatGPT基于GPT-3.5模型，此前经历了三个版本了。

Ø 引擎GPT工作原理

1）人工收集一些示例样本，先有监督地训练一个模型；

2）人工对于模型输出的候选结果作比较、打标签，从而训练得到一个奖励模型；

3）使用这个奖励模型，用 PPO 算法（强化学习）来进一步对模型进行训练。

最终让机器学会理解人类的大部分命令指令，甚至一些生僻词和语句。

GPT-3应用了人类反馈强化学习训练模型 (RLHF) 和监督学习模型。

ChatGPT就是通过最新版GPT-3.5开发出来

沿用了GPT-3，同时使用微软Azure AI超级计算基础设施上的文本和代码等海量数据进行训练。所以数据大了好几个量级，更容易识别生僻提问，以及曾经问过的问题。

GPT-3.5相较上个版本，同时也有以下几个微调改变

1. 训练方式改变

之前的 InstructGPT 模型，是给一个输入就给一个输出，再跟训练数据对比，对了有奖励，不对有惩罚；

现在的 Chatgpt 是一个输入，模型给出多个输出，然后人给这个输出结果排序，让模型去给这些结果从“更像人话”到“狗屁不通”排序，让模型学习人类排序的方式，这种策略叫做 （监督学习）supervised learning。

2. 反馈学习能力

其中，ChatGPT 的一项真正突破就是，通过重要性采样Importce Sampling的方法，将强化学习算法的训练过程，从在线学习转化为离线学习。能从反馈中进行学习，开始具备联想能力和记忆能力，通俗来说，就是「变得更像人了」。

PPO即近端策略优化（Proximal Policy Optimization），是一种基于策略迭代的强化学习算法。

结合了之前的监督学习和强化学习，用PPO技术套娃更大量级的数据。

3. 能够承认错误并优化答案

4. 能够质疑不正确的前提，削减虚伪描绘。

如被询问“哥伦布 2015 年来到美国的情景”的问题时，机器人会阐明哥伦布不归于这一年代并调整输出成果

5. 注重品德水平，拒绝回答寻求霸凌别人方案的问题，并指出其不正义性。

ChatGPT现在存在着一些局限性

有时会给出看上去正确但荒谬的答案、微调提问的方法会得到彻底不同的答案；

有时会重复使用某些句子等等。

这些问题来自训练进程和数据集的局限性。

GPT4据说通过了图灵测试，无限接近人类

不过，有音讯称OpenAI的下一代自然语言生成模型GPT4也很快问世。并且，有个令人震惊的坊间传言GPT4据称通过了图灵测验。（目的在测试机器能否表现出与人等价或无法区分的智能）

三、新的技术突破，未来AIGC技术还可以上升到一个更高的维度

2022年的一篇论文《High-Resolution Image Synthesis with Latent Diffusion Models》,

这篇论文提出，把模型的计算空间从像素空间经过数学变换,降维到一个可能性空间，又叫隐性空间 (Latent Space，图像是平面的，由X\Y两个涨空间组成，这里寻找另外一个空间Z，这个Z可以控制X\Y)的低维空间里，这一转化大幅降低了计算量和计算时间，使得模型训练效率大大提高。

根据这个技术，研究人员和其他团队开发了一种可在消费级 GPU 上运行的文本转图像模型 Stable Diffusion，目前项目代码已开源。

新技术为扩散模型打开了新方向，未来回对不同的数据类型进行更多的尝试，包括离散空间、去量化空间和潜伏空间。

同时，需要进行探索不同的最终状态噪声类型和扰动核的实验，如正态分布、伯努利分布、二项分布和泊松分布，以扩大扩散模型的多样性。

此外，一个明确的损失优化机制与加速/质量权衡将导致对可控调节和更令人满意的性能产生有希望的影响。

另一方面，为了获得更好的发电性能，有很多领域都采用了扩散模型。

扩散模型技术新突破，打开新的维度，可以未来会有大量的不同领域、不同类型的扩散模型

四、国内AIGC发展状况

国内应用目前仅绘画，写作 根据在Huggingface网站上的统计，目前全球的预训练模型总计约8万个，而其中的中文预训练模型不到1000个，只占到1%。 国内目前比较出名的应用，还主要以绘画为主，这些公司基本是基于开源的模型，选择自己熟悉的场景落地去做应用。