注册返回主站

周鸿祎GPT到目前为止有四个不可解释的现象。1.

作者：考股成金
2023-04-13 00:42:00
分享：

周鸿祎GPT到目前为止有四个不可解释的现象。

1.涌现过去的垂类模型因为参数太小，多次训练并没有诞生强大的推理能力，而大家发现在千亿量级参数的模型中出现了推理能力的显著提升。如果我们相进化论，人从猿进化而来一定是某个节点的神经元达到了某个量级，这与GPT是类似的。

2.幻觉（ hallucination ）很多人觉得它是缺点，但是为什么大模型会出现幻觉？这恰恰是它的能力展现。只有人类拥有幻想、语言不存在的事情的能力，我们才拥有了宗教、社区。创造力本质上就说把不相干的东西结合在一起，为人类带来了无穷无尽的创新，未来的某些大模型在创造行业恰恰非常需要这类能力。此外人类也是会做梦的，幻觉和做梦就非常类似。

3.能力迁移95%的大模型训练参数来自拉丁文，但它在其他语言上的回答能力也非常强。我认为在不同语言后面可能会存在某种通用的逻辑，但目前没有被我们发现，而大模型在学习海量资料后掌握了这种能力，这是它在不同语言下依旧有很强的能力的解释。

4.逻辑增强发现通过学习Github后GPT的自然语言条理性得到了增强，这也是为什么我们的孩子需要学习去增强自己的大脑。

温馨提醒：用户在赢家聊吧发表的所有资料、言论等仅代表个人观点，与本网站立场无关，不对您构成任何投资建议。本文中出现任何联系方式与本站无关，谨防个人信息，财产资金安全。