近日openAI采用闭源模式发布多模态大语言模型GPT-4 ，该模型采用和GPT-3.5/ChatGPT相同的技术路线，但带来了更好的创造性、协作性、推理能力、安全性等，同时训练过程中采用定制超级计算机进行算力承载，并完善了大语言模型scaling law基础理论，实现训练资源可控。我们判断，GPT-4的良好效果，有望推动全球AI领域技术栈持续向LLM（大语言模型）模型收敛，并通过暴力美学 工程技巧的结合不断加速AI产业发展，带来更多应用场景落地的同时，亦帮助人类不断逼近通用人工智能AGI。我们持续看好openAI及全球AI领域的产业投资机会，并建议持续聚焦芯片、算力设施、模型架构&工程实践、应用场景等核心环节。

▍报告缘起：OpenAI正式发布GPT-4。

北京时间2023年3月14日晚，OpenAI发布了正式版本的GPT-4，取代了此前ChatGPT使用的GPT-3.5版本，并开始为付费的Plus用户提供服务。OpenAI在官网表示，GPT-4虽然在大多数现实场景中的能力不如人类，但在一些专业问题和学术基准上表现已经和人类持平。本篇报告将基于对GPT-4底层技术逻辑、实现功能详细分析的基础上，探讨GPT-4对全球AI产业带来的可能技术路径影响，以及产业层面的变化和机遇。

▍GPT-4：完全闭源模式发布，耗时6个月迭代调整完成的多模态大语言模型。

本次OpenAI推出GPT-4的形式与以往模型的发布都有所不同，OpenAI既没有公开发布GPT-4的相关论文，也没有提供详细的框架说明，仅仅提供了一份98页的技术文档。通过这一方式，OpenAI阻断了所有借鉴者参考的直接途径（模型大小、数据集构建、训练方法等），将闭源的路线坚持到底，这也符合我们之前对行业未来发展的判断：领先的头部公司（OpenAI、Google）将坚持闭源路线，避免其他公司复现其模型；落后一到两个身位的公司（Meta、Amazon、NVIDIA等）可能会选择开源路线，寄希望通过社区的力量加速迭代。

根据OpenAI发布的这份技术报告，GPT-4的训练以及迭代的耗时长达6个月以上，是之前发布的ChatGPT的两倍以上，在技术路径上沿用了自回归的Transformer模型加上人类反馈强化学习。模型能力方面最大的提升在于引入了多模态的处理能力，除了此前ChatGPT就支持的文字外，GPT-4还可以接受图片输入，不过暂时还没有开放给用户使用。此外，模型在面对复杂任务的可靠性与输出的安全性上均有显著的提升。

▍模型训练关键点：采用定制化超级计算机，完善了大语言模型scaling law基础理论。

尽管OpenAI没有公布模型的及具体训练细节，但从其在技术文档中的表述出发，我们找到了两点可能会影响整体产业的关键点：

1）OpenAI在去年开始就与微软合作重新构建一台用于大语言模型训练的超级计算机，而本次GPT-4的训练以及迭代环节应该是完全通过这台计算机所完成的。根据Bloomberg的相关报道，OpenAI与微软所搭建的这台计算机总共耗资数亿美元，使用了近万张英伟达A100显卡，这也与我们之前报告中对训练大语言模型所需要的显卡体量计算相一致。从OpenAI在技术文档中描述的结果看（训练 迭代总共耗时6个月），GPT-4的训练过程远短于此前的预期（从之前的论文出发，如此体量的模型迭代部分的对其就要耗费数月时间），这也表明了构建专用超级计算机的必要性。我们认为，在未来数月时间我们将会看到更多AI大厂效仿OpenAI的做法，将定制化的超级计算机提上日程。

2）Scaling Law是OpenAI团队在2020年发表的论文，主要对模型能力与模型大小、训练时长间的关系做了推算，也成为了大语言模型研究的重要理论。而在本次OpenAI的技术报告中，我们看到对scaling law有了进一步的完善。OpenAI表示在开发GPT-4的过程中进一步完善了Scaling Law，对此前无法解释的涌现能力（当模型体积大小突破到某一阶段时会突然出现某种新能力）可以更好的预测。Scaling Law的完善也意味着在模型训练资源的投入将会更加可控，AI厂商将不再需要为了涌现能力一味扩大参数，这将进一步降低AI训练阶段的成本。

▍应用场景：多模态能力加速多领域创新。

GPT-4相较于ChatGPT最直观的改变在于加入了支持图片输入的多模态的能力。尽管OpenAI表示目前多模态能力的重点还在于图片转文字，对于音频、视频、图片编辑等还不支持，但这也给了市场足够的想象空间。

1） 搜索领域：结合图片输入的多模态将更好的为目前传统搜索引擎 大语言模型辅助的模式进行服务。

2）智能客服：图片与文字结合输入的模式更加贴合目前ToC智能客服所遇到的一些痛点。

3）中小模型公司微调模型应用到具体细分领域：GPT-4被描述为一个通用的大语言模型，从OpenAI的文档看他们也没有兴趣对具体细分领域进行微调以求更好效果，那么这个在未来就自然会交到中小人工智能厂商手中：在GPT-4的基础上针对细分行业进行微调来获得更好效果。

▍风险因素：

AI核心技术发展不及预期风险；科技领域政策监管持续收紧风险；全球宏观经济复苏不及预期风险；宏观经济波动导致欧美企业IT支出不及预期风险；全球云计算市场发展不及预期风险；企业数据泄露、信息安全风险；行业竞争持续加剧风险等。

▍投资策略：

GPT-4 采用与 GPT-3.5/ChatGPT 相同的技术路线，但带来了更好的创造性、协作性、推理能力，以及多模态能力等。GPT-4的良好效果，有望推动AI领域技术栈持续向LLM模型收敛，并通过暴力美学 工程技巧的结合不断加速AI产业发展，帮助人类不断逼近通用人工智能AGI。我们持续看好openAI及AI领域的产业投资机会，并建议持续聚焦芯片、算力设施、模型架构&工程实践、应用场景等核心环节。

本文源自券商研报精选

花粉社群VIP加油站