美国人工智能开发机构OpenAI最引人关注的下一代大模型GPT-5何时才来？最新消息显示，其开发陷入困境，研发进度落后且成本高昂。该公司正在探索包括“推理”在内的技术路径以突破瓶颈。
据《华尔街日报》12月20日报道，OpenAI内部代号为“猎户座”（Orion）的GPT-5项目的开发已持续超过18个月，目前面临严峻挑战。按原计划，该项目应在2024年年中完成，但现在进度严重滞后。
OpenAI已经进行了至少两次大型训练，每次训练都需要数月时间处理大量数据，目的是让“猎户座”变得更聪明。一位前OpenAI高管表示，如果说GPT-4的表现相当于一个优秀高中生，那么GPT-5的目标是要在某些任务上达到博士水平。然而熟悉该项目的人士表示，“猎户座”的训练每次都会出现新问题，软件也达不到研究人员的预期。
根据估计，为期6个月的训练仅算力成本就可能高达5亿美元（约合36.6亿元人民币）。而训练GPT-4的成本为超过1亿美元（约合人民币7.31亿）。
参数（parameters）是AI模型中的一个关键指标，可以理解为模型的“大脑神经元”数量。参数越多，理论上模型的能力就越强，但训练成本也越高。随着模型的迭代，OpenAI的训练参数越来越大，从GPT-1的1.17亿，到GPT-3的1750亿，现在GPT-4是1.76万亿，约为GPT-3的10倍。
这个项目对OpenAI的未来发展至关重要。今年10月，投资者给了OpenAI高达1570亿美元（约合人民币1.15万亿）估值，很大程度上是基于OpenAI CEO山姆·奥特曼（Sam Altman）的预测。在今年斯坦福大学的一次演讲中，奥特曼曾断言GPT-5将比当前模型都要更加智能。
在这一预测背后，项目开发实际上一波三折。早在2023年，OpenAI就启动了一个名为“厄拉克斯”（Arrakis）的测试项目，原本期待能够为“猎户座”项目的设计奠定基础，但因运行效率不及预期，OpenAI叫停了该项目。作为OpenAI的主要投资者，微软的部分高管对“厄拉克斯”的缺陷和失败感到失望。
为了在“猎户座”项目中获得更智能的模型，研究人员进行了技术调整，但又发现互联网上的公开数据已经不足以支撑更强大的模型。为解决数据短缺问题，OpenAI开始雇用软件工程师、数学家和物理学家等专业人员创造新的训练数据。这些专家不仅要解决复杂的编程和数学问题，还要提供详细解题思路以帮助模型学习，整个过程非常缓慢。
尽管已经投入海量成本，寻求更多元数据的方法是否有效仍是个未知数。从去年开始的高层“宫斗”也持续影响研发进展，超过20名高管和研究人员陆续离开了OpenAI，其中包括在行业内备受尊敬的科学家。分析认为，这可能不仅仅是OpenAI的问题，或许还预示着过去“以量取胜”的发展策略在AI行业面临考验。
与此同时，GPT-4已经发布一年，竞争对手也在迎头赶上，AI行业竞争进入白热化阶段。今年年初开始，Anthropic公司推出的大语言模型被业内普遍认为优于GPT-4。几个月后，谷歌推出了今年最受欢迎的AI应用NotebookLM。
在“猎户座”项目陷入停滞期间，OpenAI转向其他项目和应用的开发，包括GPT-4的精简版本和能够生成AI视频的Sora项目。
同时，OpenAI还在尝试一个新方向，通过“推理”提升模型的智能水平。公司开发了一个名为“o1”的推理模型，能够为每个问题生成多个答案并分析最佳选项。OpenAI高级研究科学家诺姆·布朗（Noam Brown）在最近的TED演讲中表示，让AI在扑克游戏中思考20秒，所获得的性能提升，就相当于将模型规模扩大10万倍和训练时间延长10万倍。
不过，这种方法也受到质疑。苹果公司的研究人员最近发表论文指出，包括“o1”在内的推理模型很可能只是在模仿训练数据，而不是真正解决新问题，当问题中加入无关细节时，模型性能会“灾难性下降”。上周，奥特曼宣布了开发新推理模型的计划，但未透露何时会推出GPT-5模型。
还没有评论，来说两句吧...