OpenAI 和其他领先的人工智能公司正在开发新的训练技术,以克服现有方法的局限性。为了解决在开发更大、更强大的语言模型过程中出现的意想不到的延迟和复杂问题,这些新技术将重点放在类似人类的行为上,以教会算法 “思考”。
据报道,这些新的训练技术由十几位人工智能研究人员、科学家和投资者领导,是OpenAI最近推出的 “o1 ”模型(前身为Q*和草莓)的基础,有可能改变人工智能发展的格局。所报道的进展可能会影响人工智能公司持续需要的资源类型或数量,包括帮助开发人工智能模型的专用硬件和能源。
o1 模型旨在以模仿人类推理和思考的方式处理问题,将众多任务分解为多个步骤。该模型还利用人工智能行业专家提供的专业数据和反馈来提高其性能。
自2022年OpenAI推出ChatGPT以来,人工智能创新激增,许多科技公司声称现有的人工智能模型需要扩展,无论是通过更多的数据还是改进计算资源。只有这样,人工智能模型才能持续改进。
现在,人工智能专家已经报告了人工智能模型扩展的局限性。2010年代是扩展的革命性时期,但人工智能实验室Safe Superintelligence(SSI)和OpenAI的联合创始人伊利亚-苏茨基弗(Ilya Sutskever)表示,人工智能模型的训练,尤其是在理解语言结构和模式方面,已经趋于平缓。
“2010 年代是扩展的时代,现在我们再次回到了奇迹和发现的时代。现在,扩展正确的事情更加重要,"他们说。
近来,人工智能实验室的研究人员在开发和发布比 OpenAI 的 GPT-4 模型更强大的大型语言模型 (LLM) 方面遇到了延误和挑战。
首先是训练大型模型的成本,通常高达数千万美元。此外,由于系统复杂性导致硬件故障等复杂情况的出现,对这些模型运行情况的最终分析可能需要数月时间。
除了这些挑战之外,训练运行还需要大量能源,经常会造成电力短缺,从而扰乱流程并影响更广泛的电网。另一个问题是大型语言模型使用的数据量巨大,据说人工智能模型已经耗尽了全球所有可访问的数据。
研究人员正在探索一种被称为 “测试时间计算 ”的技术,以便在训练或推理阶段改进当前的人工智能模型。这种方法可以实时生成多个答案,以确定一系列最佳解决方案。因此,模型可以将更多的处理资源分配给需要类似人类决策和推理的困难任务。这样做的目的是让模型更准确、能力更强。
帮助开发 o1 模型的 OpenAI 研究员诺姆-布朗(Noam Brown)分享了一个新方法如何取得惊人成果的例子。在上个月于旧金山举行的 TED 人工智能大会上,布朗解释说:"让机器人在一手扑克牌中思考 20 秒钟,与将模型扩大 10 万倍、训练时间延长 10 万倍的提升效果是一样的。
这并不是简单地增加模型规模和训练时间,而是可以改变人工智能模型处理信息的方式,并带来更强大、更高效的系统。
据悉,其他人工智能实验室也在开发o1技术的版本。其中包括 xAI、谷歌 DeepMind 和 Anthropic。人工智能领域的竞争已不是什么新鲜事,但我们可能会看到新技术对人工智能硬件市场产生重大影响。像英伟达(Nvidia)这样的公司目前因其产品需求量大而主导着人工智能芯片的供应,它们可能会受到人工智能训练技术更新的特别影响。
Nvidia 在今年 10 月成为全球最有价值的公司,其财富的增长在很大程度上归功于其芯片在人工智能阵列中的应用。新技术可能会影响 Nvidia 的市场地位,迫使该公司调整其产品,以满足不断变化的人工智能硬件需求。这有可能为推理市场的新竞争者开辟更多的道路。
在不断发展的硬件需求和更高效的训练方法(如在 o1 模型中部署的方法)的推动下,人工智能发展的新时代可能即将到来。人工智能模型及其背后公司的未来都可能被重塑,从而带来前所未有的可能性和更激烈的竞争。
下一条: 人工智能.AI域名2个月注册量激增4万