OpenAI近期推出的 o3 和 o4-mini AI 模型在很多方面都达到了领先水平。然而，这些新模型仍然会产生幻觉，或者说，会虚构事物——事实上，它们比 OpenAI 的几个老模型更容易产生幻觉。

幻觉已被证明是人工智能领域最难解决的问题之一，甚至会影响到当今性能最佳的系统。从历史上看，每个新模型在幻觉方面都会略有改进，幻觉程度比前代有所降低。但 o3 和 o4-mini 似乎并非如此。

根据 OpenAI 的内部测试，所谓的推理模型 o3 和 o4-mini 比该公司之前的推理模型 o1、o1-mini 和 o3-mini 以及 OpenAI 传统的“非推理”模型（如 GPT-4o）产生幻觉的频率更高。

也许更令人担忧的是，ChatGPT 制造商并不真正知道为什么会发生这种情况。

OpenAI 在其针对o3 和 o4-mini 的技术报告中写道，“需要更多研究”来理解为什么随着推理模型的扩展，幻觉会变得越来越严重。O3 和 o4-mini 在某些领域表现更佳，包括与编码和数学相关的任务。但由于它们“总体上提出了更多主张”，因此报告指出，它们常常会做出“更准确的主张以及更多不准确/幻觉的主张”。

OpenAI 发现，o3 在 PersonQA（该公司用于衡量模型对人类认知准确度的内部基准）上回答 33% 的问题时产生了幻觉。这大约是 OpenAI 之前的推理模型 o1 和 o3-mini 的幻觉率的两倍，后两者的得分分别为 16% 和 14.8%。o4-mini 在 PersonQA 上的表现更差——48% 的时间都出现了幻觉。

非营利性人工智能研究实验室Transluce进行的第三方测试也发现，o3倾向于在得出答案的过程中编造行动。在一个例子中，Transluce观察到o3声称它在2021款MacBook Pro上“在ChatGPT之外”运行了代码，然后将数字复制到答案中。虽然o3可以使用一些工具，但它无法做到这一点。

Transluce 研究员、前 OpenAI 员工 Neil Chowdhury 表示：“我们的假设是，用于 o 系列模型的强化学习可能会放大那些通常可以通过标准后训练流程缓解（但不能完全消除）的问题。”

Transluce 联合创始人 Sarah Schwettmann 补充说，o3 的幻觉率可能会使其实用性降低。

斯坦福大学兼职教授、技能提升初创公司 Workera 首席执行官 Kian Katanforoosh 告诉 TechCrunch，他的团队已经在编码工作流程中测试 o3，并且发现它比竞争对手更胜一筹。然而，Katanforoosh 表示，o3 往往会产生网站链接失效的幻觉。该模型会提供一个点击后无法正常工作的链接。

幻觉或许能帮助模型产生有趣的想法，并在“思考”中发挥创造力，但也会让一些模型在准确性至上的市场中难以被企业接受。例如，律师事务所可能不会喜欢在客户合同中插入大量事实错误的模型。

提升模型准确率的一个有效方法是赋予模型网络搜索功能。OpenAI 的 GPT-4o 具备网络搜索功能，在 SimpleQA（OpenAI 的另一个准确率基准）上达到了 90% 的准确率 。搜索功能也可能提高推理模型的幻觉率——至少在用户愿意将提示暴露给第三方搜索提供商的情况下是如此。

如果扩大推理模型确实会继续加剧幻觉，那么寻找解决方案就变得更加紧迫。

OpenAI 发言人 Niko Felix 表示：“解决我们所有模型中的幻觉问题是一个持续的研究领域，我们正在不断努力提高它们的准确性和可靠性。”

去年，在改进传统人工智能模型的技术开始呈现收益递减趋势后，更广泛的人工智能行业已将重点转向推理模型。推理可以提高模型在各种任务上的性能，而无需在训练过程中进行大量的计算和数据。然而，推理似乎也可能导致更多的幻觉——这带来了挑战。