OpenAI最近发布的一篇论文《Whylanguagemodelshallucinate》探讨了语言模型出现幻觉的根本原因，指出当前的训练和评估机制实际上是在激励模型进行猜测，而不是在面对不确定性时坦然承认。论文指出，语言模型之所以会“幻觉”——即在缺乏确切知识的情况下编造看似合理但实则错误的信息——正是由于现有的训练流程和评估标准更偏爱给出确定性答案的行为，哪怕这些答案是错的，也不鼓励模型回答“我不知道”。这类似于一个学生在考试中遇到不会的题目时选择瞎猜，只为提高得分。大型语言模型在面对模糊...
OpenAI 最近发布的一篇论文 《Why language models hallucinate》 探讨了语言模型出现幻觉的根本原因，指出当前的训练和评估机制实际上是在激励模型进行猜测，而不是在面对不确定性时坦然承认。
论文指出，语言模型之所以会“幻觉”——即在缺乏确切知识的情况下编造看似合理但实则错误的信息——正是由于现有的训练流程和评估标准更偏爱给出确定性答案的行为，哪怕这些答案是错的，也不鼓励模型回答“我不知道”。
这类似于一个学生在考试中遇到不会的题目时选择瞎猜，只为提高得分。大型语言模型在面对模糊或复杂问题时也会采取类似策略：与其表达不确定，不如生成一个看似合理的回答
，从而在训练目标和评测指标中获得更高分数。
这种行为模式导致幻觉问题在当前最先进的模型中依然普遍存在，并严重削弱用户对模型输出的信任。
研究人员认为，语言模型的幻觉并不需要被视作某种神秘或不可控的现象，其根源在于基本的二元分类错误。当模型无法准确区分正确与错误陈述时，在预训练过程中就会受到统计上的偏差驱动，自然倾向于生成看似符合语言模式但实际上不真实的内容。
更关键的是，幻觉之所以长期存在，是因为主流的评估方式本身就存在问题：评分系统通常以答案是否“看起来正确”或是否匹配预期输出为标准，从而间接奖励了猜测行为。在这种机制下，模型被训练成了擅长应试的“考生”，而诚实表达无知反而会被扣分。
作者强调，要缓解这一问题，不能仅依赖技术手段增加幻觉检测模块，而必须进行社会技术性的改革——重新设计主导排行榜的基准测试评分规则，让承认不确定性不再被惩罚。
唯有如此，才能从根本上扭转模型的行为倾向，推动人工智能系统朝着更加诚实、可靠和值得信赖的方向发展。
相关推荐：
蒙文章在线制作：轻松创建高质量文章，释放你的写作潜能,ai怎么设置默认颜色
可以长期去做的五种网络赚钱方法，赶快行动起来！
怎样利用AI写文章，轻松提升写作效率
AI对不起，这个Adobe应用程序不是可用,ai520880999
SEO自动化：让搜索引擎优化更智能、高效的未来,边伯贤ai写作
SEO大量优化：如何通过精准策略提升网站流量，突破搜索引擎排名瓶颈,吕梁本地网站推广平台
ChatGPT不能打开EL？揭秘这一困扰背后的真相与解决方案,ai聊天角色扮演软件
SEO优化是什么意思？全面解析SEO优化的核心概念与技巧
实用AI工具：提升效率、优化生活的科技利器
为什么企业要建多国语言网站？
SEO包月服务：助力企业提升网站排名与流量的长期利器,网站建设流程 报读文库
AI写作免费一键生成熊猫为创作注入无限可能
AI免费生成文字，打造创作新时代
求一个AI软件，彻底改变你的工作与生活！
SEO关键词优化公司哪家好？选择靠谱SEO公司助你企业腾飞,喜马拉雅ai写作课2980
AI批量文章工具，让写作变得高效与轻松,ai草地颜色
文档优化AI：提升效率、精细化管理文档的智能助手,ai uehara下载
关键词生成器在线轻松提升SEO排名，精准锁定目标用户！,ai照片动起来安卓
SEOChinaz：让您的网站在搜索引擎中脱颖而出
AI写作稿子：如何用人工智能助力创作，提升写作效率与质量
SEO全套秘籍：提升网站流量与排名的终极指南,荣昌手机网站建设
SEO定价策略：如何根据企业需求定制最佳价格方案,教育培训抖音营销推广
提升网站SEO效果，使用Sitemap死链检测工具避免搜索引擎惩罚,文章续写ai
SEO努力：提升网站排名的关键策略,网站建设微企动力
2024最新SEO蜘蛛弛：助力网站排名稳定提升的秘密武器
AI写文章很容易重复吗？揭开智能写作的真相！
AI写作在线生成，开启创作新纪元
SEO差价如何用SEO优化帮助企业实现成本与效益的完美平衡,盐城seo收费贵吗
SEO优化推广业务-助力企业腾飞，掌控搜索引擎流量的秘密
AI人物生成：重新定义虚拟形象创作的未来
