自由 开放 发现 分享 专业 助力
注册
当前位置:首页 » AI 认知

它说「根据研究显示」,十条引用能对上不到两条

AI 认知 · 引用这件事

格式越完整,越可能是编的

深色桌面上摊着一张打印出来的参考文献清单,纸张边缘被一盏冷白台灯照亮,清单上有几行被铅笔圈出,旁边放着一支笔和一张写满编号的便签,画面偏冷色调,没有人物,也没有可辨认的文字

它给你一份参考文献。

作者、年份、期刊、卷号、页码,一样不缺。

格式规整到你挑不出毛病,连标点都符合规范。

你随手查了第一条,没有。第二条,也没有。

不是它记错了。是它根本没去查。

你让 AI 帮一篇稿子配几条参考文献,它给了八条,每条都带着作者、年份和期刊名。

这八条里,大概有几条是真的?

点一下你的选择,看答案

B。有一项针对系统综述场景的测试,让几个模型按同样的纳入标准去找文献,最后比对的四百多条参考文献里,GPT-4 的精确率是百分之十三点四。换算过来,它列的十条里,能对上原始文献的不到两条。

自测 —— 你上一次让 AI 给引用,查过其中几条?

这个数字不是某一家的毛病。

国内信通院做过一轮测试,把 DeepSeek、Kimi、通义千问、文心一言、智谱清言、豆包等十个国内模型,加上 Perplexity、Gemini、ChatGPT 等五个国外模型放在一起看。

结果是:约八成模型的引用幻觉率超过百分之十,两成模型超过百分之二十五。

也就是说,这不是「偶尔编一个」,是「经常编」。

最差的那些,编造率能到九成以上。

它不是查错了,是没查

很多人以为,AI 是在一个巨大的资料库里检索,偶尔索引出错。

不是这样。

信通院的人解释得很直白:大模型本质是个概率系统。它不知道答案,只计算哪个字接在哪个字后面概率更高,然后把概率最高的那串吐出来。

你问它要参考文献,它做的不是去数据库里找,而是生成一段「看起来像参考文献」的文字。

它见过太多论文的参考文献页,知道那个样子:作者姓在前,年份放括号,期刊名斜体,卷号期号页码依次排开。

于是它就照着这个样子生成一段。

格式是真的,内容可以是假的。这两件事在它那里从来就是分开的。

所以你会发现一个规律:越是格式完整、细节丰满的引用,越需要警惕。

细节是它最擅长编的部分。

这个坑已经埋进学术记录里了

《柳叶刀》上有一篇通讯,研究者核查了美国公共医学中央数据库里近两百五十万篇开放获取论文,一共一亿两千多万条参考文献。

其中二千八百一十篇论文里,有四千零四十六条参考文献完全是编的,在任何一个大型数据库里都查不到。

更值得注意的是趋势。

二〇二三年,大约每二千八百二十八篇论文里有一篇含假引用。

到二〇二五年,变成每四百五十八篇一篇。

到二〇二六年头七个星期,变成每二百七十七篇一篇。

三年,密度翻了十倍。

最极端的一篇,全文三十条参考文献里,十八条是假的,占六成。

这些论文的作者未必想造假。他们只是把 AI 给的引用,直接贴了进去。

同事发给你一段话,说「这是某某研究证实的」,后面跟着作者、年份、期刊,很完整。

你第一步该做什么?

点一下你的选择,看答案

B。先查存在,再谈内容。一篇查不到的文章,作者再权威也没意义。顺序反了,后面全是白费。

自测 —— 你上一次引用别人的研究,确认过原文存在吗?

三步,一条一条过

第一步,看它有没有给你能查的东西。

能查的东西只有三样:DOI、完整标题、第一作者加年份。

三样都没有,只写「根据研究显示」「有学者指出」,这条直接划掉。它不是引用,是语气。

第二步,有 DOI 就去 doi.org 查。

把那一串十点开头的编号粘进去,十秒钟出结果。

查得到,说明这篇文章真实存在。查不到,后面不用看了。

要注意:DOI 本身也可能是编的。格式完全正确,号就是不存在。所以这一步不能省。

第三步,没有 DOI,就用标题去搜。

把标题整句复制,加引号,扔进谷歌学术或者 Crossref。

搜得到,再核对作者和年份对不对得上。

搜不到,或者只搜到标题相似但作者不同的另一篇,那基本可以判定是编的。

这三步加起来,一条引用大约半分钟。八条,四分钟。

四分钟能挡掉的,可能是后面几个月的麻烦。

哪些情况可以松一口气

不是所有场景都要这么紧张。

有三种情况,风险低得多。

第一种,常识性内容。它说「睡眠不足影响判断力」,这种不需要引用,也不需要查。

第二种,你先把原文贴给它,让它总结。这时候引用是你给的,它只负责压缩,编造空间很小。

第三种,用带检索功能的工具。这类工具会先去搜,再把搜到的结果给你,幻觉率明显低一截。但注意,是「低一截」,不是「没有」。

反过来说,风险最高的是这三种:让它凭空列文献、让它补全你只记得一半的引用、让它给某个观点找支持证据。

这三种问法,等于直接请它编。

一句话记住

它给的不是文献,是文献的样子。

样子可以做得很好,内容得你自己去核。

问三句就够:这条有 DOI 吗。这个 DOI 查得到吗。查到了,作者和年份对得上吗。

来源

  • 中国信息通信研究院大模型幻觉测试(2025 年第四季度版):覆盖 DeepSeek、Kimi、通义千问、文心一言、智谱清言、豆包等十个国内模型与 Perplexity AI、Gemini、ChatGPT 等五个国外模型,结论为约百分之八十的模型引用幻觉率高于百分之十,百分之二十的模型高于百分之二十五
  • JMIR 刊载的系统综述场景对照研究(2024 年):测试四百七十一条参考文献,GPT-3.5 幻觉率百分之三十九点六、GPT-4 百分之二十八点六、Bard 百分之九十一点四;精确率分别为百分之九点四、十三点四、零
  • 《柳叶刀》通讯刊载的大规模核查(哥伦比亚大学与东芬兰大学团队):覆盖二千四百余万篇开放获取论文、一亿二千余万条参考文献,检出四千零四十六条完全捏造的引用,并给出二〇二三至二〇二六年的密度变化
  • Nature 刊载的 OpenScholar 研究(华盛顿大学与艾伦人工智能研究所,2026 年 2 月):GPT-4o 在计算机领域引用虚构率百分之七十八点七,生物医学领域百分之九十四点八
  • 站内另有专文讲怎么让 AI 做文献综述而不编引用,见下方「同一条线上」

同一条线上

本页为认知网「AI 认知」栏目的专题文章,属于知识讨论范畴。
文中数据均引自公开发布的研究与测评,具体数值以原始报告为准。

相关推荐

暂无数据

回顶部

Copyright © 2021-2026 陕ICP备2021016533号-1法律条款