AI幻觉已成为当前生成式AI发展中不可回避的技术瓶颈，其影响已从单纯的信息准确性问题，延伸至商业信任、社会责任与法律规制等多个层面。应对这一挑战，既需要持续的AI技术优化与模型改进，也离不开健全的法律框架与用户素养的提升。系统厘清AI幻觉成因、评估其风险并构建有效的治理体系，具有现实紧迫性与社会价值。
AI幻觉的成因与类型
AI幻觉指大型语言模型或聊天机器人自信地生成看似流畅、连贯的文本，但其内容与客观事实不符、缺乏数据支撑或完全是捏造的。
生成式AI产生幻觉的根本原因在于其设计目标本质上是生成“统计合理”的文本，而非追求事实真实。生成式AI的训练基于海量但未经筛选的互联网数据，其中既包含真实准确的信息，也混杂了大量错误事实、过时内容和固有社会偏见。由于模型缺乏辨别真伪的内在认知能力，其目标仅是模仿数据的统计模式，这导致模型在生成过程中不加甄别地复现甚至放大这些数据中固有的缺陷或错误。
AI生成机制的本质是基于概率的序列预测系统，其运作类似于高级的“自动补全”工具。其核心任务是根据已观察到的词元模式预测最可能的下一个词元，而非最准确的内容。这种设计目标决定了模型会优先输出语言合理、上下文连贯的文本，却无法验证内容的真实性，因此模型的输出准确性具有偶然性，常常产生看似合乎逻辑，实则包含虚构或错误的信息。
生成式AI底层Transformer架构的局限性也加剧了这一问题。大语言模型底层运作是纯粹的数学概率计算与符号操作，本质上缺乏元认知能力，无法真正理解语言符号背后的现实意义或因果逻辑。因此，即使训练数据品质很高，模型也可能通过概率拼接机制，将真实元素组合成逻辑错误但看似合理的叙述。这种根本性的“知识盲区”，导致其输出经常表现出“一本正经地胡说八道”的特征。
当模型在特定数据集上训练过度时，会陷入“过拟合”状态。这意味着模型参数过度记忆了训练样本中的噪声（如罕见的错误事实或不具备普适性的细节），从而导致模型在面对新样本或需要泛化推理时，因过度依赖记忆细节而缺乏对核心逻辑的理解，最终出现系统性偏差与错误的预测。
由于大型模型训练需要消耗巨大的计算资源，AI模型的训练数据往往存在固定的“知识截止日期”。对于截止日期之后发生的事件或新知识，模型为了保持语言的连贯性，会基于现有知识结构进行臆测或编造，从而生成虚假或误导性信息。
AI幻觉有多种具象表现，并潜藏不同程度的风险：
捏造事实。这是最直接的AI幻觉形式，模型在知识不足时，常会凭空臆造或混淆现实元素。例如，错误地将历史人物的生卒年份或企业财报中的关键数据进行颠倒或替换。
逻辑混乱。此类幻觉发生在模型内部的推理链条上。生成内容表面上保持语言的流畅性，但逻辑上前后矛盾，表现为推理过程不符合前提条件，导致得出与论证前提完全不符的结论；或在长篇输出或多轮对话中，模型遗忘早前给定的设定，在后续输出中自我矛盾，推翻先前建立的论点。
在专业领域，最危险的类型是引用虚假权威。模型利用其对引用格式（如引文、法条号）的精确模仿能力，虚构出看似真实但实际不存在的文献、判例、法条或数据。这种幻觉具有高度迷惑性，往往只有人工在权威数据库进行对比检索、交叉验证才能被发现。
情境与输出偏差。此类幻觉表现为模型未能理解用户意图或情境的内在约束，导致输出内容有偏差。例如，当用户要求撰写一份高度敏感的劳动人事文件（如解雇通知）时，模型却套用了训练数据中休闲社交或市场营销的轻浮语域。
AI幻觉的风险
AI幻觉对消费者信任构成冲击。消费者对AI技术通常抱有远低于“人为错误”的容错率，并期望其具备一定的准确性。但实际上，AI幻觉产生的错误远比“人为错误”更武断、更缺乏同理心，且难以溯源或追责。这不仅直接削弱了消费者在人机交互中的控制感和安全感，还会侵蚀消费者对AI系统可靠性的信任。
AI幻觉可能直接造成消费者的人身与财产损失及安全风险。在金融服务领域，错误的利率信息或投资建议可能导致用户经济损失。在医疗健康场景中，基于AI幻觉生成的诊断或治疗方案可能误导患者，延误治疗。更甚者，AI幻觉直接影响公共服务的准确性与公民的合法权益。例如，在美国纽约，一个市政聊天机器人曾给出错误甚至非法的信息。如果用户遵循了此类指导，可能会面临处罚。
AI幻觉还会重创企业声誉并导致重大财务损失。由AI生成的诽谤性信息或虚构事实，会对企业构成致命威胁。当AI提供错误信息时，用户通常将责任归咎于企业本身，而非单纯的技术缺陷。著名例子是谷歌的Bard（现为Gemini）聊天机器人在宣传演示中凭空捏造了关于詹姆斯·韦伯太空望远镜拍摄第一张系外行星照片的“事实”。这一失误直接导致谷歌母公司Alphabet市值损失了约1000亿美元，股价暴跌超过8%。
从社会层面看，AI幻觉会助长虚假内容的规模化传播，扰乱公共信息秩序，对社会治理构成系统性挑战。AI幻觉在司法领域引发了严重的后果。据美国法律专家达米安·沙洛丹搜集整理的“AI幻觉案例数据库”，AI生成的法律幻觉内容的司法裁决，包括捏造的引用、虚假的引文和歪曲的判例，全球近200起，仅在美国就有125起。另据统计，AI聊天机器人产生的内容中，有17%~45%被归类为所谓的“幻觉”，而且这一比率仍在持续增长。
AI幻觉事件可能构成违法行为。2022年2月美国Mata诉Avianca, Inc.一案中，律师史蒂文·施瓦茨使用ChatGPT撰写法律简报时，AI系统凭空编造并引用了六个看似真实但实际不存在的法律判例。为此，施瓦茨及其律所因违反联邦民事诉讼规则被处以5000美元的罚款。研究还显示，一些AI聊天机器人生成虚假新闻事件的几率高达30%。幻觉相关技术可能被不法分子利用，例如通过深度伪造技术（如换脸、声音克隆）实施网络诈骗或身份盗用，这不仅直接危害公众财产安全，更将扰乱社会秩序，对社会治理构成系统性挑战。
AI幻觉风险的化解路径
AI幻觉风险的化解是一个系统工程，需要模型开发者、监管机构和终端用户共同努力。
在技术层面，可以通过多项深度措施进行改进：首先严格控制数据品质，确保训练数据集多样化、均衡、结构良好，并加以精确标注，从源头消除数据偏差和低品质信息。其次，AI开发者内置了两大安全保障：一是模型的安全界限被严格设定，即通过技术手段限制模型过度的预测和随意性，确保其输出在预定的可靠范围内；二是广泛启用“模型参考资料”功能，如检索增强生成（RAG）技术，让AI模型在回答问题时不再仅仅依靠内部记忆，而是引入了外部可信的参考资料，提升答案的准确性。
用户也必须以审慎的态度主动干预和验证，最大程度减轻AI幻觉风险。首先，用户始终要以人类的判断力和批判性眼光来对待AI输出，认识到模型是基于概率的运算，缺乏推理和反思的内在能力。其次，要采取多样化手段对AI生成的内容进行交叉验证，在与AI模型交互时，必须指令清晰、结构明确，避免模糊输入。例如，要求AI模型像老师批改作业一样，一步步列出推理过程，这种思维链式的提示能迫使模型暴露其逻辑漏洞和虚构信息。最后，应根据任务类型调整模型的创作自由度：在事实查询、总结或代码编写等追求精准性的任务中，应选择更低的自由度或保守值模式，确保AI输出更聚焦、更稳定、更接近事实。例如，如果用户询问“地球直径是多少”，当模型设置为“更低的自由度”（精准模式）时，如果它不确定确切数值，其输出便会倾向于保持沉默或承认“不确定”，而非编造答案；而在头脑风暴、故事创作或开放性探索等追求创新性的任务中，则可适当提高自由度。
中国已出台一系列法律法规规范生成式AI服务，防范AI幻觉。《生成式AI服务管理暂行办法》要求服务提供者依法履行算法备案与安全评估制度，特别是针对具有舆论属性或社会动员能力的服务，以确保过程透明和安全可控。治理措施上以《互联网信息服务深度合成管理规定》和《AI生成合成内容标识办法》为核心，要求AI服务提供者对深度合成内容添加隐式和显式内容标识，实现可追溯性。在此基础上，中央网信办部署了2025年“清朗整治AI技术滥用”专项行动，重点整治了未落实内容标识要求、制作发布不实信息或AI谣言、利用AI制作发布色情低俗内容等突出违法违规行为，推进监管落地。
在法律责任追究上，利用AI幻觉散布谣言等不法行为可依据《中华人民共和国治安管理处罚法》第二十五条等规定进行处罚。服务提供者若未明确提示AI幻觉风险，或未建立有效的安全审查机制，则可能因未尽到合理注意义务而被认定存在过错，从而承担相应侵权责任。
国际司法实践也呈现出强化AI服务提供者责任的趋势。今年9月，德国汉堡地区法院在审理非政府组织Campact诉xAI/Grok一案中，认定Grok聊天机器人散布关于原告的虚假信息，并对其颁布临时禁令。这一判决明确了服务提供者的主体侵权责任，强调AI服务提供者不仅要对系统输出的内容负责，更需履行对虚假或有害信息的审查义务。这一判决，为判定服务提供者在AI幻觉治理中的法律责任提供了重要的国际镜鉴。
AI模型开发者则需对训练数据的品质与模型的安全性负责。若因训练数据存在严重偏见、错误，或模型本身存在设计缺陷而导致幻觉并造成损害，则可追溯至模型的开发环节，开发者可能要承担部分法律责任。
用户也负有合理使用与审慎核实的义务。若用户明知AI存在幻觉风险，却未对关键信息进行必要核实，并导致损害发生，也可能要承担相应责任。
需要强调的是，AI服务提供者在用户协议中设置的免责条款并非当然有效。若AI服务提供者不合理地免除自身核心义务或排除用户基本权利，且未履行充分的提示义务和审查义务，该条款可能被认定为无效。
综上，AI幻觉引发损害的责任归属，核心在于对各方主体是否履行了与其角色相匹配的注意义务，并依据过错责任原则，结合案情确定最终的责任分配。
（作者系华中科技大学二级教授、知识产权与竞争法中心主任）
举报 文章作者
郑友德
相关阅读
华为周跃峰：中国存储产业内外承压，但依然有望全球争先华为认为，数据存储有希望成为中国在全球科技领域的第二张名片。
7 445 12-03 14:06
星汉大模型落地提速，大华股份以场景化大模型重构增长逻辑 104 11-27 14:34 
“翻译界哈佛”倒闭：有学生哭了两晚，AI冲击下译员何去何从？当“翻译界哈佛”都扛不住行业变革的冲击，翻译从业者早已站在了分岔路口。
726 11-11 08:08
AI对抗AI！中国平安旗下PAObank携手金融壹账通入选香港金管局GenA.I.沙盒 42 10-15 17:35 
金融业进入AI first时代，场景认知将成重要方向生成式模型未来的落地，不仅仅是数字内容，还将深入物理世界。
166 09-05 19:45 一财最热 点击关闭配资公司100强提示：文章来自网络，不代表本站观点。
- 上一篇：免费配资——温庭筠《忆江南》他并不是没有遇到过贵人
- 下一篇：没有了
