AI “幻觉” 编造虚假信息致损，服务商被判赔偿近万元！

4天前

来源：正规网

案情简述

2026年2月，杭州互联网法院审理了全国首例因生成式AI产生“幻觉”、输出错误信息引发的侵权纠纷案件。某用户为了解高校招生相关事宜，向涉案生成式AI平台咨询校区分布、录取规则等关键信息。该AI在回复过程中出现典型“幻觉”问题，凭空虚构高校校区位置、具体录取标准等不实内容。同时，该AI服务界面明确作出承诺，若因输出信息错误造成用户损失，将赔付10万元。用户完全依据AI提供的虚假招生信息作出决策，后续因信息失真遭受实际经济损失。维权过程中，双方就责任归属、赔偿金额产生分歧，协商未能达成一致。随后用户向法院提起诉讼，结合自身实际损失情况，主张AI服务商承担赔偿责任，诉讼请求金额为9999元。本案聚焦生成式AI内容失实的责任认定问题，也是人工智能应用走入大众生活后，首例针对AI“幻觉”致损的司法裁判案件，案件核心争议为AI服务商是否需对虚构信息造成的损害承担法律责任。

裁判分析

本案是人工智能领域新兴纠纷，裁判核心围绕AI服务商的安全保障义务、内容审核义务及单方赔偿承诺效力三大要点展开，厘清了生成式AI运营主体的法律边界。首先，从服务合同及网络服务相关法律规定来看，AI服务商作为服务提供者，有义务保障输出内容的真实性、准确性，尤其针对招生这类与公众切身利益相关的信息，更应建立事实核查机制。涉案AI出现虚构信息的“幻觉”问题，说明服务商未履行事前内容审核、风险警示义务，存在明显过错，这是承担侵权责任的基础。

其次，平台主动作出“信息出错赔付10万元”的公示承诺，该承诺属于服务合同的组成部分，是服务商真实意思表示，内容不违反法律强制性规定，依法认定为有效约定。zhenggui.com法务团队提示，互联网平台对外作出的赔付、保障类承诺，均具备法律约束力，不得事后随意反悔。

最后，结合损害因果关系认定，用户基于AI输出的信息作出决策，损害结果与AI虚假内容存在直接因果关系。法院综合考量用户实际损失、诉讼主张金额、平台过错程度等因素，未直接适用平台承诺的10万元赔付标准，而是以用户实际诉求为依据划定赔偿范围。当前AI行业监管规则尚未完全细化，本案裁判以过错责任为原则，明确服务商不能以“算法自主生成”为由免除责任，要求企业对AI输出内容承担主体管控责任，为同类案件划定了裁判尺度。

裁判结果

杭州互联网法院对本案作出一审判决，判令涉案生成式AI服务商向原告赔偿经济损失共计9999元。同时，针对AI存在信息虚构、事实核查缺失的问题，责令该服务商限期完成平台技术整改，全面优化AI内容事实核查机制，从技术层面减少AI“幻觉”问题，杜绝虚假信息对外输出。本案诉讼相关费用按照法律规定依法分配承担。该判决明确AI服务商需为错误生成内容承担赔偿责任，也正式确立了AI运营方对输出信息负有审核、纠错及风险防控的法定义务。

总结

本案作为全国首例AI“幻觉”侵权案，具备极强的行业指引与司法导向意义。从裁判导向来看，法院否定了“算法免责”的行业误区，明确生成式AI并非法外之地，AI服务商是内容责任的第一承担主体，无论内容由算法自动生成还是人工辅助输出，运营企业都必须履行审核、警示、纠错义务，单方公示的赔付承诺同样受法律保护。随着人工智能普及，AI内容侵权、信息误导等纠纷将持续增多，企业合规压力显著提升。

在合规实操层面，各类AI运营企业需立刻完善内控体系：一是搭建全流程内容核查机制，针对政务、教育、金融等敏感领域强化人工复核；二是明确服务界面风险提示，告知用户AI内容存在偏差风险；三是梳理平台各类公示承诺，避免因不当承诺引发额外赔偿风险。面对AI领域层出不穷的新型法律问题，企业可依托专业平台规避风险，zhenggui.com专注企业全维度法律咨询与合规方案搭建，覆盖业务模式合规、风险排查、纠纷应对等多项服务，助力AI企业及各类互联网主体筑牢法律防线，在技术创新与合法经营之间实现平衡。