【史志论坛】人工智能幻觉在地方志编纂领域的风险表现及治理对策||余 璐
人工智能幻觉在地方志编纂领域的风险表现及治理对策
余 璐
摘要：人工智能技术赋能修志工作已成为当下业内热点，然而人工智能幻觉作为难以克服的技术痼疾，在地方志编纂领域引发的风险问题尚未引起足够的关注和重视。文章基于实践经验、同行交流和相关文献分析，梳理人工智能幻觉在地方志编纂领域的具体表现，分析相关成因，并提出优化模型技术逻辑、建设高质量方志数据集、提升编纂人员辨伪能力与提示素养、构建协同治理体系等应对策略，以期将地方志编纂领域的人工智能幻觉风险置于可控范围。
关键词：人工智能幻觉 地方志 风险 治理
近年来，以大语言模型（Large Language Model,LLM）为代表的生成式人工智能（Generative AI）浪潮席卷全球，深刻重塑了知识生产与传播的范式。地方志作为记录地情、传承文脉的重要载体，亦未能置身事外。当前，全国第三轮地方志书编修试点工作已全面启动，中国地方志工作办公室（以下简称“中志办”）明确提出鼓励探索人工智能赋能修志，各地实践如火如荼：广东省实施地方志数字能力提升年方案，探索通用人工智能在地方志行业的应用落地；江苏省重点打造“人工智能+年鉴人机协同编纂系统”和“人工智能+志书人机协同编纂系统”；广西壮族自治区围绕人工智能赋能志书编纂问题开展第三轮修志试点工作研讨会。既往业内研究表明，人工智能技术在地方志的资料搜集、初稿撰写、文本校对及知识图谱构建、知识化检索服务等方面展现出巨大潜力。
然而，在拥抱技术红利的同时，业界对人工智能潜在风险的审视尚显不足，尤其是对其核心缺陷——“人工智能幻觉”（AI Hallucination，又称机器幻觉）的重视程度不够。现有研究虽有提及人工智能技术在地方志工作领域运用的风险，但对人工智能幻觉在地方志编纂领域的具体表现形式、深层成因及具体治理对策，缺乏深入而系统的讨论。地方志的核心价值在于“存真求实”，任何虚假信息的渗入都将动摇其根基，因此，深入剖析人工智能幻觉在地方志编纂领域的风险表现，并探寻有效的治理对策，不仅是保障地方志编纂质量的迫切需求，也是推动地方志事业在数智时代行稳致远的重要保障。
人工智能幻觉的内涵、在地方志编纂领域的表现形式及成因
要有效应对人工智能幻觉给地方志编纂工作带来的挑战，首先须对其概念内涵、在地方志编纂领域的具体表现及产生根源有清晰认识。以下分而述之。
（一）人工智能幻觉的定义、分类
人工智能幻觉（AI Hallucination，又称机器幻觉）是生成式人工智能大语言模型（Large Language Model, LLM）的核心缺陷，指模型生成的内容看似合理连贯，但实际与用户输入指令不一致、与客观事实相悖或无法通过权威渠道验证的现象。
关于人工智能幻觉的分类，学界主要将其划分为忠实性幻觉与事实性幻觉两大类。忠实性幻觉是指大模型生成的内容与用户指令或对话上下文信息不一致，具体表现为违背指令（如，未按要求限制字数或内容范围）以及上下文不一致（如，在多轮对话中出现自相矛盾的回复），反映出模型在指令解析、长期记忆维持及逻辑一致性方面存在不足。事实性幻觉是指大模型生成的内容与既有事实不一致，或生成根本无法进行验证的信息，具体形式包括错误陈述（如，赋予历史事件错误的日期、人口数据或统计数值）和实体虚构（即凭空编造不存在的学术论文、书籍、研究者或历史人物，并将其无缝嵌入看似合理的事实框架中）。
人工智能幻觉并非偶然现象，而是大语言模型应用中的普遍问题，国内外多项研究已证实其具有较高的发生率。2024年，斯坦福大学研究人员对GPT3.5、PaLM、Llama2三款主流模型进行了近20万个法律问题测试，发现其幻觉发生率高达69%至88%；2025年Vectara公司公布的AI幻觉排行榜显示，人工智能的普遍幻觉率在3.3%到23.5%不等；2025年，一项针对DeepSeek、豆包、腾讯元宝、Kimi、文心一言五款国产高活跃度生成式AI的学术文献生成测试显示，所有受测应用均生成了作者、来源或内容错误的“幽灵文献”。
人工智能幻觉还给使用者带来了法律风险：2023年，两位美国律师在司法诉讼中引用由ChatGPT生成的6个虚构判例，被法官发现并处罚；2025年年底，杭州互联网法院审结全国首例因生成式人工智能幻觉引发的侵权纠纷，这无疑给使用人工智能的地方志工作者敲响了警钟。
综上，人工智能幻觉的存在，对于强调“存真求实”核心价值的地方志编纂工作来说，构成了实实在在的挑战。
（二）人工智能幻觉在地方志编纂领域的表现形式
笔者根据在《上海市全面小康志》编纂中使用人工智能进行辅助编纂的实践经验，以及和业内同仁在第十五届中国地方志学术年会上的交流，发现在地方志编纂领域呈现的人工智能幻觉现象中，忠实性幻觉非常罕见，事实性幻觉占据绝大多数，故在此主要讨论编纂实践中遇到的事实性幻觉的几个表现形式：
其一，统计数据错误。如，人工智能生成文稿：“至2020年，全市105个街道、107个镇均建立综合行政执法队。”但据《上海统计年鉴》（2021）记载，2020年上海全市共有107个街道、106个镇，人工智能张冠李戴，误将2018年的数据套用到2020年。又如，人工智能生成文稿：“1980年全市街道财政支出中用于社会福利的经费仅为0.23亿元。”据核查，当时上海全市街道未实行独立财政核算，不存在该口径数据。再如，人工智能生成文稿：“2020年，全市社区事务受理服务中心日均服务群众超30万人次，事项平均办理时限压缩至3.5个工作日。”据笔者广泛咨询相关部门、多方核查相关公开资料，上述数据无法获得验证。另，秦皇岛市第三轮志书编纂试验中发现，免费AI生成的内容中频繁出现“统计口径混淆、经济指标与文旅数据前后冲突”的问题，甚至错误地将港口吞吐量认定为城市GDP。
其二，文件名称、文号错误或臆造。如，人工智能生成文稿：“2014年，中共上海市委、市政府将‘创新社会治理、加强基层建设’列为全市重点课题，出台《关于进一步创新社会治理加强基层建设的意见》（沪委发〔2014〕16号）。”但据权威资料，该文件文号当为“沪发〔2014〕14号”。又如，人工智能生成文稿：“1995年，市人大常委会通过《上海市人民调解条例》（上海市人大常委会公告第28号），成为全国首部地方性人民调解法规⋯⋯2009年，市人大常委会通过《上海市社区矫正条例》（上海市人大常委会公告第22号），自2010年1月1日起施行，成为全国首部地方性社区矫正法规。”然而据核查，上海至今尚未出台《上海市人民调解条例》和《上海市社区矫正条例》这2部地方性法规，文中提及的上海市人大常委会公告文号也属编造。
其三，时间错误。如人工智能生成文稿：“2004年8月，市委、市政府在徐汇、普陀、卢湾三区启动试点。2005年，成立上海市社区矫正办公室。”然而据二轮上海市级志书记载，上海于2002年8月开始在徐汇区斜土路、普陀区曹杨新村和闸北区宝山路3个街道进行社区矫正的试点，2003年9月市社区矫正工作办公室成立。 此外，秦皇岛市的修志同仁在此领域提供了数个相关案例：比较典型的是人工智能将秦皇岛港开埠时间由1898年误写为1899年；误将新闻报道发布的时间作为某次会议的开幕时间；在叙述“耀华玻璃厂”发展史时，出现时间线错乱。杭州的修志同仁也指出，人工智能生成大事记时会篡改事件原有时间。
其四，编造参考文献。如，使用人工智能搜集1978年上海全市街道办事处和居民委员会的数量信息，它输出相关数据后，声称该数据参考了《上海民政志》第12页的记载，笔者核实后发现纯属子虚乌有。又如，之前所述“1980年全市街道财政支出中用于社会福利的经费仅为0.23亿元”，与当时历史情况不合，笔者请人工智能提供参考文献出处，它显示该数据来自“《上海统计年鉴1985》，表8-1”，然而该书并不存在。再如，笔者请人工智能提供其所写文稿中2020年上海全市“平安屋”的数量和社区矫正对象再犯罪率数据的出处，它输出“《新时代非凡十年的上海答卷》，第178页”及“《全面建成小康社会上海全景录》，第213页”。这两种书确实存在，但上述页码中并没有相关数据，而且这两种书全书都没有记载相关数据。杭州的修志同仁也发现人工智能“伪引化”问题：引用伪造文献，生成格式规范但实际不存在的参考文献、古籍片段，甚至伪造作者、页码、DOI号。
以上案例，仅是人工智能参与地方志编纂工作中出现幻觉问题的冰山一角。从笔者及身边同事亲身经历来看，使用人工智能大语言模型辅助志书编纂工作，如果严格限定其参考资料，不许随意通过互联网来查漏补缺，那输出内容出现幻觉的概率便较小，但文笔欠佳，著述性不够。若在缺少相关资料的情况下，要求人工智能自主搜集大部分乃至全部资料，基本从零开始完成志稿写作，那生成内容出现幻觉的几率就会大增，但文字颇具综合性和概括性，俨然出自资深修志专家之手。
（三）人工智能幻觉在地方志编纂领域产生的成因
人工智能幻觉在地方志编纂领域的成因并非源于单一因素，而是多重因素交织作用的结果。从技术底层逻辑、数据基础、模型训练评价机制与市场偏好，到人机交互质量，各环节均存在诱发幻觉的潜在风险点。
首先，技术底层逻辑的固有局限是幻觉产生的根本原因。人工智能大语言模型的内容生成本质上是基于概率的预测过程，而非基于事实的逻辑推理。模型通过统计海量语料库中词元（token）的共现频率，计算并生成在特定上下文中出现概率最高的词元序列，以保持文本的连贯性与流畅性。这种运行机理决定了模型的“认知”建立在形式化算法与统计规律之上，而非与客观现实保持一致性。计算机科学教授Kambhampati曾指出，所有计算机生成的创造力在某种程度上都是幻觉。换言之，模型缺乏对现实世界的实体感知能力和真正的理解力，其内容生成始终处于一种“概率性猜测”的状态。当这种猜测恰好符合事实时，便体现为创造力或泛化能力；反之，当猜测偏离事实时，则表现为幻觉。从技术底层逻辑而言，人工智能幻觉发生概率可以被控制，但无法完全消除，一旦使用生成式人工智能技术，在享受其便利的同时，也必须承受人工智能幻觉带来的风险，广大方志工作者对上述问题应当要有清醒的认识。
其次，训练数据的质量缺陷是幻觉产生的直接诱因。大语言模型的知识完全承袭自预训练的语料库，语料库的覆盖范围与质量构成了模型的知识边界。一方面，当模型遭遇超出其知识边界的查询，例如涉及地方志所需的特定地域、罕见历史事件或最新统计数据时（必须承认，地方志编纂所需的地情资料、小众史料、地方档案、内部统计数据等，大多未进入公开网络语料库），由于缺乏相应的事实依据，陷入知识盲区，便可能拼凑出语法正确但内容虚构的答案。另一方面，训练数据本身的质量问题非常关键。原始数据中普遍存在的错误、虚假信息、过时内容以及各种社会偏见，都会被模型无差别地学习和放大。模型训练时所依据的互联网数据本身就杂乱无序、真假混杂，包含大量错误信息、过时数据及未经证实的流行叙事（毋庸讳言，单就存世的方志文献本身而言，无论旧志新志，在史实方面都存在一些舛误，在互联网公布后，也成为错误信息的来源之一）。由于存在相当的知识门槛和专业壁垒，大语言模型本身和相关人类训练师都难以深入核查和辨识训练数据的真伪，绝大多数史实方面的错误都会沿袭下来，最终转化为生成内容中的“事实性幻觉”。另外，尽管在实际使用时，主流大语言模型都具备联网搜索的功能，理论上可以克服其预训练语料库数据不足的缺陷，但在数据采集方面存在时滞性，这导致自身难以响应用户的即时性信息需求，况且还存在网络访问限制（如，不少刊载方志地情信息的地方志工作机构网站设置了反爬虫功能，甚至干脆不允许外来IP访问查询网站中收录的志书年鉴文本信息）和人为蓄意进行“AI投毒”等问题。综上所述，地方志编纂对资料的准确性、权威性和时效性要求较高，数据层面的任何偏差，都可能通过模型的概率生成机制，最终演变为志稿中的事实性错误。
第三，模型的评价机制与市场偏好客观上诱导了幻觉的产生。在训练过程中，模型需要通过基准测试来评估性能，当前主流基准测试多采用“二元分类”评分机制，即答案被简单判定为正确或错误，而对“不确定”或“不予回答”的情况往往给予低分甚至零分。这种评价机制导致模型在面对模糊或未知问题时，更倾向于进行猜测以生成一个看似合理、流畅的答案，而非坦诚地承认知识不足。近年来，人工智能大语言模型如雨后春笋般层出不穷，异常激烈的市场竞争环境，也催生出“强不知以为知”的人工智能体。另一方面，市场对于人工智能“创造性”的偏好也影响着幻觉率，“创造性程度高”的模型，其幻觉发生的概率也相应增高。客观地讲，偏向保守、依赖知识库的模型虽然幻觉减少，却易出现“过拟合”现象（overfitting, 即模型在训练数据上表现良好，但在新的、未见过的数据上表现不佳），难以适配目前及未来地方志编纂工作的灵活需求。
第四，用户“提示素养”不足也是幻觉产生的外部推手。人工智能幻觉的产生不仅是模型内部的问题，也是人机交互过程动态博弈的结果，人机交互过程中，用户输入的提示词的质量直接影响着模型的输出效果。当用户的表达本身具有模糊性、不确定性或信息不足时，模型可能无法准确理解用户意图，进而在复杂推断或内容拓展时产生幻觉。目前，多数使用人工智能的地方志编纂工作者尚未形成专业的“提示素养”（Prompt Literacy），一旦输入的提示词模糊、缺失限定条件，未明确史料范围、时间边界、地域属性、体例要求，便容易导致模型误解任务，难免会生成偏离地方志规范和违反史实的内容。更值得关注的是，经过基于人类反馈的强化学习训练后，模型往往呈现出迎合用户主观偏好和预设观点的“谄媚型、讨好型性格”，即使面对用户带有明显偏见或错误的引导，也可能选择编造信息而非提出质疑，从而生成符合用户错误预期的内容。
地方志编纂领域治理人工智能幻觉的对策
针对人工智能幻觉的复杂成因，治理工作不能寄希望于单一手段，而应构建覆盖技术层、数据层、应用层与制度层的多维治理体系。同时，鉴于地方志工作的特殊性与专业性，亟需由中志办发挥统筹协调作用，在鼓励各地积极探索的基础上，适时出台规范引导，形成“上下结合、多元共治”的治理格局。
（一）优化模型技术逻辑
技术底层逻辑的固有局限决定了人工智能幻觉无法完全消除，但可以通过技术优化显著降低其发生概率。
一方面，应强化模型的证据学习与外部知识增强能力。通过检索增强生成（RAG）等技术，使模型在生成内容前主动检索权威数据库、知识图谱等外部可靠信源，将生成内容建立在可验证的事实依据之上。具体到地方志编纂，可将各级地方志工作机构的数字化成果、已出版志书年鉴的权威文本接入模型，作为优先参考的知识来源。同时，通过构建“以事实为中心”的训练框架，将问题与相关证据片段、时间戳一并作为模型学习的事实语境，使模型习得证据依赖的生成机制。
另一方面，需要改进模型的输出偏好。在地方志应用场景中，应倡导模型在缺乏可靠依据时老老实实地表示“无法回答”或“信息不足”，而非拼凑虚构内容；要通过改变评价机制，鼓励模型对人类不切实际的指令给出实事求是的判断和客观中肯的反对意见。对于创造性程度与幻觉率之间的平衡问题，应根据地方志编纂的实际需求进行差异化设置：在史料搜集、数据整理等环节，优先保障准确性；在篇章结构设计与优化（如在篇目框架上增添“人文性”和“民间视角”的内容）、志稿文字加工与润色（如在语言文字上摒弃逐年堆砌罗列资料的“流水账”，增加对已有文字的概括性和著述性）等辅助性环节，可适度发挥模型的创造性，但需辅以严格的人工审核。
（二）强化数据基础建设
数据缺陷是人工智能幻觉产生的直接诱因，因此，建设高质量、权威性、时效性兼具的地方志专业数据集，是从源头降低幻觉风险的关键举措。
首先，应加快构建地方志领域的高质量训练数据集。目前，中文高质量数据集的缺乏已成为制约大模型可靠性的重要瓶颈。中志办可牵头整合全国各级地方志工作机构的力量，系统梳理已出版的各级志书、年鉴、地情资料以及经过考证的档案文献，形成标准化、结构化的地方志专业语料库。同时，借鉴工业和信息化部已发布的有关高质量数据集建设的规范性文件，建立地方志数据集的评估标准与更新机制，确保数据集的准确性与时效性。
其次，需正视现有方志文献本身存在史实舛误的问题，在数据采集与标注环节引入专业考据工作，建立数据清洗与纠错机制。在构建地方志数据集时，不能简单地将现有志书文本“照单全收”，而应组织方志学专家、历史学者长期参与数据标注与核验，对存疑内容进行动态的、持续的甄别与校正，避免将错误带入训练数据，如已带入错误数据应及时修正。防止错误通过模型生成机制被放大。
第三，规范数据接入权限，在保障安全的前提下开放权威方志数据接口，支持模型合规调取，访问限制导致的信息获取不足问题。
（三）提升方志工作者“提示素养”与辨伪能力
相比前述的对策，在地方志编纂领域，提升方志工作者的使用人工智能的素养、能力，是抵御人工智能幻觉风险见效最快、耗费成本最低的举措。
首先，应开展方志系统的提示素养培训。中志办可牵头组织面向全国地方志工作者的专题培训，帮助编纂人员深入理解大语言模型的训练方法、数据来源、知识范围及风险局限，掌握精准输入指令的方法，为模型提供明确的“目的地”，包括限定史料范围、时间边界、地域属性、体例要求等，避免因指令模糊导致模型自由发挥空间过大而产生幻觉。
其次，应培养编纂人员的批判性思维与辨伪能力。用户应对大模型生成内容应保持理性审视，不能盲目采信，要养成“多源比对、交叉验证”的工作习惯，可通过多模型（采取类似“红蓝军对抗”的校验机制，将A模型生成的内容交予B模型、C模型等核查、挑错）、多信源（线上人工搜索+线下文献核验）的交叉检验方法，对模型生成的文字内容等进行核验。
（四）构建协同治理体系
人工智能幻觉的治理涉及技术研发、数据建设、标准制定、人才培养等多个维度多个领域，地方志编纂工作又具有鲜明的专业特色和一定的行业门槛，因此需由中志办发挥组织领导作用，统筹推进治理工作。
一方面，应加强顶层设计与制度规范建设。在借鉴国家已有规范和对人工智能技术秉持“柔性管理”态度的基础上，中志办可研究制定相关文件，在鼓励使用的同时，明确人工智能使用的合规边界。例如，规定人工智能生成内容须经编纂人员核验后方可采纳，要求对人工智能辅助生成的内容进行标注说明，建立人工智能生成内容的审核标准与责任追究机制等。
另一方面，应鼓励各地在规范框架内积极探索，形成“上下结合”的治理模式。地方志工作机构层级多、地域广，不同地区的资源条件与编纂需求存在较大差异。因此，治理策略不宜“一刀切”，而应在坚守底线的前提下，允许各地结合实际开展差异化探索。中志办可通过设立试点项目、组织经验交流、发布典型案例等方式，将各地探索中积累的有效做法提炼为可复制、可推广的制度规范，既避免“一放就乱”的无序状态，又防止“一管就死”的僵化局面。
此外，前述的大模型技术优化、高质量数据集建设这两项耗功多、见效慢的长期工作，也应由中志办负责牵头，搭建跨部门协作机制，推动技术研发与行业需求的精准对接。中志办可联合工业和信息化、科技等相关部门，引导人工智能企业与地方志工作机构开展合作，共同开发适配地方志编纂需求的专门项目，推动技术研发与行业应用的良性互动。
结语及余论
习近平总书记在主持中共中央政治局第九次集体学习的讲话中指出：“要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。”这一重要论述为地方志编纂领域治理人工智能相关问题指明了方向。面对人工智能幻觉这一技术痼疾，我们既不能因噎废食、拒绝技术红利，也不能盲目乐观、忽视其带来的真实风险。相信通过统筹推进技术治理、数据治理、应用治理与制度治理，我们完全有能力将人工智能幻觉的风险控制在可接受的范围内，让人工智能技术真正成为赋能方志事业高质量发展的可靠工具。
人工智能幻觉的存在，恰恰证明人类认知的不可替代。人类知识中涉及的自身情境感知、价值导向推理、批判反思与责任归属等都难以被算法还原，业内常说的“修志之要，在于得人”，在今天愈发振聋发聩。人工智能可以生成海量的文本，却无法替代人类的品鉴能力、价值判断与情感共鸣。在人工智能时代，修志工作者的核心竞争力是什么，未来要培养什么样的修志人才，值得每一个从业者去思考和探究。
来源：地方志研究（原文载《中国地方志》2026年第5期。注释从略。）
作者：何宇佳（上海市地方志办公室）
