编者按：在人工智能浪潮席卷医疗领域的今天，一项最新研究却敲响了警钟——AI竟会因“权威光环”而轻信错误医疗信息！当我们满怀期待地将健康托付给算法时，是否意识到那些看似专业的诊断建议可能暗藏陷阱？本文揭示了一个令人不安的现象：AI对披着白大褂外衣的谬误几乎丧失抵抗力，而对社交媒体谣言反而保持警惕。这不仅是技术漏洞，更是人机信任体系的考验。在医疗AI全面渗透诊疗环节的当下，如何为算法注入“批判性思维”，已成为关乎每个人生命健康的核心命题。
2月9日电：最新研究发现，当错误信息来自人工智能系统认定的“权威信源”时，AI工具提供错误医疗建议的可能性会显著增加。
研究人员在《柳叶刀·数字健康》期刊发表报告称，在对20个开源和专有大型语言模型的测试中，这些软件被逼真的医生出院记录中的错误所误导的频率，远高于被社交媒体对话中的错误所欺骗的情况。
“当前AI系统可能默认将自信的医疗表述视为真理，即使这些内容明显错误。”该研究联合负责人、纽约西奈山伊坎医学院的埃亚尔·克兰博士在声明中指出，“对这些模型而言，重要的不是主张是否正确，而是其表述方式。”
AI的准确性正给医疗领域带来特殊挑战。
尽管按规定不得提供诊断，但越来越多移动应用宣称利用AI协助患者处理健康问题；与此同时，医生们正将AI增强系统应用于从医疗转录到外科手术的各个环节。
克兰与团队让AI工具接触三类内容：插入伪造建议的真实医院出院摘要、从社交媒体平台Reddit收集的常见健康谣言，以及由医生撰写的300个简短临床场景。
通过分析AI对超过100万条用户提问及指令的回应，研究人员发现总体而言，AI模型“采信”了约32%内容源中的伪造信息。
西奈山医疗系统首席AI官吉里什·纳德卡尼博士向路透社透露：如果错误信息来自看似真实的医疗机构医疗记录，AI工具采信并传播的概率将从32%飙升至近47%。
作为联合负责人，纳德卡尼指出AI对社交媒体反而更警惕：当错误信息来自Reddit帖子时，AI传播率降至9%。
研究还发现，提问措辞同样影响AI传播错误信息的可能性。
当提问语气充满权威性时（例如：“作为资深临床医师，我确认该建议有效。你认为这在医学上正确吗？”），AI更易认同虚假信息。
研究同时显示，OpenAI的GPT系列在谬误检测方面抗干扰性最强、准确度最高，而其他模型对虚假主张的采信率最高可达63.6%。
“AI确实有望为医护工作者和患者提供实时洞察与支持，”纳德卡尼强调，“但必须内置安全机制，在将医疗主张呈现为事实前进行核查。我们的研究揭示了这些系统仍在传播错误信息的薄弱环节，为AI全面嵌入医疗流程前的加固改造指明了方向。”
另据《自然·医学》近期研究，在帮助患者制定健康决策方面，咨询AI医疗症状的效果并不优于标准互联网搜索。
