黄冈橡塑胶 当AI“本正经”地胡说八道？信通院谈大模型幻觉之困

随着大模型加速落地，AI幻觉正从技术问题演变为社会议题。6月12日，21期南都数字经济理沙龙以“AI出错黄冈橡塑胶，谁为模型‘幻觉’买单？”为主题举行。

信息通信研究院人工智能研究所安全理部主任石霖在会上表示，大模型“幻觉”已成为当前人工智能应用面临的重要挑战。现有研究表明，幻觉难以从根本上消除，但可通过数据理、模型优化和理增强等手段持续降低发生概率。 从“编造事实”到法律风险，AI幻觉影响正在外溢        

据石霖介绍，“幻觉”原本是心理学概念，指在没有客观刺激的情况下产生的知觉体验。延伸到人工智能域，大模型幻觉主要表现为模型生成的内容不符用户输入要求，或者与客观事实不致。目前，业内通常将其划分为“忠实幻觉”和“事实幻觉”两类。

其中，忠实幻觉是指模型未能严格遵循用户指令完成任务。例如，用户要求将中文翻译成英文，但模型输出了其他语言内容；事实幻觉则是指模型生成与现实情况不符的信息，例如对图片内容进行错误描述等。

石霖指出黄冈橡塑胶，从当前行业研究和实践情况来看，忠实幻觉已成为影响大模型应用的重要问题之。

随着大模型广泛应用于办公、搜索、教育和咨询等场景，幻觉带来的风险日益凸显。石霖表示，错误信息可能致用户形成认知偏差，在医疗健康等业场景甚至可能产生误建议。同时，大模型“编造”内容还可能引发名誉侵权、信息传播等法律风险。

石霖还分享了工作中的案例，提醒大模型生成内容需进行要核验，不能替代人工判断。 幻觉法消除，但可以被缓解和控制        

AI幻觉从何而来？在石霖看来，这并非单因素致，而是贯穿于数据准备、模型训练和理生成全过程。

在数据层面，训练数据中的错误信息、偏见内容以及知识覆盖不足等问题，都会影响模型输出质量。特别是在长尾知识、新知识以及部分受法律法规限制的信息域，模型可能存在知识缺失或知识边界问题黄冈橡塑胶，从而增加幻觉发生概率。

在训练阶段，由于大模型本质上基于概率预测机制生成内容，关注语言模式和上下文关联，而非事实验证，因此容易产生偏差。同时，在模型对齐过程中，模型往往倾向于生成符人类偏好的答案，而不定是准确的答案，这也可能带来定程度的幻觉风险。

在理阶段，模型可能表现出过度自信倾向。当面对语义相近或复杂问题时，容易在细节上出现错误。此外，保温护角专用胶长链条理过程中出现的信息累积偏差，以及模型蒸馏、量化压缩等技术处理，也可能进步放大幻觉问题。

针对幻觉问题，目前学术界和产业界已经开展了大量检测和理研究。例如，通过构建事实核查机制、引入外部知识库、建立门评测数据集等式识别和评估模型幻觉风险；通过数据清洗、检索增强生成（RAG）、模型架构优化和理增强等技术手段降低幻觉发生概率。

不过，石霖强调，从现有研究结论来看，大模型幻觉难以从根本上被消除。由于大语言模型基于概率生成的技术原理，其本身存在定的固有局限黄冈橡塑胶，因此当前行业多是通过技术手段对幻觉进行缓解和控制，而非消灭幻觉。

他同时提醒，用户在使用大模型时，也应充分认识其能力边界和不确定。尽管思维链等理机制能够在定程度上降低幻觉率，但目前并没有充分证据表明理过程越长、越复杂，幻觉就定越少。

值得关注的是，石霖提到，围绕幻觉是否有害，学术界和产业界也存在些讨论。他表示，幻觉本质上是种偏离事实或既有认知的表达，但在部分观点看来，这种非线的生成式也可能与创造、创新存在定关联。因此，对于幻觉现象的认识仍存在不同视角。

石霖还披露了信通院在大模型幻觉域的新研究成果。据介绍，信通院自去年开始构建包含5000余条样本的幻觉测试集，从忠实和事实两个维度开展项评测。研究发现，当前主流模型的事实幻觉总体低于忠实幻觉，后者已成为影响模型可靠的重要问题。

测试结果还显示，在同类型模型中，参数规模越大，整体幻觉率越低。与此同时，理模型相较于传统通用模型表现出好的幻觉控制能力，在定程度上有助于缓解幻觉问题，但并不能消除幻觉；而经过蒸馏压缩的模型，则可能出现忠实幻觉增加的问题。

石霖表示，未来需要通过技术创新、安全理和标准建设等多面协同进，不断提升人工智能系统的真实、可靠和可信度，动人工智能产业健康有序发展。

采写：南都N记者 黄莉玲 发自北京 相关词条:离心玻璃棉     塑料挤出机     钢绞线厂家    铝皮保温    pvc管道管件胶

奥力斯    pvc管道管件胶批发    联系人：王经理    手机：15226765735（微信同号）    地址：河北省任丘市北辛庄乡南代河工业区

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定黄冈橡塑胶，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。