• 语法攻击:利用句子结构绕过AI安全规则

    更新时间

    想象一下,仅通过改变句子结构就能诱骗强大的人工智能(AI)忽略其安全规则。一项新研究揭示了AI对语法模式的过度依赖如何造成一个重大的安全漏洞...

    历史公开文章 · 无证据审查信息。

    发布时间

    想象一下,仅通过改变句子结构就能诱骗强大的人工智能(AI)忽略其安全规则。一项新研究揭示了AI对语法模式的过度依赖如何造成一个重大的安全漏洞。模型可能会优先考虑语法而非语义,当一个熟悉的语法模式被应用于一个意想不到的主题时,导致GPT-4o-mini在某项任务上的准确率从100%骤降至44%。这种“语法攻击”是一个严重的安全风险;通过将有害请求包装在无害的风格中,研究人员将一个模型的拒绝率从40%大幅削减至仅2.5%。这凸显了大型语言模型(LLM)本质上是模式匹配引擎,其结构上的捷径可被利用,而非真正具备上下文理解能力的系统。攻击者可以利用这一点“越狱”模型,使其生成非法活动的指令,而开发者则可以利用这些发现来构建更强大的人工智能防御体系。

    为何重要

    这项研究揭示了人工智能安全方面的一个关键漏洞,展示了语法如何压倒语义并绕过安全防护措施。

    原始来源

    原始来源

    1. arstechnica.com

    向上滑动查看下一条1 / 1