LLM 可靠性缺陷：AI 优先处理模式而非语义

如果世界上最聪明的 AI 只是一个聪明的鹦鹉，而不是一个真正的思考者，那该怎么办？麻省理工学院的一项研究揭示了一个严重缺陷，即 LLM 优先考虑语法模式而非实际意义。研究人员发现，即使是像 GPT-4 这样的顶级模型，也会被诱导回答诸如“快速坐下巴黎多云？”之类的无意义问题，并给出“法国”这个答案，这仅仅是因为该句子的结构与一个熟悉的模式相匹配。不良行为者也可能利用此漏洞，他们可以使用“安全”的句子模板来改写有害请求，从而绕过 LLM 的安全过滤器并生成危险内容。这一发现凸显了一个根本性的可靠性问题，表明模型在安全关键型场景中可能会出现意外故障。为了解决这个问题，该团队开发了一种新的基准测试工具，以帮助开发人员在将 AI 部署到客户服务或医疗分析等领域之前，测试并缓解这一缺陷。