安全研究人员披露了一种名为HalluSquatting的新攻击方法，该方法利用大语言模型最著名的弱点之一，它们的幻觉倾向，将其转化为构建僵尸网络的自动化载体。
该攻击利用了生成式AI的一个基本特性：当被问及模型未经训练的工具，库或包时，它往往会编造出听起来合理的名称和文档，而不是承认无知。攻击者精心设计提示词，将模型推入这些知识空白领域，然后注册AI编造的域名和软件包仓库。当开发人员或AI代理按照模型的建议尝试安装幻觉包时，他们会下载攻击者控制的恶意软件。
工作原理
HalluSquatting并非针对单个AI工具，而是针对所有主要语言模型共有的潜在行为模式。攻击者要求模型”列出三个用于网络扫描的流行Python库”或类似任务。模型会生成听起来合理的库名（如”pyscanner-pro”）以及看似合法的仓库URL。攻击者注册该域名并在那里发布恶意包。
该攻击在代理式AI（即自动安装依赖项，执行命令并遵循文档指令的编码助手）中尤为危险。读取项目README建议通过幻觉包进行安装的AI代理，可能会在未经人工审查的情况下执行命令，从而让攻击者远程访问开发者的机器。
范围和严重性
据7月8日披露该攻击的研究人员称，九种最广泛使用的商业和开源LLM都容易受到该技术的影响。该攻击并非利用软件漏洞，而是利用了模型被训练出的行为，即使在缺乏知识时也会出于帮助目的而生成内容。
自动化潜力巨大。攻击者可以在几分钟内生成数千个幻觉包名称，注册相应域名，然后等待受害者安装。僵尸网络由用户自行组装，每个用户都自愿安装了AI推荐的恶意代码。
缓解措施包括：在代理式工具中要求人工批准包安装命令，在安装依赖项前验证发布者身份，以及在AI编码助手中禁用自动命令执行。
婷 翻译
来源：Celloraa（7月8日）；Tom’s Hardware（7月8日）