On the Geometric Limits of Transformer Defenses against Obfuscation Attacks: Latent Embedding Collapse & Performance Robustness Gap
该论文揭示了当前基于检测的提示注入防御中存在的一个根本性盲区：高分类性能并不等同于表征鲁棒性。作者发现，当攻击者同时使用多种混淆操作（如同形字符替换、零宽字符插入、标点符号或表情符号噪声）时，被混淆的提示在预训练语言模型的嵌入空间中会部分坍