本文研究了表格基础模型（tabular foundation models）中注意力机制的隐私漏洞。尽管这些模型通常在合成数据上预训练，被认为隐私风险较低，但它们采用上下文学习（in-context learning），在推理时可能直接包含敏感记录作为标注的上下文示例。论文提出了一种基于注意力机制的成员推理攻击（AMIA），该攻击无需影子模型，利用Transformer注意力模式的集中性来推断特定记录是否属于训练集。实验表明，注意力机制泄露了强烈的成员信号，在低假阳性率下平均攻击成功率比传统的基于置信度的攻击高出7.7%。为缓解风险，作者提出了一种基于k-匿名原则的推理时防御方法，通过降低上下文键表示的独特性（不添加随机噪声或重训练模型），仅针对AMIA得分识别的高风险查询进行保护。该防御能将AMIA攻击的成员泄露平均降低50%，对基于置信度的攻击降低25%，同时仅造成3.9%的性能下降。论文还发现，微调会引入额外的隐私风险：微调后预测置信度升高的样本更容易受到成员推理攻击，表明微调可能加剧记忆化并通过置信度变化暴露敏感训练信息。